⚡ electrical engineering

Covo-Audio Technical Report

Il documento presenta Covo-Audio, un modello linguistico audio di grandi dimensioni (LALM) da 7 miliardi di parametri che elabora e genera audio in un'unica architettura end-to-end, ottenendo prestazioni all'avanguardia in compiti di dialogo parlato, comprensione e interazione full-duplex, mentre propone una strategia di decoupling tra intelligenza e sintesi vocale per ottimizzare i costi di deployment.

Autori originali: Wenfu Wang, Chenxing Li, Liqiang Zhang, Yiyang Zhao, Yuxiang Zou, Hanzhao Li, Mingyu Cui, Hao Zhang, Kun Wei, Le Xu, Zikang Huang, Jiajun Xu, Jiliang Hu, Xiang He, Zeyu Xie, Jiawen Kang, Youjun Chen

Pubblicato 2026-03-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Wenfu Wang, Chenxing Li, Liqiang Zhang, Yiyang Zhao, Yuxiang Zou, Hanzhao Li, Mingyu Cui, Hao Zhang, Kun Wei, Le Xu, Zikang Huang, Jiajun Xu, Jiliang Hu, Xiang He, Zeyu Xie, Jiawen Kang, Youjun Chen, Meng Yu, Dong Yu, Rilin Chen, Linlin Di, Shulin Feng, Na Hu, Yang Liu, Bang Wang, Shan Yang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler costruire un assistente vocale perfetto. Fino a poco tempo fa, era come costruire una catena di montaggio con tre operai separati:

L'Uomo che ascolta (ASR): Traduce la tua voce in testo.
Il Genio che pensa (LLM): Legge il testo, ci ragiona sopra e scrive una risposta.
L'Attore che parla (TTS): Prende il testo scritto e lo legge ad alta voce.

Il problema? Se l'Uomo che ascolta sbaglia una parola, il Genio pensa cose sbagliate. Se l'Attore ha una voce robotica, la conversazione perde emozione. È come se tu parlassi con qualcuno che ti guarda attraverso tre specchi diversi: c'è sempre un po' di ritardo e di distorsione.

Covo-Audio è come un super-eroe unico che fa tutto da solo, con un solo cervello e una sola voce. È un modello di intelligenza artificiale di "dimensione media" (7 miliardi di parametri, che per gli standard attuali è compatto ed efficiente) capace di ascoltare il suono direttamente, pensarci sopra e rispondere con la voce, tutto in un unico flusso continuo.

Ecco i suoi superpoteri spiegati con delle metafore:

1. L'Orecchio e la Voce in un Unico Strumento

Invece di tradurre la voce in testo e poi di nuovo in voce, Covo-Audio "sente" le onde sonore come se fossero parole.

L'analogia: Immagina di imparare una lingua straniera. I vecchi metodi ti facevano tradurre ogni parola nella tua lingua prima di capire il senso. Covo-Audio, invece, ha imparato a pensare direttamente nella lingua del suono. Capisce non solo cosa dici, ma anche come lo dici (il tono, l'emozione, la velocità) senza dover prima trasformare tutto in testo.

2. Il "Doppio Canale" (Full-Duplex): Parlare e Ascoltare insieme

La maggior parte dei robot oggi funziona come una "walkie-talkie": tu parli, loro stanno zitti, poi loro parlano e tu stai zitto. È innaturale.

L'analogia: Covo-Audio-Chat-FD è come una conversazione reale tra amici. Puoi interromperlo se hai una domanda urgente (barge-in), lui può annuire mentre tu parli (backchanneling), e può gestire i tuoi silenzi pensierosi senza interromperti a caso. È come avere un interlocutore che ti guarda negli occhi mentre parli, non uno che aspetta il suo turno in modo rigido.

3. Il Trucco del "Cervello e della Voce" (Decoupling)

Questo è forse il punto più geniale. Di solito, per dare a un assistente una voce specifica (es. quella di un attore famoso o un tono gentile), devi addestrare l'intero cervello dell'IA con migliaia di ore di conversazioni in quella voce. È costosissimo e lento.

L'analogia: Immagina di avere un attore geniale (il cervello) che sa recitare qualsiasi ruolo, ma che ha una voce neutra. Invece di costringerlo a imparare una nuova voce da zero per ogni ruolo, Covo-Audio usa una tecnica speciale: separa il "talento" dall'"strumento".
- Puoi prendere la voce di un attore (anche con poche registrazioni) e "innestarla" sul cervello geniale.
- Risultato? Hai un assistente che è intelligente, empatico e parla con la voce che vuoi tu, senza dover ricominciare tutto l'addestramento da capo. È come cambiare il vestito a un attore senza dovergli insegnare di nuovo la parte.

4. L'Empatia e la Ragione

Covo-Audio non è solo un registratore intelligente. È stato addestrato per capire le emozioni.

L'analogia: Se sei triste e parli con Covo-Audio, non ti risponderà con un "Ho capito che sei triste" scritto a freddo. La sua voce cambierà tono, diventerà più dolce e il contenuto della risposta sarà di conforto. È come avere un amico che non solo ascolta le tue parole, ma "sente" il peso delle tue emozioni.

Perché è importante?

Fino ad oggi, i modelli che facevano tutto questo erano enormi, costosi e lenti, oppure piccoli ma stupidi. Covo-Audio dimostra che con 7 miliardi di parametri (una taglia "media" e gestibile) si può ottenere un'intelligenza vocale di altissimo livello.

In sintesi:
Covo-Audio è come un camaleonte conversazionale. È abbastanza piccolo da essere veloce ed economico, ma abbastanza potente da capire il mondo, ragionare, sentire le tue emozioni e parlarti con una voce naturale, tutto mentre tu parli con lui, senza interruzioni e senza errori di traduzione. È un passo enorme verso assistenti che non sembrano robot, ma veri compagni di conversazione.

Titolo: Covo-Audio: Un Modello Linguistico Audio End-to-End di 7B Parametri per l'Interazione Umana Naturale

1. Il Problema e la Sfida

L'interazione vocale è la forma di comunicazione più naturale per gli esseri umani, ma i sistemi attuali presentano compromessi significativi tra tre obiettivi fondamentali: intelligenza (comprensione linguistica profonda e ragionamento), naturalità (preservazione di cue paralinguistici ed emotivi) ed efficienza (bassa latenza e interazione full-duplex).

Le sfide principali identificate nel rapporto sono:

Architetture a Cascata: I sistemi tradizionali combinano moduli separati (ASR, LLM, TTS), causando perdita di informazioni, propagazione degli errori e latenza elevata.
Limitazioni dei Modelli "Thinker-Talker": Modelli recenti (es. Qwen-Omni) separano il ragionamento testuale dalla sintesi vocale. Sebbene preservino l'intelligenza testuale, sacrificano la capacità di seguire istruzioni vocali end-to-end e la controllabilità diretta della conversazione.
Accoppiamento Intelligenza-Voce: Sviluppare un assistente vocale con alta intelligenza e una voce specifica richiede enormi quantità di dati di dialogo di alta qualità per ogni voce, rendendo il processo costoso e poco scalabile.
Difficoltà nel Full-Duplex: Gestire interazioni in cui l'utente e il sistema parlano e ascoltano simultaneamente (con interruzioni, pause e feedback) è complesso per i modelli sequenziali.

2. Metodologia

Covo-Audio è un modello linguistico audio (LALM) end-to-end di 7 miliardi di parametri che elabora input audio continui e genera output audio in un'unica architettura unificata.

Architettura:

Encoder Audio: Utilizza Whisper-large-v3 pre-addestrato per l'estrattazione di caratteristiche robuste (50 Hz), connesse al LLM tramite un adattatore che riduce il tasso di campionamento a 6.25 Hz.
Tokenizzatore Vocale: Basato su WavLM-large con un layer di Quantizzazione Vettoriale (VQ), genera token audio discreti a 25 Hz (vocabolario di 16.384 token).
Decodificatore Vocale: Utilizza un framework gerarchico a due stadi: un decoder basato su Flow-Matching per trasformare i token discreti in latenti continui, seguito da un vocoder BigVGAN per la ricostruzione dell'onda a 24 kHz.
Backbone LLM: Basato su Qwen2.5-7B-Base, esteso per gestire token audio discreti e caratteristiche acustiche continue in una sequenza intercalata.

Strategie di Addestramento:

Pre-addestramento (2T token):
- Fase 1 (Ponte di Modalità): Allineamento ASR per mappare le caratteristiche acustiche continue nello spazio latente del LLM.
- Fase 2 (Fusione Multimodale): Addestramento congiunto su compiti ASR, TTS, continuazione vocale e intercalazione gerarchica tri-modale. Questa strategia unica combina caratteristiche acustiche continue ( $a_c$ ), token discreti ( $a_d$ ) e testo ( $t$ ) in sequenze intercalate a livello di frase e di utterance, preservando sia le sfumature acustiche che l'integrità semantica globale.
Post-addestramento (SFT e RL):
- Addestramento su dati di dialogo (T2T, T2A, A2T, A2A) per potenziare l'intelligenza, il linguaggio colloquiale e l'empatia.
- Utilizzo di Group Relative Policy Optimization (GRPO) con una funzione di ricompensa multi-componente (accuratezza, formato, coerenza, qualità del ragionamento) per migliorare il ragionamento audio tramite Chain-of-Thought (CoT).

Innovazioni Chiave:

Decoupling Intelligenza-Voce: Una tecnica che separa l'intelligenza del dialogo dalla resa vocale. Permette di addestrare il modello su dati di dialogo generici e successivamente applicare voci TTS specifiche (anche con pochi dati) senza degradare le capacità cognitive, risolvendo il problema della scarsità di dati di dialogo di alta qualità per ogni voce.
Interazione Nativa Full-Duplex: Il modello Covo-Audio-Chat-FD è stato addestrato direttamente in fase di pre-addestramento per gestire flussi simultanei di input e output. Utilizza token speciali (THINK, SHIFT, BREAK) per gestire lo stato di ascolto, la transizione alla parola, le interruzioni (barge-in) e i feedback (backchanneling).

3. Risultati Sperimentali

Covo-Audio ha dimostrato prestazioni state-of-the-art (SOTA) o competitive rispetto a modelli di scala simile (7B) e talvolta superiori a sistemi molto più grandi.

Modellazione Vocale-Testuale: Supera modelli come GLM-4-Voice-Base e Qwen2.5-7B in compiti di completamento di storie (StoryCloze), coerenza grammaticale (sBLIMP) e allineamento cross-modale.
Dialogo Vocale (Half-Duplex): Su URO-Bench e VCB Bench, Covo-Audio-Chat ottiene punteggi superiori in ragionamento, comprensione e robustezza (rumore, variazioni di voce), superando modelli come Qwen3-Omni e Step-Audio 2 mini in molte metriche chiave.
Empatia: Su VStyle Benchmark, il modello raggiunge punteggi SOTA in cinese per emozioni come rabbia, tristezza e ansia, dimostrando una forte capacità di rispondere in modo empatico.
Interazione Full-Duplex: Covo-Audio-Chat-FD supera nettamente Moshi e Freeze-Omni nel gestione delle interruzioni (96.81%) e delle pause (97.6%), mantenendo al contempo capacità di dialogo coerenti con la versione half-duplex.
Comprensione Audio: Eccelle nei benchmark MMAU e MMSU, ottenendo il punteggio medio più alto (66.64% su MMSU) tra tutti i modelli valutati, inclusi sistemi chiusi come GPT-4o Audio e Gemini 2.5 Pro, con particolare forza nella comprensione musicale e nel ragionamento percettivo.
Efficienza: Nonostante le dimensioni ridotte (7B), il modello offre prestazioni paragonabili a sistemi da 30B+ (es. Step-Audio 2) in termini di comprensione audio e ragionamento.

4. Contributi Principali

Intercalazione Gerarchica Tri-Modale: Un framework che fonde caratteristiche acustiche continue, token discreti e testo in un'unica sequenza, permettendo un allineamento profondo tra sfumature prosodiche e strutture semantiche.
Decoupling Intelligenza-Voce: Una metodologia innovativa che permette la personalizzazione vocale flessibile con dati TTS minimi, preservando l'intelligenza del dialogo e riducendo i costi di addestramento.
Interazione Full-Duplex Nativa: L'integrazione diretta dell'interazione full-duplex nella fase di pre-addestramento, permettendo al modello di gestire dinamiche conversazionali complesse (interruzioni, turn-taking) senza bisogno di allineamenti testo-fonia granulari.
Prestazioni SOTA su Scala Compatta: Dimostrazione che un modello da 7B parametri può integrare intelligenza audio sofisticata e ragionamento semantico di alto livello, offrendo una soluzione scalabile ed efficiente.

5. Significato e Impatto

Covo-Audio rappresenta un passo significativo verso assistenti vocali veramente umani. Risolve il compromesso storico tra intelligenza e naturalità, dimostrando che un'architettura end-to-end unificata può gestire compiti complessi di ragionamento e interazione emotiva.
La tecnica di decoupling intelligenza-voce è particolarmente rilevante per l'industria, poiché abilita la creazione di assistenti personalizzati con voci diverse senza la necessità di raccogliere enormi dataset di dialogo per ogni voce, rendendo lo sviluppo di agenti conversazionali più economici e scalabili. Inoltre, le capacità full-duplex native pongono le basi per interazioni in tempo reale, fluide e robuste, essenziali per applicazioni reali come assistenti personali, servizi clienti e compagni emotivi.

Il codice sorgente del modello Covo-Audio-Chat e la pipeline di inferenza sono stati resi open-source, facilitando la ricerca e lo sviluppo futuro nel campo dei modelli linguistici audio.