⚡ electrical engineering

Covo-Audio Technical Report

Le rapport présente Covo-Audio, un modèle audio-langage (LALM) de 7 milliards de paramètres capable de traiter et de générer directement des signaux audio continus dans une architecture unifiée, offrant des performances de pointe pour le dialogue parlé et l'interaction en duplex complet tout en proposant une stratégie de découplage pour réduire les coûts de déploiement.

Auteurs originaux : Wenfu Wang, Chenxing Li, Liqiang Zhang, Yiyang Zhao, Yuxiang Zou, Hanzhao Li, Mingyu Cui, Hao Zhang, Kun Wei, Le Xu, Zikang Huang, Jiajun Xu, Jiliang Hu, Xiang He, Zeyu Xie, Jiawen Kang, Youjun Chen

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Wenfu Wang, Chenxing Li, Liqiang Zhang, Yiyang Zhao, Yuxiang Zou, Hanzhao Li, Mingyu Cui, Hao Zhang, Kun Wei, Le Xu, Zikang Huang, Jiajun Xu, Jiliang Hu, Xiang He, Zeyu Xie, Jiawen Kang, Youjun Chen, Meng Yu, Dong Yu, Rilin Chen, Linlin Di, Shulin Feng, Na Hu, Yang Liu, Bang Wang, Shan Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎙️ Covo-Audio : Le "Super-Héros" de la Voix

Imaginez que vous voulez créer un assistant vocal intelligent. Jusqu'à présent, la plupart des systèmes fonctionnaient comme une chaîne de montage :

Une oreille (ASR) écoute ce que vous dites et le transforme en texte.
Un cerveau (LLM) lit ce texte, réfléchit et écrit une réponse.
Une bouche (TTS) lit cette réponse à voix haute.

Le problème ? C'est comme passer un message par trois personnes différentes. À chaque étape, des détails sont perdus, des erreurs s'accumulent, et la conversation manque de fluidité et d'émotion.

Covo-Audio, développé par Tencent, change la donne. C'est un modèle unique qui écoute, réfléchit et parle directement, tout en un seul bloc. C'est comme remplacer la chaîne de montage par un chef d'orchestre qui maîtrise tous les instruments en même temps.

🧠 Les 3 Super-Pouvoirs de Covo-Audio

1. Le Cerveau et la Voix ne font qu'un (L'Architecture End-to-End)

Au lieu de transformer la voix en texte puis de la retransformer, Covo-Audio entend la voix comme une mélodie continue et répond directement par une autre mélodie.

L'analogie : Imaginez un musicien qui entend une note de piano et répond instantanément par une note de violon, sans avoir besoin de l'écrire sur une partition ni de la lire à voix haute. C'est plus rapide, plus naturel et plus riche en émotions.

2. Le "Découplage" Magique (Intelligence vs Voix)

C'est l'astuce la plus brillante du rapport. D'habitude, pour avoir une voix magnifique et un cerveau intelligent, il faut entraîner le modèle avec des milliers d'heures de conversations spécifiques à cette voix. C'est cher et long.

L'analogie : Covo-Audio utilise une technique appelée "Découplage Intelligence-Voix".
- Imaginez un acteur très intelligent (le cerveau) qui peut jouer n'importe quel rôle.
- Imaginez ensuite un maquilleur (la voix) qui peut changer l'apparence de l'acteur.
- Avec Covo-Audio, vous pouvez prendre un acteur très intelligent, et lui donner le "maquillage" (la voix) d'un chanteur célèbre ou d'un personnage de dessin animé, sans avoir besoin de réapprendre à l'acteur à être intelligent.
- Résultat : Vous obtenez un assistant super intelligent avec une voix personnalisée, en utilisant très peu de données d'enregistrement.

3. La Conversation "Full-Duplex" (Parler et Écouter en même temps)

La plupart des assistants vous obligent à attendre qu'ils aient fini de parler avant de pouvoir intervenir. Covo-Audio, lui, peut écouter et parler en même temps, comme dans une vraie conversation humaine.

L'analogie : C'est la différence entre un jeu de tennis où l'on attend que l'adversaire ait fini de frapper pour répondre, et une vraie discussion où vous pouvez dire "Attends, je comprends !" (un "backchannel") pendant que l'autre parle, ou l'interrompre gentiment si vous avez une idée brillante. Covo-Audio gère ces interruptions et ces pauses naturelles sans se tromper.

🏆 Pourquoi est-ce si impressionnant ?

Le modèle est "petit" (7 milliards de paramètres), ce qui est comparable à un cerveau humain moyen, mais il rivalise avec des géants beaucoup plus gros (comme GPT-4o ou Gemini).

Il comprend tout : Il ne se contente pas de transcrire les mots. Il comprend l'émotion derrière la voix (est-ce que la personne est triste ? en colère ?), l'identité du locuteur, et même le contexte musical.
Il est empathique : Il sait adapter sa réponse pour être réconfortant ou joyeux, comme un vrai ami.
Il est robuste : Même avec du bruit de fond ou un accent étrange, il reste calme et compréhensif.

🚀 En Résumé

Covo-Audio est une avancée majeure car il prouve qu'on n'a pas besoin de construire des usines géantes pour avoir un assistant vocal parfait. En combinant une architecture intelligente, une astuce pour séparer la voix de l'intelligence, et une capacité à parler en même temps qu'on écoute, Tencent nous offre un modèle qui ressemble enfin à une vraie conversation humaine.

C'est comme passer d'un robot qui lit un script à un vrai compagnon de discussion qui vous comprend, vous écoute et vous répond avec le ton et l'émotion qu'il faut.

1. Problématique et Contexte

Les systèmes d'interaction vocale actuels reposent souvent sur des architectures en cascade (ASR + LLM + TTS), ce qui entraîne une perte d'information, une propagation des erreurs et une latence élevée. Les modèles récents de type "LALM" (Large Audio Language Models) tentent de résoudre cela, mais font souvent face à des compromis :

Architecture Thinker-Talker : Certains modèles (comme Qwen-Omni) séparent le raisonnement textuel de la génération audio, ce qui nuit à la fluidité et au contrôle direct de la conversation.
Couplage Intelligence-Voix : Dans les modèles end-to-end, l'intelligence du dialogue est souvent indissociable de la voix de synthèse. Cela rend la personnalisation des voix coûteuse et difficile, car il faut collecter d'énormes quantités de données de dialogue de haute qualité pour chaque nouvelle voix.
Interaction Full-Duplex : Gérer l'écoute et la parole simultanées (avec interruptions, tours de parole fluides) reste un défi majeur pour les modèles génératifs séquentiels.

L'objectif de Covo-Audio est de créer un modèle end-to-end capable de traiter des entrées audio continues et de générer des sorties audio dans une seule architecture unifiée, tout en maintenant un fort raisonnement sémantique, une interaction naturelle et une personnalisation flexible.

2. Méthodologie

Covo-Audio est un modèle de 7 milliards de paramètres basé sur l'architecture Qwen2.5-7B-Base. Il intègre quatre composants principaux : un encodeur audio (Whisper-large-v3), un adaptateur, un LLM robuste, un tokenizer de parole spécialisé et un décodeur audio haute fidélité.

A. Architecture et Traitement

Entrée : Le modèle reçoit des caractéristiques acoustiques continues (via Whisper) et des tokens textuels.
Sortie : Il génère une séquence unifiée de tokens textuels et de tokens audio discrets.
Tokenizer Audio : Basé sur WavLM-large avec une quantification vectorielle (VQ), il produit des tokens audio à 25 Hz pour une représentation riche mais compressée.
Décodeur : Utilise une approche hiérarchique à deux étapes : un modèle Flow-Matching transforme les tokens discrets en latents continus, suivis d'un vocodeur BigVGAN pour reconstruire l'onde audio à 24 kHz.

B. Stratégies d'Entraînement

Pré-entraînement Hiérarchique Tri-Modal :
- Phase 1 (Pont de modalité) : Alignement de l'encodeur audio et du LLM via des tâches de reconnaissance vocale (ASR) sur 200k heures de données.
- Phase 2 (Fusion) : Entraînement conjoint de l'adaptateur et du LLM sur des tâches mixtes (ASR, TTS, continuation de parole, et interleaving).
- Interleaving Tri-Modal : Le modèle apprend à fusionner trois types de données dans une séquence : caractéristiques acoustiques continues ( $a_c$ ), tokens audio discrets ( $a_d$ ) et texte ( $t$ ). Une stratégie hiérarchique (niveau phrase et niveau énoncé) préserve l'intégrité sémantique tout en capturant les nuances prosodiques.
Post-entraînement (SFT) pour le Dialogue :
- Utilisation de données d'instruction textuelles converties en audio pour transférer l'intelligence au domaine vocal.
- Intégration de données empathiques (7 émotions) et de styles conversationnels pour améliorer la naturalité et la réactivité émotionnelle.
Technique de Découplage Intelligence-Parleur (Intelligence-Speaker Decoupling) :
- Problème : Habituellement, entraîner un dialogue avec une voix spécifique nécessite des données de dialogue coûteuses pour cette voix.
- Solution : Le modèle est entraîné sur des données de dialogue "intelligentes" avec des voix variées, puis des données TTS (Text-to-Speech) de haute qualité sont injectées dans le contexte du dialogue avec un masque sur la perte textuelle. Cela permet d'apprendre la voix naturelle sans altérer les capacités de raisonnement, permettant une personnalisation de voix avec très peu de données TTS.
Interaction Full-Duplex Native (Covo-Audio-Chat-FD) :
- Contrairement aux modèles séquentiels, ce variant intègre le full-duplex dès le pré-entraînement.
- Il utilise un flux d'entrée continu et un flux de sortie discret entrelacés (ratio 1:4).
- Le modèle utilise des tokens spéciaux (THINK, SHIFT, BREAK) pour gérer les états d'écoute, de parole, de pause, d'interruption (barge-in) et de feedback (backchanneling) en temps réel.

3. Contributions Clés

Interleaving Tri-Modal Hiérarchique : Un cadre unifiant caractéristiques continues, tokens discrets et texte, permettant une alignement profond entre les nuances acoustiques et la structure sémantique.
Découplage Intelligence-Voix : Une méthode innovante permettant de créer des assistants conversationnels avec des voix personnalisées et naturelles sans nécessiter de vastes corpus de dialogue spécifiques à chaque voix, réduisant drastiquement les coûts de déploiement.
Interaction Full-Duplex Native : Intégration directe de la capacité d'écoute et de parole simultanées dans le pré-entraînement, permettant une gestion robuste des interruptions et des tours de parole naturels sans alignement texte-parole fin préalable.
Performance à l'échelle 7B : Démonstration qu'un modèle compact (7B) peut rivaliser avec des systèmes beaucoup plus grands (jusqu'à 30B) ou des modèles propriétaires fermés sur des tâches complexes de raisonnement et de compréhension audio.

4. Résultats et Évaluations

Les évaluations couvrent la modélisation parole-texte, la compréhension, le dialogue et l'interaction full-duplex.

Modélisation Parole-Texte : Covo-Audio surpasse les modèles open-source comparables (comme GLM-4-Voice-Base, Moshi) sur des benchmarks de raisonnement (StoryCloze, sBLIMP) et de cohérence grammaticale, prouvant qu'il extrait le sens profond et ne se contente pas de transcrire.
Dialogue Vocale (Covo-Audio-Chat) :
- URO-Bench & VCB Bench : Performances SOTA (State-of-the-Art) ou compétitives en compréhension, raisonnement et suivi d'instructions en chinois et anglais. Il excelle particulièrement en robustesse (bruit, variations de locuteur).
- Empathie (VStyle) : Obtient les meilleurs scores sur la reconnaissance et la réponse aux émotions (colère, tristesse, anxiété) parmi les modèles open-source, rivalisant avec des modèles fermés comme Doubao.
Full-Duplex (Covo-Audio-Chat-FD) :
- Surpasse largement Moshi et Freeze-Omni sur la gestion des tours de parole, des pauses et des interruptions (taux de réussite > 96% pour les interruptions et > 93% pour le backchanneling).
- Maintient des capacités de dialogue quasi identiques à la version half-duplex, prouvant que le full-duplex n'altère pas l'intelligence du modèle.
Compréhension Audio :
- ASR/TTS : Performances compétitives sur LibriSpeech et CoVoST2.
- Paralinguistique : Meilleure performance globale sur AIR-Bench (reconnaissance d'émotion, genre, âge), avec des gains significatifs (>10-25%) sur la reconnaissance des émotions.
- Benchmarks Audio (MMAU/MMSU) : Classement 2ème parmi les modèles open-source sur MMAU et 1er absolu (tous modèles confondus) sur MMSU, surpassant même des modèles fermés comme GPT-4o Audio et Gemini 2.5 Pro sur certaines tâches de perception.

5. Signification et Impact

Covo-Audio représente une avancée majeure dans le domaine des assistants vocaux intelligents :

Efficacité : Il prouve qu'un modèle de 7B paramètres peut intégrer une intelligence audio sophistiquée et un raisonnement de haut niveau, offrant une alternative viable et plus légère aux modèles massifs.
Déploiement Pratique : La technique de découplage intelligence-voix résout un goulot d'étranglement majeur pour l'industrie, permettant une personnalisation de voix à faible coût tout en préservant la qualité du dialogue.
Naturalité : L'approche native full-duplex permet des interactions plus humaines, fluides et réactives, se rapprochant de la communication humaine réelle (interruptions, pauses, feedbacks).
Open Source : La mise à disposition du modèle et du pipeline d'inférence sur GitHub et HuggingFace favorise l'adoption et la recherche communautaire.

En résumé, Covo-Audio établit un nouvel état de l'art pour les modèles audio end-to-end, démontrant qu'il est possible de concilier haute intelligence sémantique, naturalité émotionnelle et interaction temps réel dans une architecture compacte et efficace.