Resumo Técnico: Covo-Audio

1. Problema e Contexto

Os modelos de linguagem de áudio (LALMs) end-to-end representam uma fronteira promissora para unificar o processamento de fala e a inteligência linguística. No entanto, existem desafios significativos na criação de agentes conversacionais que harmonizem três pilares: inteligência (raciocínio semântico profundo), naturalidade (cues paralinguísticos e emocionais) e eficiência (interação full-duplex de baixa latência).

As abordagens atuais enfrentam limitações:

• Arquiteturas em Cascata: Sistemas tradicionais (ASR + LLM + TTS) sofrem com perda de informação e propagação de erros.
• Arquiteturas "Thinker-Talker": Modelos como Qwen-Omni separam o raciocínio textual da síntese de áudio. Embora preservem a inteligência textual, isso sacrifica a capacidade de seguir instruções de fala de ponta a ponta e dificulta a interação conversacional direta e o controle.
• Acoplamento Inteligência-Voz: Desenvolver bots conversacionais com vozes naturais e alta inteligência é custoso, pois exige grandes volumes de dados de diálogo de alta qualidade para cada voz específica, limitando a personalização flexível.
• Full-Duplex: Modelos existentes que suportam interação simultânea (ouvir e falar ao mesmo tempo) muitas vezes exigem alinhamento texto-fala em nível de palavra ou não conseguem manter o raciocínio complexo durante a interação.

2. Metodologia

O Covo-Audio é um modelo de linguagem de áudio de ponta a ponta com 7 bilhões de parâmetros, projetado para processar entradas de áudio contínuas e gerar saídas de áudio em uma única arquitetura unificada.

Arquitetura

• Base: Utiliza o Qwen2.5-7B-Base como espinha dorsal (LLM).
• Codificador de Áudio: Baseado no Whisper-large-v3 (50 Hz), conectado ao LLM via um adaptador que reduz a taxa de quadros para 6,25 Hz.
• Tokenizador de Fala: Desenvolvido a partir do WavLM-large com uma camada de Quantização Vetorial (VQ), gerando tokens discretos de áudio a 25 Hz.
• Decodificador de Fala: Um framework hierárquico de duas etapas:
  1. Um decodificador baseado em Flow-Matching transforma tokens discretos em representações latentes contínuas ricas em acústica.
  2. Um vocoder baseado em BigVGAN reconstrói o waveform de 24 kHz.
• Entrada/Saída: O modelo processa sequências intercaladas de recursos acústicos contínuos, tokens de texto e tokens de áudio discretos.

Estratégia de Treinamento

O treinamento segue um pipeline rigoroso de pré-treinamento e pós-treinamento:

1. Pré-treinamento (2 trilhões de tokens):

   • Ponte de Modalidade (Stage 1): Alinhamento do adaptador de áudio com o LLM usando dados massivos de ASR (200k horas).
   • Fusão de Modalidades (Stage 2): Treinamento conjunto do adaptador e do LLM. Utiliza uma estratégia de Interleaving Tri-modal Hierárquico, integrando recursos acústicos contínuos, tokens discretos e texto. Isso ocorre em dois níveis: intercalação frase-a-frase (para alinhamento fino) e intercalação nível de sentença (para integridade semântica global). Inclui tarefas de ASR, TTS, continuação de fala e pré-treinamento nativo de Full-Duplex.

2. Pós-treinamento (SFT e RL):

   • Inteligência e Coloquialismo: Uso de dados de instrução textuais de alta qualidade convertidos para áudio, com reescrita para estilo conversacional.
   • Empatia: Construção de datasets de diálogo com sete categorias emocionais, sintetizados com fala alinhada emocionalmente.
   • Raciocínio (CoT): Uso de dados de raciocínio em cadeia (Chain-of-Thought) e otimização via GRPO (Group Relative Policy Optimization) com recompensas multifacetadas (precisão, formato, consistência e qualidade do pensamento).

Técnicas Inovadoras

• Desacoplamento Inteligência-Voz (Intelligence-Speaker Decoupling): Para mitigar o custo de dados, o modelo é treinado para separar a inteligência do diálogo da renderização da voz. Isso permite usar dados de TTS (Text-to-Speech) de alta qualidade para criar vozes personalizadas sem precisar recriar grandes volumes de dados de diálogo complexos para cada voz, preservando a inteligência conversacional.
• Interação Full-Duplex Nativa: O modelo Covo-Audio-Chat-FD é treinado diretamente com dados de interação full-duplex (sem necessidade de alinhamento texto-fala fino). Ele utiliza tokens especiais (THINK, SHIFT, BREAK) para gerenciar estados de escuta, fala simultânea, interrupções (barge-in) e backchanneling.

3. Principais Contribuições

1. Interleaving Tri-modal Hierárquico: Uma estrutura que funde recursos acústicos contínuos, tokens discretos e texto, garantindo tanto nuances acústicas precisas quanto coerência semântica global.
2. Desacoplamento Inteligência-Voz: Uma técnica que permite a personalização de vozes com dados TTS leves, resolvendo o gargalo de dados para bots conversacionais de alta naturalidade.
3. Interação Full-Duplex Nativa: Capacidade de ouvir e falar simultaneamente com baixa latência, lidando robustamente com interrupções e pausas, sem depender de arquiteturas em cascata ou alinhamentos rígidos.
4. Desempenho SOTA em Escala Compacta: Demonstra que um modelo de 7B parâmetros pode rivalizar ou superar sistemas muito maiores (até 30B+ ou modelos fechados) em tarefas complexas de áudio e fala.

4. Resultados e Avaliação

O Covo-Audio foi avaliado em uma ampla gama de benchmarks, superando ou competindo com os melhores modelos de escala comparável (7B-9B) e, em alguns casos, modelos fechados massivos.

• Modelagem Fala-Texto: Superou modelos como GLM-4-Voice-Base e Qwen2.5-Omni em tarefas de raciocínio lógico e consistência cross-modal (A2A, A2T, T2T).
• Diálogo Fala-Fala (Half-Duplex): No URO-Bench e VCB Bench, o Covo-Audio-Chat obteve os melhores resultados em raciocínio de fala e conversação oral em chinês e inglês, superando modelos como Qwen3-Omni e Step-Audio 2 mini em várias métricas de raciocínio.
• Empatia: No benchmark VStyle, alcançou resultados SOTA em mandarim para reconhecimento de raiva, tristeza e ansiedade, demonstrando capacidade de gerar respostas empáticas contextualmente apropriadas.
• Interação Full-Duplex: O Covo-Audio-Chat-FD superou significativamente o Moshi e o Freeze-Omni em métricas de interação (troca de turno, manuseio de pausas, interrupções e backchanneling), mantendo performance de diálogo comparável ao modo half-duplex.
• Compreensão de Fala e Áudio:
  • ASR: Competitivo com modelos dedicados como Whisper-large-v3 e Seed-ASR.
  • Paralinguística: Melhor desempenho geral no AIR-Bench (reconhecimento de emoção, gênero, idade), com ganhos absolutos de 10-25 pontos percentuais em reconhecimento de emoção.
  • Compreensão de Áudio: No MMSU, alcançou a maior precisão média (66,64%) entre todos os sistemas avaliados (abertos e fechados), superando o Audio Flamingo 3 e o Gemini 2.5 Pro. No MMAU, foi o melhor entre modelos de 7B parâmetros.

5. Significado e Impacto

O Covo-Audio demonstra que é possível integrar inteligência semântica sofisticada e inteligência de áudio de alta fidelidade em um modelo compacto (7B parâmetros) sem a necessidade de arquiteturas complexas de múltiplos estágios ou modelos massivos.

• Eficiência de Recursos: A estratégia de desacoplamento inteligência-voz oferece um caminho escalável para a criação de assistentes conversacionais personalizados e de alta qualidade sem custos proibitivos de coleta de dados.
• Interatividade Natural: A capacidade nativa de full-duplex com baixa latência e gestão robusta de interrupções aproxima a interação humano-máquina da fluidez das conversas humanas reais.
• Viabilidade de Implantação: Ao provar que um modelo de 7B pode superar sistemas maiores em raciocínio e interação, o trabalho sugere um caminho viável para a implantação eficiente de LALMs avançados em dispositivos de borda e aplicações em tempo real.

O código fonte do modelo Covo-Audio-Chat e o pipeline de inferência foram disponibilizados como open-source, facilitando a pesquisa e o desenvolvimento futuro na área de modelos de linguagem de áudio.