Resumo Técnico: EntangleCodec

Declaração do Problema

Modelos de Linguagem de Áudio (ALMs) requerem uma interface discreta para fazer a ponte entre sinais de áudio contínuos e grandes modelos de linguagem. Os tokenizadores de áudio existentes enfrentam um compromisso fundamental:

1. Codecs orientados à reconstrução (ex: EnCodec, DAC) preservam alta fidelidade acústica, mas carecem de informações semânticas ricas, limitando sua utilidade para tarefas de raciocínio e compreensão.
2. Tokenizadores conscientes da semântica frequentemente dependem de fluxos semânticos e acústicos separados. Essa abordagem de fluxo duplo introduz redundância, exige mecanismos complexos de fusão tardia e frequentemente limita a supervisão semântica a transcrições de ASR, ignorando pistas não textuais como identidade do locutor, emoção, prosódia e cenas acústicas.

O desafio central é desenvolver um tokenizador discreto unificado que suporte simultaneamente a reconstrução de alta fidelidade e a compreensão semântica rica, sem depender de fluxos separados ou mudanças arquiteturais específicas para a tarefa.

Metodologia

O EntangleCodec propõe um tokenizador de áudio discreto unificado que aprende representações semântico-acústicas alinhadas a legendas antes da quantização. A arquitetura consiste em três componentes principais:

1. Codificador Unificado

Ao contrário das abordagens de codificador duplo, o EntangleCodec emprega um único codificador baseado em Transformer compartilhado.

• Processamento de Entrada: O espectrograma Mel de entrada é projetado em uma sequência e precedido por um token [CLS] aprendível.
• Representação Unificada: O codificador mapeia o áudio diretamente em uma sequência de características semântico-acústicas unificadas, evitando módulos explícitos de fusão tardia.
• Alinhamento Semântico: Em vez de alinhar com transcrições de ASR, o codificador é treinado para se alinhar com legendas de áudio ricas geradas por um Modelo de Linguagem Grande (LLM). Essas legendas descrevem atributos do locutor, emoção, prosódia, cenas acústicas e eventos sonoros.
• Aprendizado Contrastivo: Uma perda contrastiva do tipo CLIP alinha o embedding global do áudio (proveniente do token [CLS]) com o embedding de texto da legenda rica, incentivando o codificador a capturar semântica multimodal além do mero conteúdo linguístico.

2. Quantização Discreta

A representação unificada é projetada via um MLP, normalizada em L2 e discretizada usando um único quantizador de código vetorial (VQ). Isso produz um fluxo de tokens compacto que contém inerentemente informações tanto acústicas quanto semânticas.

3. Decodificador Baseado em Difusão

Um decodificador de difusão por correspondência de fluxo (flow-matching) reconstrói áudio de alta qualidade a partir dos tokens discretos.

• Arquitetura: Implementado como um preditor de fluxo Transformer estilo Llama.
• Processo: Ele recebe os tokens quantizados ($Z_q$) como um prefixo de condicionamento e prevê o campo de velocidade para reconstruir o espectrograma Mel a partir do ruído usando Fluxo Retificado (Rectified Flow).
• Flexibilidade: O mesmo decodificador suporta geração de reconstrução, Text-to-Speech (TTS) e Text-to-Audio (TTA) sem modificações arquiteturais.

Estratégia de Treinamento

O modelo utiliza um processo de treinamento em duas etapas:

• Estágio 1 (Otimização Conjunta): O codificador, o codificador de texto, o quantizador e o decodificador são treinados conjuntamente. O objetivo combina a perda de Flow Matching (para reconstrução), a perda Contrastiva (para alinhamento semântico) e a perda de compromisso VQ.
• Estágio 2 (Refinamento do Decodificador): O codificador e o quantizador são congelados. O decodificador é treinado adicionalmente com uma perda adversarial para refinar a qualidade da reconstrução perceptual enquanto preserva a representação semântico-acústica aprendida.

Principais Contribuições

1. Representação Semântico-Acústica Unificada: O EntangleCodec integra pistas semânticas e acústicas dentro de uma única representação pré-quantização, eliminando a necessidade de separação de fluxo duplo e fusão tardia.
2. Aprendizado de Alinhamento por Legenda: Ao usar legendas ricas geradas por LLM em vez de transcrições de ASR para o alinhamento contrastivo, o tokenizador captura identidade do locutor, emoção, prosódia e contexto ambiental, levando a tokens discretos mais expressivos.
3. Estrutura Unificada para Compreensão e Geração: O mesmo tokenizador suporta compreensão de áudio (QA, raciocínio) e geração (TTS, TTA) dentro de uma única estrutura, não exigendo tokenizadores específicos para cada tarefa.

Resultados Experimentais

Qualidade de Reconstrução

O EntangleCodec alcança qualidade de reconstrução competitiva com codecs especializados:

• Fala: Alcança um UTMOS de 3.96, comparável ao XCodec2 (4.02) e superando significativamente outros baselines como EnCodec (1.57) e WavTokenizer (3.79).
• Som e Música: Ocupa o segundo lugar no AudioBoxScore para ambos os domínios, ficando atrás apenas do XCodec (que carece de alinhamento semântico). É o único tokenizador que consistentemente ranqueia no topo para fala, som e música.

Compreensão de Áudio

Sob uma configuração controlada de codec (usando um backbone idêntico Qwen3-0.6B), o EntangleCodec supera significativamente todos os baselines de tokenizadores discretos:

• MMAR: Melhoria de +7.4% sobre o segundo melhor baseline.
• MMAU-mini: Melhoria de +1.5%.
• MMAU: Melhoria de +2.5%.
• Escalabilidade: Um modelo baseado no EntangleCodec de 0.6B supera LLMs especializados de representação contínua com mais de 13B de parâmetros (ex: SALMONN) em três benchmarks, usando 22× menos parâmetros. Escalar para 8B parâmetros estabelece novos resultados de estado da arte no MMAR (42.6%).

Geração de Áudio

• TTS: Alcança um WER de 9.8% e UTMOS de 3.89, superando todos os baselines controlados por codec.
• TTA: Alcança um CLAP Score de 0.17, uma melhoria de >4× sobre o segundo melhor baseline (XY-Tokenizer), demonstrando alinhamento semântico superior para geração condicionada a texto.

Significância e Alegações

O artigo postula que a qualidade da representação é tão crítica quanto a escala do modelo na modelagem de linguagem de áudio. O EntangleCodec demonstra que um codec discreto bem projetado pode superar o gargalo tradicional onde os tokens discretos eram vistos como inferiores às representações contínuas para tarefas de compreensão.

Ao unificar o aprendizado semântico-acústico através do alinhamento por legendas ricas, o EntangleCodec permite que modelos de pequena escala (0.6B) superem modelos muito maiores e especializados, sugerindo que a qualidade da interface de tokens é um principal impulsionador de desempenho em ALMs. O trabalho destaca que o emaranhamento semântico-acústico e a fidelidade de reconstrução são objetivos complementares em vez de conflitantes.

Limitações

Os autores reconhecem que:

• Granularidade Semântica: A riqueza das semânticas aprendidas é limitada pela qualidade das legendas geradas; características sutis como mudanças emocionais nuances ou harmonias complexas podem não ser totalmente capturadas.
• Escalabilidade: Os experimentos estão atualmente limitados a 8B de parâmetros devido a restrições computacionais. O equilíbrio ideal entre tarefas de reconstrução e compreensão em escalas maiores (ex: 30B ou 70B) permanece inexplorado.