UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception

Resumo Técnico: UniAudio-Token

Problema

Os atuais Modelos de Linguagem de Áudio de Grande Escala (Audio-LLMs) enfrentam uma limitação crítica em suas estratégias de tokenização de áudio. As abordagens existentes geralmente se dividem em duas categorias, ambas sofrendo de trade-offs significativos:

1. Tokenizadores de Fala Semântica: Modelos como o SpeechTokenizer e o GLM-4-Voice-Tokenizer utilizam um design de código único (single-codebook) e um forte alinhamento linguístico (frequentemente inicializados a partir de codificadores ASR). Embora eficazes para compreensão e geração de fala, eles exibem "cegueira acústica". Ao otimizar estritamente para a extração de conteúdo linguístico, esses modelos suprimem ativamente pistas vocais e detalhes da cena auditiva como ruído, tornando-os ineficazes para tarefas gerais de percepção de áudio (ex: música, eventos sonoros).
2. Tokenizadores Centrados no Acústico: Modelos como o WavTokenizer priorizam a reconstrução da forma de onda e detalhes gerais do áudio usando quantização de vetor de código único. No entanto, carecem de orientação semântica explícita. Consequentemente, seus tokens falham em formar agrupamentos categóricos distintos baseados em significado, fazendo com que sons semanticamente distintos, mas acusticamente semelhantes (ex: chuva vs. ruído branco), colapsem em distribuições sobrepostas.

Essa dicotomia força um paradigma fragmentado onde os Audio-LLMs ficam confinados a tarefas apenas de fala ou dependem de arquiteturas heterogêneas que combinam codificadores contínuos para percepção e tokenizadores discretos para geração. O artigo postula que um tokenizador unificado de código único, capaz de suportar tanto a geração de fala de alta fidelidade quanto a compreensão de áudio geral de alto nível, é um problema crítico ainda não resolvido.

Metodologia

Para resolver o conflito de supervisão e os gargalos arquiteturais inerentes aos tokenizadores existentes, os autores propõem o UniAudio-Token, um framework projetado para capacitar tokenizadores de fala semântica com percepção de áudio geral sem comprometer as capacidades de fala. O framework introduz duas inovações principais:

1. Primitivas Semântico-Acústicas (SAP)

Para resolver o conflito de supervisão, os autores introduzem um protocolo de supervisão estruturado que decompõe o áudio bruto em três camadas complementares, desmembrando explicitamente o conteúdo do estilo:

• Conteúdo Linguístico: A transcrição literal para a fala.
• Atributos Vocais: Seis campos normalizados que caracterizam a produção da fala (Idade, Gênero, Emoção, Sotaque, Prosódia, Timbre).
• Cena Auditiva: Captura o ambiente acústico, incluindo Eventos Transientes (ex: batidas de porta) e Eventos Persistentes (ex: ruído de motor).

Diferente dos corpora ASR tradicionais, o SAP fornece alvos de supervisão de baixa entropia que forçam o modelo a alocar capacidade para detalhes vocais e acústicos sem interferir na espinha dorsal semântica. Um pipeline de curadoria de dados utiliza modelos de linguagem de grande escala (LLMs) para gerar legendas acústicas ricas e sintetizar anotações JSON estruturadas a partir de corpora ASR de larga escala, seguidas de rigorosa validação de qualidade.

2. Equilíbrio Semântico-Acústico (SAE)

Para abordar o gargalo arquitetural onde codificadores semânticos profundos perdem irreversivelmente pistas acústicas refinadas, os autores propõem um mecanismo de portão (gating) consciente de conteúdo.

• Mecanismo: O módulo SAE funde adaptativamente características profundas semanticamente ricas ($H_{deep}$) com características rasas acusticamente ricas ($H_{shallow}$).
• Processo: As características rasas são projetadas no espaço de características profundas via um MLP aprendível. Um mecanismo de portão, computado pela concatenação de características profundas e rasas e passado por um MLP com ativação sigmoide, determina o peso de fusão.
• Função: A representação final é $H_{combined} = H_{deep} + g \odot H_{ada\_shallow}$. Isso permite que o modelo injete dinamicamente detalhes acústicos refinados quando necessário (ex: para música ou ambientes ruidosos), preservando a abstração linguística para a fala.

Estratégia de Treinamento

O modelo é inicializado a partir do whisper-large-v3 para preservar o alinhamento linguístico. O treinamento ocorre em duas etapas:

1. Estágio 1: A camada de Quantização de Vetor (VQ) é ignorada. O módulo SAE e o decodificador são treinados usando apenas a perda de predição SAP para alinhar o espaço oculto contínuo com os alvos estruturados de SAP.
2. Estágio 2: A camada VQ é inserida. O codebook é otimizado para produzir tokens de áudio discretos enquanto preserva a representação alinhada ao SAP. A função objetivo combina a perda de predição SAP com as perdas de quantização e comprometimento (commitment losses).

Principais Resultados

Avaliações extensas demonstram que o UniAudio-Token consegue unir a lacuna entre o alinhamento linguístico e a representação universal:

• Desmembramento do Espaço Latente: No conjunto de dados ESC-50 (fora do domínio), o UniAudio-Token forma clusters compactos e bem separados para diversos eventos de áudio. A análise quantitativa mostra que ele é o único modelo que alcança Silhouette Scores positivos tanto no ESC-10 quanto no ESC-50, enquanto os baselines exibem scores negativos indicando emaranhamento de características.
• Fidelidade de Geração de Fala: Contrariando a suposição de que adicionar detalhes acústicos prejudica a fala, o UniAudio-Token supera tokenizadores de fala especializados em reconstrução. No LibriSpeech e SEED-TTS, ele alcança o menor Erro de Taxa de Palavras (WER) e o maior Mean Opinion Score (MOS). Os autores atribuem isso à retenção de características específicas de sotaque e pistas fonéticas (ex: aspiração) que a compressão semântica excessivamente agressiva normalmente descarta.
• Desempenho de Downstream Audio-LLM: Integrado com backbones Qwen2.5, o UniAudio-Token supera todos os baselines de código único em benchmarks de compreensão (MMAU, MMAR, MMSU), mostrando ganhos significativos nas categorias de som e música. Ele também demonstra desempenho superior na síntese de Text-to-Speech (TTS) controlável.
• Validação do Mecanismo: A análise do portão SAE revela um comportamento adaptativo: a ativação do portão aumenta conforme a Relação Sinal-Ruído (SNR) diminui e é significativamente mais forte para música do que para fala, confirmando seu papel como um controlador consciente de conteúdo, em vez de uma conexão residual estática.

Significância e Alegações

O artigo afirma que o UniAudio-Token fornece uma interface discreta unificada que resolve o histórico trade-off entre alinhamento semântico e fidelidade acústica. Ao introduzir Primitivas Semântico-Acústicas e Equilíbrio Semântico-Acústico, o framework demonstra que é possível capacitar tokenizadores semânticos com percepção de áudio geral sem sacrificar a qualidade de geração de fala.

Os autores posicionam este trabalho como um passo crítico em direção a verdadeiros Audio-LLMs capazes de interação fluida através de fala, música e sons ambientais usando um único codebook compacto. Eles observam que, embora o modelo alcance alta fidelidade de reconstrução de fala e forte percepção de áudio geral, sua reconstrução ao nível de forma de onda para áudio não-verbal complexo ainda fica aquém de codecs acústicos especializados de alta taxa de bits, e a cobertura atual é limitada principalmente a inglês e chinês devido à disponibilidade de dados. No entanto, o trabalho estabelece um novo paradigma para a tokenização de áudio unificada que evita a fragmentação arquitetural de abordagens anteriores.