Resumo Técnico: Aprimoramento de Modelos de Linguagem de Grande Escala para Fala através de Alinhamento de Comportamento Reforçado

Declaração do Problema

Os Modelos de Linguagem de Grande Escala para Fala (SpeechLMs) expandiram as capacidades dos LLMs baseados em texto para interação falada, mas continuam a ficar atrás de suas contrapartes acionadas por texto no seguimento de instruções e no raciocínio. Os autores argumentam que essa lacuna de desempenho não é meramente resultado de erros de Reconhecimento Automático de Fala (ASR) ou incompatibilidades de representação. Em vez disso, a questão central reside na variabilidade das realizações acústicas: a mesma instrução semântica pode ser falada por diferentes locutores, com sotaques, prosódia, condições de ruído, emoções e disfluências variáveis (por exemplo, preenchimentos, repetições). Os modelos atuais frequentemente falham em manter uma política de resposta consistente através dessas variações acústicas, levando à instabilidade no raciocínio e na adesão às instruções. Benchmarks existentes (por exemplo, DOWIS, VocalBench-DF) demonstram que alta qualidade de ASR não garante comportamento estável, e os métodos de alinhamento atuais frequentemente tratam prompts de áudio como instâncias independentes, em vez de um grupo estruturado de equivalentes semânticos.

Metodologia: VIRBA

O artigo propõe o Alinhamento de Comportamento Reforçado Verificável e Invariante (VIRBA), um framework de aprendizado por reforço projetado para alinhar o comportamento do SpeechLM através de diversas visões acústicas da mesma intenção semântica.

1. Auto-síntese de Múltiplas Visões

Em vez de depender exclusivamente de dados gravados por humanos ou tratar cada prompt de áudio independentemente, o VIRBA constrói grupos de instruções faladas de múltiplas visões. Para uma única instrução semântica $q_i$, o sistema gera $K$ visões faladas distintas ($x^{(k)}_i$) usando Text-to-Speech (TTS) e técnicas de aumento. Essas visões variam em:

• Identidade do locutor e sotaque
• Prosódia e tom emocional
• Velocidade de fala e resposta da sala
• Condições de ruído e disfluências (preenchimentos, autocorreções, falsos inícios)

Este processo cria um conjunto de dados onde múltiplas realizações acústicas mapeiam para uma única intenção semântica, permitindo que o modelo aprenda invariância.

2. Modelagem de Recompensa

O VIRBA emprega uma função de recompensa composta $R$ para pontuar respostas amostradas ($y_{i,k,n}$) do modelo $\pi_\theta$. A recompensa combina quatro componentes distintos:

• Recompensa de Preferência ($R_{pref}$): Uma pontuação controlada por comprimento de um juiz LLM comparando a resposta do modelo a uma resposta de professor, garantindo utilidade e coerência.
• Recompensa Verificável ($R_{ver}$): Verificações de correção baseadas em regras (correspondência exata, F1, correção de rótulos, analisadores para restrições, BLEU/COMET para tradução) para ancorar a precisão factual e reduzir alucinações.
• Recompensa de Invariância ($R_{inv}$): Uma métrica específica de fala que penaliza o desvio semântico entre respostas a diferentes visões acústicas da mesma instrução. Garante que o modelo não altere seu conteúdo factual ou comportamento de recusa com base no locutor ou na presença de disfluências.
• Recompensa de Raciocínio Adaptativo ($R_{think}$): Uma recompensa que incentiva raciocínio conciso apenas quando melhora a correção final, impedindo que o modelo gere racionalizações longas desnecessárias para tarefas simples.

3. Otimização de Política Relativa de Grupo Cruzado-Acústico (CA-GRPO)

O objetivo de otimização vai além da aprendizagem de preferência em pares (por exemplo, DPO), que seleciona apenas um par "melhor" e "pior". O VIRBA utiliza CA-GRPO, que trata todo o grupo de respostas através de todas as visões acústicas para uma única instrução como a unidade de otimização.

• A função de vantagem $A_{i,k,n}$ é calculada comparando a recompensa de uma resposta específica contra a média e o desvio padrão da distribuição de recompensas de todo o grupo.
• O objetivo maximiza a probabilidade de respostas de alta recompensa enquanto penaliza desvios da média do grupo, efetivamente impondo consistência através das visões acústicas.
• O pipeline de treinamento inclui uma fase de aquecimento supervisionada para prevenir colapso precoce da política, seguida pelo objetivo CA-GRPO.

Contribuições Principais

1. Formalização do Alinhamento Invariante Acusticamente: O artigo formaliza o alinhamento do SpeechLM como um problema de otimização onde solicitações faladas semanticamente idênticas devem induzir políticas de resposta consistentes através de locutores, sotaques, prosódia, ruído e disfluências.
2. Framework VIRBA: Introdução de um framework de aprendizado por reforço que constrói grupos de instruções faladas de múltiplas visões e combina recompensas de preferência, correção verificável, invariância cruzada-acústica e raciocínio adaptativo.
3. Objetivo CA-GRPO: Um método novel de otimização de política relativa a grupo que explora a distribuição completa de recompensas sobre visões de fala e amostras de resposta, em vez de reduzir a supervisão a um único par melhor-pior.
4. Avaliação Abrangente: Uma avaliação rigorosa em seguimento de instruções faladas, robustez a disfluências, QA falado, raciocínio de áudio e tradução de fala para texto, demonstrando que os ganhos derivam do mecanismo de alinhamento e não apenas da escala de dados sintéticos.

Resultados Experimentais

Os autores avaliaram o VIRBA usando Qwen2-Audio-7B como backbone primário e Qwen2.5-Omni-7B como backbone secundário.

• Seguimento de Instruções e Robustez: O VIRBA alcançou as maiores taxas de vitória controladas por comprimento (LC) em benchmarks como Spoken-Alpaca, Speech-IFEval e DOWIS. Notavelmente, mostrou os maiores ganhos em prompts disfluentes e acusticamente perturbados em comparação com baselines como TTS-SFT, Group-DPO e RL de visão única.
• Raciocínio e QA: Em benchmarks pesados em raciocínio (SpeechR, SoundMind, MMAR), o VIRBA superou o RL de visão única e igualou ou superou modelos especializados em raciocínio de áudio como Step-Audio-R1. O estudo de ablação confirmou que recompensas verificáveis e recompensas de invariância são críticas para esses ganhos.
• Controles de Robustez: Experimentos mostraram que o alinhamento direto do SpeechLM (VIRBA) supera sistemas em "cascata" (ASR + LLM de texto) em prompts disfluentes e gravados por humanos, pois sistemas em cascata sofrem com erros de ASR e perda de pistas paralinguísticas.
• Transferência de Tradução: Embora o foco principal seja o alinhamento de instruções, o VIRBA demonstrou que seu treinamento preserva as capacidades de tradução de fala para texto, mostrando melhorias modestas, mas consistentes, sobre as baselines em FLEURS, CoVoST2 e MuST-C.
• Estudos de Ablação: Remover a recompensa de invariância reduziu drasticamente a robustez e a consistência. Remover recompensas verificáveis prejudicou o desempenho em raciocínio e QA. Substituir o CA-GRPO por atualizações DPO em pares resultou em desempenho inferior em todas as métricas, validando o benefício de usar a distribuição completa de recompensas do grupo.

Significado e Alegações

O artigo alega que a lacuna persistente entre LLMs de texto e de fala não é apenas um problema de ASR, mas um problema de alinhamento comportamental. Ao tratar o "grupo acústico" como a unidade de otimização, o VIRBA força o modelo a aprender políticas de raciocínio que são estáveis e invariantes a variações realistas de fala.

Os autores enfatizam que sua abordagem move o alinhamento do SpeechLM além da simples imitação de professor em direção a políticas de raciocínio robustas. Os resultados sugerem que recompensas verificáveis e invariância cruzada-acústica são essenciais para lidar com a complexidade da interação falada do mundo real, particularmente onde disfluências e variabilidade do locutor desestabilizariam o modelo. O trabalho fornece um caminho escalável para frente usando dados de fala auto-sintetizados, desde que o objetivo de treinamento recompense explicitamente a consistência através das visões acústicas.