Resumo Técnico: Escapar do Prior Linguístico: Mitigando o Colapso de Modalidade em Estágios Avançados no Raciocínio Audiovia Otimização de Política Consciente de Modalidade

1. Declaração do Problema

Modelos de linguagem grandes (LLMs) de áudio e multimodais demonstraram capacidades impressionantes de raciocínio cross-modal. No entanto, a aplicação de algoritmos padrão de pós-treinamento por aprendizado por reforço (RL) (por exemplo, PPO, DPO, GRPO) a esses modelos expõe uma vulnerabilidade estrutural crítica: colapso de modalidade em estágios avançados.

Métodos padrão de RL aplicam gradientes de política uniformes em todos os tokens gerados, assumindo que cada token contribui igualmente para o sinal de aprendizado. Na geração cross-modal, essa suposição é falha. Muitos tokens servem como andaimes linguísticos previsíveis pelo prior linguístico interno do modelo, enquanto um subconjunto crítico depende inteiramente da modalidade de origem não textual (por exemplo, áudio bruto) para capturar atributos acústicos essenciais. A ponderação uniforme desperdiça o orçamento de otimização em texto agnóstico à modalidade e dilui o sinal de aprendizado para tokens que exigem ancoragem cross-modal ativa.

Essa ineficiência impulsiona um modo de falha severo durante a geração estendida de Cadeia de Pensamento (CoT): à medida que o traço de raciocínio se alonga, os modelos progressivamente abandonam o sinal primário de origem não comprimido em favor de priores textuais comprimidos. Isso leva a "alucinações confiantes, mas desancoradas", onde o modelo torna-se epistemicamente desconectado do áudio de origem. Crucialmente, à medida que o modelo sucumbe ao seu prior linguístico, ele torna-se patologicamente confiante, fazendo com que intervenções padrão baseadas em entropia falhem em recuperar a ancoragem perdida.

2. Metodologia: Otimização de Política Consciente de Modalidade (MAPO)

Para abordar esses desafios, os autores propõem a Otimização de Política Consciente de Modalidade (MAPO), um novo framework de aprendizado por reforço de dois ramos construído sobre a Otimização de Política Relativa por Grupos (GRPO). O MAPO modifica o objetivo de aprendizado através de dois mecanismos complementares projetados para quebrar o prior linguístico e impor uma ancoragem cross-modal sustentada.

2.1 Métricas Principais

Antes de definir o objetivo de otimização, o MAPO introduz duas métricas quantitativas:

• Massa de Atenção ao Áudio ($a_t$): Uma medida da massa de probabilidade agregada roteada para a sequência de entrada cross-modal dentro da distribuição de auto-atenção do modelo. Serve como um proxy para a largura de banda perceptiva ativa. A análise empírica mostra que essa massa decai significativamente na geração de estágios avançados, indicando que o modelo para de "ouvir".
• Entropia Diferencial Cross-Modal ($\Delta h_t$): A diferença de entropia ao nível de token entre um modelo de referência congelado apenas de texto ($\pi_{text-ref}$) e a política multimodal ativa ($\pi_\theta$).
  $$\Delta h_t = H(\pi_{text-ref}(\cdot | y_{<t}, x_{text})) - H(\pi_\theta(\cdot | y_{<t}, x))$$
  Essa métrica isola o ganho de informação fornecido pela modalidade não textual. Um $\Delta h_t$ alto indica tokens onde a fonte de áudio altera significativamente a distribuição preditiva, identificando "tokens-chave" que exigem percepção cross-modal.

2.2 Objetivo de Otimização de Dois Ramos

O objetivo total do MAPO é definido como:
$$\mathcal{L}_{MAPO} = \mathcal{L}_{PG}(\tilde{\omega}) + \beta \mathcal{L}_{KL} + \eta \mathcal{L}_{attn}$$

A. Máscara de Relevância de Modalidade e Gradiente de Política Reponderado ($\mathcal{L}_{PG}$)

O GRPO padrão média as perdas de token uniformemente ($1/T$). O MAPO substitui isso por uma Máscara de Relevância de Modalidade ($\tilde{\omega}$) dinâmica e ao nível de token, derivada da entropia diferencial cross-modal.

• Mecanismo: A máscara repondera o gradiente de política para alocar desproporcionalmente o orçamento de otimização para tokens onde o áudio de origem influencia fortemente a distribuição preditiva.
• Implementação: A máscara é construída aplicando um softmax sobre a entropia diferencial absoluta $|\Delta h_t|$, escalada por uma temperatura dependente do comprimento e limitada para evitar amplificação extrema. A perda final é normalizada pela soma dos pesos para manter uma taxa de aprendizado estável.
• Efeito: Isso aumenta dinamicamente a contribuição do gradiente de tokens críticos à modalidade, enquanto reduz a ponderação dos andaimes linguísticos.

B. Ramo de Perda de Atenção Auxiliar ($\mathcal{L}_{attn}$)

Enquanto a máscara corrige o orçamento de gradiente, ela depende do modelo reter alguma consciência latente do sinal. Para combater diretamente o colapso em estágios avançados, o MAPO introduz um ramo de perda auxiliar que penaliza a negligência do sinal de origem profundamente dentro da cadeia de raciocínio.

• Mecanismo: Este ramo aplica uma penalidade direcionada e escalada temporalmente às distribuições de atenção internas do modelo. Penaliza tokens com baixa massa de atenção ao áudio ($a_t$) especificamente em posições linguisticamente substantivas (isoladas através de um gate de classe de palavra).
• Escalonamento Temporal: A penalidade é ponderada por uma máscara de relevância inversa (alvejando tokens com entropia diferencial suspeitamente baixa) e um peso temporal não decrescente $(t/T)^\kappa$, concentrando a penalidade na extremidade final da sequência onde o colapso tipicamente ocorre.
• Fluxo de Gradiente: Os gradientes deste ramo fluem estritamente através da massa de atenção ao áudio diretamente para os parâmetros de atenção multi-cabeça do transformador (projeções Query e Key), deixando o cabeçalho de modelagem de linguagem intocado. Isso força o modelo a sustentar ativamente a ancoragem cross-modal profundamente no traço de raciocínio.

3. Contribuições Principais

1. Formalização do Colapso de Modalidade em Estágios Avançados: Os autores identificam e formalizam as limitações da ponderação uniforme de tokens no RL cross-modal, destacando como o prior linguístico mascara a verdadeira incerteza do modelo durante o raciocínio de longo horizonte, levando a alucinações confiantes.
2. Framework MAPO: Propõem um framework de otimização de dois ramos que aproveita a entropia diferencial cross-modal para priorizar tokens críticos à modalidade e introduz uma penalidade de atenção direcionada para impor uma ancoragem cross-modal sustentada.
3. Validação Empírica: Através de avaliação extensiva em tarefas complexas de raciocínio de áudio (fala, música, eventos sonoros), demonstram que o MAPO melhora tanto a fidelidade do raciocínio de longo formato quanto a robustez contra alucinações de prior linguístico, estabelecendo novos resultados de última geração entre modelos de pesos abertos.

4. Resultados Experimentais

Os autores avaliaram o MAPO usando o modelo Qwen3-Omni-30B-A3B-Thinking como política base, treinado em uma mistura diversificada de conjuntos de dados de QA de áudio (incluindo AVQA, AudioSet, LibriTTS-R e MusicCaps).

4.1 Estudos de Ablação

• Impacto dos Componentes: O GRPO padrão no modelo base degradou ligeiramente o desempenho (Média: 70,21 $\to$ 69,51). Adicionar a máscara de relevância de modalidade recuperou o desempenho (70,53). Integrar a perda de atenção auxiliar produziu um salto substancial (71,51), validando que impor estruturalmente a ancoragem de origem sustentada mitiga o colapso.
• Ajuste Fino Completo: O MAPO manteve uma vantagem clara sobre o GRPO padrão mesmo sob atualizações completas de parâmetros, alcançando uma média geral de 73,34 no benchmark final da Fase 2.

4.2 Desempenho em Benchmarks

• Benchmarks Centrados em Modalidade (MMAU, MMAR): O MAPO alcançou um novo estado da arte para modelos de pesos abertos. No MMAU, obteve 77,80, igualando o modelo proprietário líder (Nova 2 Omni) e superando substancialmente o Gemini 2.5 Pro (71,60) e o GPT-4o Audio (62,50). Comparado à sua linha de base Qwen3-Omni-Thinking, o MAPO melhorou o MMAU em +2,80 e o MMAR em +4,00.
• Capacidade e Seguimento de Instruções (MMSU, MMAU-Pro): O MAPO alcançou a pontuação geral mais alta no MMSU (79,36), com melhorias simultâneas em Percepção e Raciocínio. Notavelmente, no MMAU-Pro, elevou a pontuação de Seguimento de Instruções de Áudio (AIF) de 62,07 para 95,40, superando modelos altamente otimizados como o Gemini 2.5 Flash (95,10).

4.3 Análise Qualitativa

Estudos de caso revelaram que, sem o ramo de perda de atenção, os modelos frequentemente identificavam corretamente pistas acústicas iniciais, mas depois derivavam para priores textuais incorretos (por exemplo, identificar erroneamente uma "Carroça puxada por cavalos" como um "Trem" devido ao estrondo rítmico). O framework completo do MAPO manteve a atenção ao áudio profundamente no traço de raciocínio, permitindo que o modelo refinasse pistas ambíguas e rejeitasse priores enganosos.

5. Significado e Alegações

O artigo afirma que o MAPO oferece uma base promissora para mitigar o colapso epistêmico em diversos sistemas multimodais. Seu significado reside em três áreas:

1. Correção Estrutural: Aborda uma ineficiência estrutural fundamental no pós-treinamento padrão por RL (ponderação uniforme de tokens) que faz com que os modelos abandonem modalidades de origem durante o raciocínio estendido.
2. Dependência de Sinal Nativo: Diferentemente de métodos anteriores que dependem de modelos professores externos ou vieses indutivos específicos de domínio (por exemplo, métricas de similaridade visual), o MAPO depende estritamente de sinais estatísticos nativos (pesos de atenção e entropia preditiva) derivados do próprio modelo.
3. Generalizabilidade: Embora validado em áudio, os autores postulam que os mecanismos de reponderação de tokens e direcionamento de atenção do framework são agnósticos à modalidade, sugerindo aplicabilidade a outras modalidades contínuas não textuais, como visão e vídeo.

Os autores observam explicitamente que o MAPO é um framework de alinhamento e regularização, não um mecanismo de injeção de capacidade. Garante que os modelos aproveitem plenamente as capacidades perceptivas e de raciocínio existentes, mas não sintetiza capacidades ausentes do pré-treinamento base. Além disso, observam que aplicar o MAPO a modelos ajustados para instruções que carecem de capacidades intrínsecas de CoT produz sucesso limitado, pois o prior subjacente de brevidade restringe o potencial de otimização.