Resumo Técnico: Otimização de Política de Percepção Omni para Raciocínio Emocional Multimodal

1. Definição do Problema

Os atuais Modelos de Linguagem de Grande Escala Omni-modais (Omni-MLLMs) projetados para o reconhecimento de emoções, como o GPT-4o e o Qwen-Omni, impulsionaram uma mudança de paradigma da simples predição de rótulos para o Raciocínio Emocional Multimodal (MER). O MER exige que os modelos gerem cadeias de raciocínio explícitas fundamentadas em pistas visuais, acústicas e textuais. No entanto, este artigo identifica uma lacuna crítica: os Omni-MLLMs orientados a emoções existentes carecem de uma percepção omni-modal confiável.

Os autores argumentam que a percepção confiável depende de dois princípios que os modelos atuais violam:

1. Utilização: Os modelos frequentemente subutilizam pistas multimodais, dependendo de uma "inércia de pensamento" onde ignoram evidências visuais ou acústicas detalhadas em favor de uma única modalidade dominante (por exemplo, prever raiva baseando-se apenas no volume da voz enquanto ignoram uma expressão facial neutra).
2. Fidelidade (Faithfulness): Os modelos exibem comportamento não fiel, frequentemente alucinando afirmações específicas de uma modalidade. Por exemplo, um modelo pode afirmar que um vídeo mostra um "franzir de testa" baseando-se apenas em um tom de áudio irritado, mesmo quando a entrada de vídeo está mascarada ou o rosto está neutro. Isso decorre de correlações cross-modais espúrias em vez de uma atribuição causal à modalidade específica.

Para quantificar esses problemas, os autores introduzem o MEP-Bench (Benchmark de Percepção de Emoção Multimodal), que mede a Utilização (via recall de pistas) e a Fidelidade (via sondagens de mascaramento unimodal). Experimentos no MEP-Bench revelam que os modelos de base capturam apenas ~50% das pistas anotadas por humanos e falham nas sondagens de fidelidade com taxas de precisão tão baixas quanto 26–35%.

2. Metodologia: OPPO

Os autores propõem o OPPO (Otimização de Política de Percepção Omni), um framework de Aprendizado por Reforço (RL) projetado para otimizar explicitamente a percepção multimodal. O pipeline segue um estágio padrão de Ajuste Fino Supervisionado (SFT) em dados MER-Caption+, seguido por uma fase de RL do tipo GRPO aumentada com dois componentes inovadores:

A. Recompensa de Percepção Omni ($R_{omni}$)

Para abordar a Utilização, esta recompensa incentiva o modelo a recuperar a evidência de verdade fundamental em sua trajetória de raciocínio.

• Mecanismo: Parágrafos de raciocínio de verdade fundamental são decompostos em pistas de evidência atômicas ($C_V$ para visual, $C_A$ para acústica, $C_E$ para emoção). O raciocínio gerado pelo modelo é segmentado em cláusulas.
• Computação: Uma Matriz de Roteamento de Evidência computa a similaridade semântica (similaridade de cosseno) entre as pistas de verdade fundamental e as cláusulas geradas. Um "acerto" (hit) é registrado se a similaridade de uma pista com qualquer cláusula exceder um limiar $\delta$.
• Objetivo: A recompensa agrega a fração de pistas cobertas através dos conjuntos visual, de áudio e de emoção, incentivando o modelo a referenciar explicitamente evidências multimodais diversas.

B. Perda de Percepção Omni ($J_{omni}$)

Para abordar a Fidelidade, esta perda penaliza a alucinação cross-modal ao contrastar o comportamento do modelo sob entradas completas versus entradas com mascaramento unimodal.

• Mecanismo: Entradas contrafactuais são criadas ao mascarar uma parte ($\rho$) de qualquer fluxo, seja visual ou acústico.
• Supervisão Direcionada: Diferente de trabalhos anteriores (ex: PAPO) que aplicam penalidades KL globais a todos os tokens, o OPPO usa a Matriz de Roteamento de Evidência para identificar tokens de evidência específicos de uma modalidade (tokens que descrevem fatos visuais ou acústicos).
• Objetivo: Uma penalidade de divergência KL é aplicada apenas a esses tokens específicos. O objetivo é maximizar a divergência entre a distribuição de tokens sob a entrada completa e a entrada mascarada. Se um modelo alucina evidências visuais a partir do áudio, o mascaramento do vídeo não mudará a distribuição do token de "afirmação visual", resultando em uma baixa penalidade KL. Por outro lado, um modelo fiel irá retrair ou alterar a afirmação quando a fonte da modalidade é removida, gerando uma alta penalidade KL.

O objetivo total combina a recompensa da tarefa (acurácia), recompensa de formato, Recompensa de Percepção Omni e Perda de Percepção Omni.

3. Principais Contribuições

1. Benchmark Diagnóstico (MEP-Bench): A construção de um benchmark que quantifica a "Utilização" e a "Fidelidade" do raciocínio emocional, revelando que os modelos de última geração sofrem de subutilização significativa de pistas e alucinações cross-modais.
2. Framework OPPO: A proposta de um framework de RL que otimiza explicitamente a percepção através de:
   • Uma Recompensa de Percepção Omni detalhada para cobertura exaustiva de pistas.
   • Uma Perda de Percepção Omni direcionada que aplica penalidades KL exclusivamente a tokens de evidência específicos de modalidade para suprimir alucinações.
3. Insight Teórico: O artigo fornece uma análise informacional mostrando que a Perda de Percepção Omni atua como um regularizador que expande o "canal de informação" (informação mútua entre tokens e modalidades), elevando assim o limite superior para que a Recompensa de Percepção Omni seja eficaz.

4. Resultados Experimentais

Os autores avaliam o OPPO no MER-UniBench (cobrindo análise de sentimento, reconhecimento de emoções básicas e reconhecimento refinado) e no MME-Emotion.

• Desempenho de Última Geração (SOTA): O OPPO atinge uma pontuação média de 81,05% no MER-UniBench, superando a linha de base reproduzida AffectGPT-R1 em 5,45% e outros fortes baselines (ex: Qwen-Audio, Emotion-LLaMA). Também atinge o melhor desempenho no MME-Emotion, particularmente em métricas de raciocínio e Cadeia de Pensamento (CoT).
• Diagnósticos de Percepção: No MEP-Bench, o OPPO melhora significativamente ambas as métricas:
  • Utilização: O recall de pistas aumenta de 58,00% (Baseline) para 70,44%.
  • Fidelidade: A precisão nas sondagens mascaradas melhora de 59,20% para 76,40% (vídeo) e de 33,00% para 50,60% (áudio).
• Estudos de Ablação:
  • Adicionar apenas a Recompensa de Percepção Omni melhora o desempenho, mas adicionar a Perda de Percepção Omni produz os ganhos mais significativos em fidelidade e desempenho geral da tarefa.
  • Perdas de percepção genéricas (como o PAPO) que aplicam penalidades globais falham em melhorar o desempenho e podem degradar a fidelidade, destacando a necessidade do direcionamento por token e por modalidade do OPPO.
  • A análise de hiperparâmetros confirma que um peso suficiente ($\beta \ge 8e^{-3}$) para a perda é necessário para estabilizar a otimização e desbloquear o potencial da recompensa.

5. Significância e Alegações

O artigo afirma que uma percepção omni suficiente e fiel é a chave para desbloquear o raciocínio robusto em tarefas de emoção multimodal. Os autores argumentam que métodos anteriores que dependem de recompensas de granularidade grosseira ou penalidades globais falham porque não impõem o elo causal entre entradas sensoriais específicas e as afirmações de raciocínio do modelo.

Ao exigir que as afirmações de raciocínio sobre uma modalidade dependam da entrada dessa modalidade (Fidelidade) e que o modelo deva recuperar ativamente pistas diversas (Utilização), o OPPO demonstra que a percepção confiável não é meramente um subproduto de um melhor modelamento de linguagem, mas uma capacidade distinta que deve ser explicitamente otimizada. Os resultados sugerem que os avanços futuros na computação afetiva e na interação humano-IA dependem de garantir que os modelos não alucinem evidências, mas sim fundamentem suas interpretações emocionais em sinais multimodais verificáveis.