Resumo Técnico: CogniRoute

Declaração do Problema

Modelos omnimodais, que processam vídeo, áudio e texto dentro de um sistema autorregressivo unificado, demonstraram fortes capacidades de percepção multimodal. No entanto, uma lacuna crítica permanece entre ter acesso a múltiplas modalidades e utilizar efetivamente a evidência correta para responder a uma pergunta específica. Este problema é particularmente agudo no questionamento (QA) de vídeos sociais, onde a resposta correta muitas vezes depende de pistas sutis, como gestos, tom de voz, ordenação temporal ou conflitos entre palavras faladas e expressões visuais.

Os benchmarks existentes tipicamente supervisionam apenas a resposta final, deixando a estrutura de evidência subjacente implícita. Consequentemente, os modelos podem produzir respostas corretas baseando-se na modalidade errada, atendendo a segmentos temporais irrelevantes ou explorando vieses do conjunto de dados. Além disso, os mecanismos de roteamento padrão de Mixture-of-Experts (MoE), que são tipicamente otimizados via predição do próximo token e balanceamento de carga, carecem de supervisão explícita ao nível da amostra para distinguir entre diferentes tipos de raciocínio multimodal (por exemplo, percepção puramente visual vs. resolução de conflito áudio-visual).

Metodologia: CogniRoute

Para enfrentar esses desafios, os autores introduzem o CogniRoute, um framework de treinamento de MoE guiado por esquemas, projetado para o raciocínio social omnimodal. O framework alinha o roteamento de especialistas com a estrutura de evidência latente de cada entrada através de duas etapas primárias:

1. Roteamento Preditivo Alinhado ao Esquema (SAPR)

Durante o ajuste fino supervisionado (SFT), o CogniRoute introduz um Esquema Cognitivo exclusivo para treinamento que fatoriza cada exemplo em três dimensões:

• Fonte de Evidência: A relação entre a evidência de áudio e visual (Visual, Áudio, Conjunta ou Conflito).
• Demanda de Raciocínio: A operação de raciocínio necessária (ex: Percepção Direta, Norma Social, Estado Mental, Sarcasmo).
• Escopo Temporal: A janela de tempo das pistas relevantes (Momento, Janela Local, Longo Alcance, Múltiplos Segmentos).

O método computa uma assinatura de roteamento global agrupando as distribuições de probabilidade do roteador sobre os tokens de entrada (vídeo, áudio, pergunta) em todas as camadas de MoE. Uma cabeça de predição leve mapeia essa assinatura para um embedding alvo derivado das tags do esquema. A perda SAPR incentiva o roteador a produzir assinaturas distintas para amostras com diferentes estruturas de evidência, ensinando efetivamente o modelo a "saber" qual modalidade e tipo de raciocínio uma pergunta requer antes de gerar a resposta.

2. Aprendizado por Reforço de MoE Consciente de Rota (RMRL)

A verossimilhança da resposta padrão é insuficiente para otimizar a alocação de especialistas, pois respostas corretas podem ser geradas via rotas internas incorretas. O CogniRoute introduz uma segunda etapa de treinamento usando Aprendizado por Reforço de MoE Consciente de Rota. Esta etapa otimiza conjuntamente a geração de tokens e o roteamento de especialistas usando um sinal de recompensa composto:

• Correção da Resposta ($\mathcal{R}_{ans}$): Uma recompensa binária para a resposta final.
• Raciocínio Consistente com a Modalidade ($\mathcal{R}_{mcr}$): Uma recompensa (calculada via um juiz LLM congelado) que verifica se o traço de raciocínio gerado fundamenta explicitamente a resposta na evidência da modalidade exigida (visual, áudio ou ambos) e caracteriza corretamente sua relação.
• Fundamentação Temporal Cognitiva ($\mathcal{R}_{ctg}$): Uma recompensa que mede se o estado de raciocínio final do modelo foca no intervalo de evidência temporal anotado. Isso é calculado usando os próprios pesos de atenção causal do modelo sobre os tokens áudio-visuais, convertidos em uma distribuição temporal e comparados com o intervalo de evidência real via divergência KL.

O objetivo de RL atualiza tanto a política de geração de tokens quanto a seleção de porta do roteador usando vantagens ao nível de rollout, garantindo que as gerações bem-sucedidas sejam aquelas que não são apenas corretas, mas também conscientes da evidência e temporalmente fundamentadas.

Principais Contribuições

1. Framework CogniRoute: Um framework de MoE guiado por esquema que alinha o roteamento de especialistas com a estrutura de evidência de perguntas de vídeo social, permitindo que o modelo distinga quando depender de modalidades específicas, resolva conflitos ou realize inferência temporalmente fundamentada.
2. Aprendizado por Reforço Consciente de Rota: Um novo objetivo de RL que otimiza conjuntamente a geração de respostas e a alocação de especialistas usando recompensas para correção, consistência de modalidade e fundamentação temporal, indo além da simples supervisão de resposta.
3. OmniSocialBench: Um recurso de diagnóstico de QA de vídeo social contendo 118 mil exemplos de treinamento estruturados e um split de avaliação verificado manualmente. Diferente dos benchmarks padrão, ele fornece supervisão explícita para evidência de modalidade, relações áudio-visuais, demandas de raciocínio e intervalos de evidência temporal.

Resultados

Avaliado no OmniSocialBench, o CogniRoute alcança uma precisão média de 59,38%.

• Ele supera o baseline proprietário mais forte (Gemini 3.1 Pro) em 15,33 pontos percentuais.
• Ele supera o baseline de código aberto omni mais forte (Qwen3 Omni) em 26,77 pontos percentuais.
• Os ganhos mais significativos são observados em categorias que exigem coordenação complexa, como Objetivo de Ação (+18,79% sobre o melhor baseline) e inferência de Norma Social (+24,80%).

Além do OmniSocialBench, o CogniRoute melhora o desempenho em 8 de 10 benchmarks públicos de raciocínio áudio-visual e de vídeo (incluindo OmniBench, WorldSense e Video-MME-v2), demonstrando que os objetivos de roteamento e reforço propostos generalizam para tarefas multimodais mais amplas.

Significância e Alegações

O artigo afirma que o roteamento estruturado por evidência é um sinal de treinamento eficaz para melhorar o raciocínio social omnimodal. Ao supervisionar explicitamente o comportamento de roteamento interno do modelo de acordo com a estrutura da evidência (relação de modalidade, demanda de raciocínio e escopo temporal), o CogniRoute força o modelo a engajar-se em uma computação mais interpretável e apropriada.

Os autores enfatizam que sua abordagem aborda a natureza de "caixa preta" do raciocínio multimodal, onde os modelos frequentemente chegam a respostas corretas via correlações espúrias. O Cogni-Route demonstra que alinhar a alocação de especialistas com o esquema cognitivo da tarefa leva a melhorias substanciais em tarefas que exigem coordenação cross-modal, resolução de conflitos e inferência social temporalmente fundamentada. O trabalho posiciona o QA de vídeo social como um campo de teste robusto para a compreensão omnimodal, destacando que o acesso a múltiplas modalidades é necessário, mas insuficiente sem mecanismos para selecionar e integrar a evidência correta.