CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering

Título: CoGR-MoE: Roteamento Guiado por Conceitos com Seleção Consistente e Raciocínio Flexível para Resposta Visual a Perguntas (VQA)

1. Problema Identificado

A tarefa de Resposta Visual a Perguntas (VQA) exige que modelos multimodais identifiquem a resposta correta entre várias opções, fundamentando a decisão em evidências visuais e textuais. Embora as arquiteturas recentes de Mistura de Especialistas (MoE) tenham melhorado o raciocínio ao agrupar conceitos similares ou rotear com base em exemplos, elas enfrentam dois desafios fundamentais:

1. Instabilidade de Roteamento: Em perguntas que exigem a mesma resposta mas são expressas de formas diferentes, a seleção de especialistas pode ser inconsistente, levando a erros.
2. Rigidez Excessiva: Métodos que buscam estabilidade (roteando entradas semanticamente similares para os mesmos especialistas) tendem a solidificar o conjunto de especialistas ativados. Isso reduz a flexibilidade no nível da opção, dificultando que o modelo capture as evidências distintas necessárias para discriminar entre opções de resposta muito similares (ex: diferentes raças de gatos com características sutis).

O equilíbrio entre estabilidade de roteamento e flexibilidade na discriminação de opções é o cerne do problema abordado.

2. Metodologia: CoGR-MoE

Os autores propõem o CoGR-MoE, um framework que integra semântica das opções de resposta ao mecanismo de roteamento e reponderação de especialistas. O processo funciona em três etapas principais:

A. Geração de Dicas Semânticas (Semantic Cues)

Um Grande Modelo de Linguagem (LLM) gera dicas positivas e negativas para cada opção de resposta:

• Dicas Positivas: Descrevem o que deve aparecer na imagem para que a opção seja correta.
• Dicas Negativas: Descrevem o que não deve aparecer.
• Medida de Incerteza: O modelo calcula um "escore de acordo" (agreement score) entre as dicas e a imagem, e uma "variância" baseada em paráfrases das dicas. Isso gera uma medida de incerteza ($unc$) para cada opção, usada para ponderar o treinamento.

B. Roteamento Guiado por Conceitos (Concept-Guided Routing)

Para estabilizar a seleção de especialistas sem perder flexibilidade:

1. Direção Semântica ($s_a$): É criada uma direção vetorial baseada na diferença entre as dicas positivas e negativas da resposta correta.
2. Roteador Professor (Router T): Durante o treinamento, essa direção semântica é injetada nos logits de roteamento do MoE. Isso guia a seleção do conjunto Top-K de especialistas para alinhar com a direção da resposta correta.
3. Distilação: Um Roteador Aluno (Router S), que não usa as dicas durante a inferência, é treinado para imitar a distribuição de roteamento do Professor (via perda de divergência KL). Isso permite que o modelo seja estável na inferência sem depender da geração de dicas em tempo real.

C. Reponderação Sensível à Opção (Option-Aware Reweighting)

Após o conjunto Top-K de especialistas ser selecionado (compartilhado por todas as opções), o modelo aplica flexibilidade:

• As dicas de cada opção específica ($s_j$) são usadas para reponderar os pesos dos especialistas selecionados.
• Isso cria representações distintas ($\tilde{h}_j$) para cada opção, permitindo que o modelo discrimine finamente entre candidatos, mesmo que eles compartilhem os mesmos especialistas base.

D. Função de Perda

O treinamento otimiza três componentes:

1. Perda Principal ($L_{main}$): Cross-entropy ponderada pela incerteza das dicas.
2. Perda Contrastiva ($L_{contrast}$): Alinha a representação da opção correta com suas dicas positivas e afasta as opções incorretas das dicas negativas.
3. Perda de Distilação ($L_{distill}$): Garante que o roteador aluno aprenda a direção semântica correta.

3. Contribuições Principais

1. Framework CoGR-MoE: Uma nova arquitetura MoE que estabiliza a seleção de especialistas injetando características da resposta correta no processo de roteamento.
2. Mecanismo de Reponderação Dinâmica: Ajusta a contribuição dos especialistas com base no conteúdo de cada opção, melhorando a discriminação no nível da opção sem comprometer a consistência do roteamento.
3. Desempenho e Interpretabilidade: Demonstra ganhos significativos em precisão (até 4,9% em alguns benchmarks) e oferece uma utilização de especialistas mais interpretável e alinhada semanticamente.

4. Resultados Experimentais

O modelo foi avaliado em benchmarks rigorosos de VQA e raciocínio multimodal:

• Benchmarks: VMCBench (unificando 20 datasets) e MRAG-Bench.
• Backbones Testados: MoE-LLaVA e Qwen3-VL-A3B-30B.
• Desempenho:
  • No MRAG-Bench, o CoGR-MoE alcançou a maior precisão geral (63,25% no MoE-LLaVA e 68,96% no Qwen3-VL), superando métodos de ponta como MH-MoE, I2MoE e MoME.
  • Destaque especial em tarefas de Perspectiva e Transformação, onde a discriminação fina é crucial.
  • No VMCBench, superou baselines em tarefas como VQAv2 e VizWiz.
• Estudos de Ablação:
  • A remoção da direção semântica ($s_a$) ou da perda de distilação causou a maior queda de desempenho, confirmando a importância do roteamento guiado.
  • A configuração ótima foi encontrada com 8 especialistas totais e 2 ativados (Top-2), equilibrando diversidade e foco.
• Análise de Roteamento: O CoGR-MoE demonstrou um roteamento mais "afiado" (sharpness) e estável (menor variância intra-categoria) comparado ao MoE-LLaVA padrão, indicando que especialistas consistentes são ativados para tarefas semanticamente similares.

5. Significado e Conclusão

O CoGR-MoE resolve o dilema entre estabilidade e flexibilidade em modelos MoE para VQA. Ao separar a seleção do conjunto de especialistas (guiada pela semântica global da resposta correta para estabilidade) da ponderação interna dos especialistas (guiada pelas características específicas de cada opção para discriminação), o modelo consegue:

• Evitar o "colapso" de especialistas em tarefas complexas.
• Melhorar a capacidade de raciocínio comparativo entre opções de resposta.
• Manter eficiência computacional, pois não requer geração de dicas durante a inferência (apenas no treinamento).

O trabalho sugere que a integração de sinais semânticos externos (via LLM) no mecanismo de roteamento, combinada com uma estratégia de distilação, é uma via promissora para melhorar a robustez e a precisão de modelos de linguagem visual multimodal. As limitações incluem a dependência de LLMs para geração de dados de treinamento e desafios em tarefas que exigem interações cruzadas extremamente dinâmicas e complexas.