Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts

Título: Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts

Autores: Haolei Xu, Haiwen Hong, et al. (Zhejiang University e Alibaba Group)

1. O Problema: "Ver mas não Pensar"

O artigo identifica e investiga um fenômeno intrigante em Modelos de Linguagem Multimodal (VLMs) baseados em Mistura de Especialistas (MoE).

• O Fenômeno: Os modelos conseguem perceber e extrair com precisão o conteúdo visual de uma imagem (ex: números e texto em um problema de matemática), mas falham ao realizar o raciocínio lógico necessário para resolver o problema. Curiosamente, quando o mesmo problema é apresentado como texto puro, o modelo o resolve corretamente.
• A Hipótese Inicial Refutada: Uma suposição natural seria que o modelo falha na alinhamento semântico entre as modalidades (imagem e texto). No entanto, os autores demonstram que o alinhamento semântico existe nas camadas intermediárias do modelo, descartando-o como a única causa da falha.
• A Causa Real: A falha ocorre porque o mecanismo de roteamento (routing) do MoE, ao processar entradas visuais, desvia a computação para especialistas inadequados, falhando em ativar suficientemente os especialistas de domínio (responsáveis pelo raciocínio) nas camadas críticas. Os autores chamam isso de Distração de Roteamento (Routing Distraction).

2. Metodologia e Análise Mecanística

Os autores realizaram uma análise sistemática em três etapas para entender o fenômeno, utilizando o modelo Qwen3-VL-30B-A3B e datasets controlados (como MATH500 renderizado como imagens de alta resolução para eliminar erros de percepção).

A. Verificação de Compartilhamento Semântico

• Realizaram experimentos de intervenção de conceito cruzado, substituindo vetores de estado oculto de dígitos de imagem por vetores de texto.
• Resultado: Observaram uma taxa de sucesso de intervenção em forma de "U invertido" ao longo das camadas. As camadas intermediárias (8–42) mostraram alta taxa de sucesso (>90%), confirmando que o compartilhamento semântico ocorre nessas camadas. Isso prova que a informação visual é semanticamente alinhada com a textual, mas o problema persiste.

B. Especialização de Especialistas por Camada

• Analisaram a distribuição de especialistas usando o coeficiente de Gini e frequências de ativação.
• Descoberta Chave: Existe uma separação de camadas:
  • Especialistas Visuais: Concentram-se nas camadas iniciais (codificação) e finais (saída).
  • Especialistas de Domínio (Raciocínio): Concentram-se nas camadas intermediárias.
• Ao processar imagens, o roteamento nas camadas intermediárias diverge significativamente em relação ao texto, ativando menos especialistas de domínio e mais especialistas genéricos ou visuais.

C. Divergência de Roteamento e Hipótese

• Mediram a divergência de roteamento (Jensen-Shannon Divergence) entre entradas de imagem e texto.
• Correlação: Maior divergência de roteamento nas camadas intermediárias correlaciona-se diretamente com menor precisão no raciocínio.
• Hipótese de Distração de Roteamento: A modalidade visual não prejudica a capacidade intrínseca de raciocínio, mas causa uma seleção subótima de especialistas, impedindo a mobilização total da capacidade de raciocínio de domínio.

3. Solução Proposta: Intervenção Guiada por Roteamento

Para validar a hipótese, os autores propuseram um método de intervenção durante a inferência para forçar a ativação dos especialistas de domínio.

• Identificação de Especialistas: Comparam a frequência de ativação de especialistas em dados de domínio (ex: matemática) vs. dados gerais (ex: Alpaca) para identificar o conjunto de especialistas relevantes.
• Ajuste de Pesos: Durante a inferência, aumentam os logits (probabilidades) de roteamento desses especialistas identificados.
  • Intervenção Suave (Soft): Adiciona um valor moderado aos logits dos especialistas de domínio, preservando a flexibilidade do roteador.
  • Intervenção Rígida (Hard): Força os logits dos especialistas de domínio a serem os máximos da camada (funciona bem em alguns modelos, mas falha em outros com roteamento Top-1).

4. Resultados Experimentais

Os experimentos foram realizados em três modelos MoE (Qwen3-VL, Kimi-VL, Llama4-Scout) em seis benchmarks, divididos em cenários semanticamente equivalentes (problemas de texto renderizados como imagem) e cenários visuais naturais (diagramas complexos).

• Melhoria Consistente: A estratégia de intervenção suave (Soft) trouxe melhorias consistentes em todos os modelos.
• Ganhos Quantitativos:
  • Em tarefas de raciocínio visual complexo (MathVerse), o modelo Kimi-VL teve um aumento de 3.17% (de 35.41% para 38.58%).
  • O Qwen3-VL melhorou em matemática (+1.22%) e química (+2.15%).
• Robustez: A identificação de especialistas é robusta mesmo quando o texto de referência não é perfeitamente equivalente à imagem (ex: problemas geométricos onde o texto não captura totalmente a relação espacial), desde que o texto elicie o padrão de raciocínio do domínio.
• Seletividade: A intervenção falha ou piora o desempenho se os especialistas forem identificados a partir de um domínio incorreto (ex: usar aritmética simples para guiar raciocínio geométrico complexo), confirmando que a intervenção depende do alinhamento do domínio.

5. Contribuições e Significância

1. Caracterização do Fenômeno: Documentação sistemática do fenômeno "Ver mas não Pensar" em modelos MoE modernos, mostrando que a falha não é de percepção, mas de integração de raciocínio.
2. Insights Mecanísticos: A descoberta da separação de camadas entre especialistas visuais e de domínio, e como a entrada visual causa uma "distração" no roteamento nas camadas críticas de raciocínio.
3. Método Prático: Proposição e validação de uma técnica de intervenção leve (routing-guided intervention) que melhora o desempenho sem necessidade de re-treinamento do modelo, aplicável a diferentes escalas e arquiteturas.

Conclusão

O trabalho demonstra que em modelos MoE multimodais, o problema de raciocínio falho muitas vezes não reside na incapacidade de entender a imagem, mas na falha do mecanismo de roteamento em direcionar a computação para os "cérebros" especializados em raciocínio quando a entrada é visual. A correção ativa desse roteamento permite que os modelos aproveitem plenamente sua capacidade de raciocínio, mesmo diante de entradas visuais complexas.