Resumo Técnico: O que os LLMs Multimodais Aprendem ao Aprender Raciocínio Multimodal

Declaração do Problema

A avaliação atual de Modelos de Linguagem Grandes Multimodais (MLLMs) tipicamente reduz o desempenho a uma única pontuação agregada de precisão. Essa abordagem trata implicitamente o raciocínio como uma capacidade unitária, obscurecendo as distintas fontes de erro: percepção (extração de informações de entradas visuais), raciocínio (operação sobre informações extraídas) e interações específicas multimodais (coordenação entre modalidades). Benchmarks existentes raramente decompõem esses componentes com controles rigorosos, frequentemente dependendo de modalidades de entrada variadas sem isolar habilidades específicas. Consequentemente, permanece incerto como diferentes estratégias de treinamento (por exemplo, Ajuste Fino Supervisionado vs. Aprendizado por Reforço) influenciam capacidades específicas de raciocínio multimodal.

Metodologia: MATHLENS

Para abordar isso, os autores introduzem o MATHLENS, um benchmark controlado de problemas de geometria no estilo de livros didáticos projetado para decompor operacionalmente o desempenho.

• Construção de Dados: O MATHLENS é construído sobre o estado semântico simbólico do FormalGeo-7K. Cada instância de problema $k$ é definida por um estado semântico latente $S_k$ (um conjunto de fatos atômicos, por exemplo, colinearidade, medidas de ângulo) e um operador de consulta $\phi_k$.
• Variantes Controladas: A partir de $S_k$, o benchmark gera quatro anotações alinhadas:
  1. Diagramas Visuais ($C^{img}_k$): Renderizados a partir de restrições geométricas para testar a percepção.
  2. Descrições Textuais ($C^{txt}_k$): Codificação textual definitivamente equivalente de $S_k$, permitindo avaliação de raciocínio com percepção trivializada.
  3. Perguntas Multimodais ($Q_k$): Requerendo ambas as modalidades para resolução.
  4. Sondas de Percepção ($Q^{perc}_k$): Perguntas de granularidade fina visando fatos atômicos específicos em $S_k$ (por exemplo, "Quais pontos são colineares?").
• Teste de Robustez: O benchmark inclui modificações semânticas de diagramas (por exemplo, reetiquetagem, rotação, adição de formas auxiliares) que preservam a resposta fundamental, mas alteram a forma visual, testando invariância semântica além do aumento de nível de pixel.
• Decomposição de Erros: As saídas do modelo são categorizadas em:
  • Erros de Percepção: Falha em sondas de percepção.
  • Erros de Raciocínio: Sucesso em sondas, mas falha em raciocínio apenas textual.
  • Erros Específicos Multimodais (Integração): Sucesso em tarefas de percepção e raciocínio isoladas, mas falha na tarefa multimodal combinada.
  • Resíduos: Uma categoria capturando falhas não explicadas pelos componentes de percepção e raciocínio medidos.

O estudo avalia 13 checkpoints em 7 famílias de modelos (7–9B e 72B parâmetros), incluindo variantes treinadas com RL Direto, Ajuste Fino Supervisionado (SFT) Multimodal, SFT Textual e combinações destes.

Principais Descobertas

A decomposição revela que estratégias de treinamento induzem perfis de capacidade sistematicamente diferentes que são invisíveis sob precisão agregada:

1. Impacto Diferencial das Estratégias de Treinamento:

   • Aprendizado por Reforço (RL): Melhora primariamente a percepção e a robustez à variação de diagramas. Quando emparelhado com SFT textual forte, o RL produz ganhos significativos em percepção. No entanto, o RL sozinho oferece apenas melhorias modestas em ambas as modalidades.
   • SFT Textual: Apesar de carecer de entrada visual durante o treinamento, o SFT textual fortalece indiretamente a percepção. Isso é atribuído ao raciocínio reflexivo, onde estratégias cognitivas aprimoradas (por exemplo, autocorreção) permitem que os modelos revisitem e corrijam julgamentos perceptivos iniciais.
   • Ganhos de Raciocínio: Melhorias no raciocínio seguem amplamente melhorias perceptivas sob RL e não exibem ganhos adicionais distintos além dessas melhorias acopladas.

2. O Surgimento de Resíduos Específicos Multimodais:
   À medida que as capacidades de percepção e raciocínio melhoram, uma fração crescente de erros remanescentes cai fora desses componentes medidos. Esses erros são categorizados como resíduos específicos multimodais (ou falhas de integração). Isso sugere que o progresso aparente no raciocínio multimodal frequentemente reflete mudanças de equilíbrio entre componentes, em vez de avanço uniforme.

3. Divergência de Robustez:

   • RL aprimora a consistência sob variações estruturais de diagramas.
   • SFT Multimodal reduz a robustez, levando ao sobreajuste em estilos visuais específicos e uma queda acentuada no desempenho em diagramas modificados.

4. Ganhos Específicos de Habilidade:
   Os ganhos de percepção são desiguais. O treinamento aprimora preferencialmente habilidades impulsionadas por pistas geométricas diretas (por exemplo, colinearidade, linhas paralelas). Tarefas que dependem de marcas simbólicas ou associações visuais de longo alcance (por exemplo, valores de ângulo específicos, detecção de triângulos) mostram ganhos limitados, a menos que combinadas com supervisão textual.

Significado e Alegações

O artigo afirma que o MATHLENS fornece uma estrutura necessária para avaliação multi-axial do raciocínio multimodal. Ao ir além da precisão escalar, os autores demonstram que:

• O progresso aparente em MLLMs é frequentemente uma mudança no equilíbrio entre percepção, raciocínio e integração, em vez de um impulso uniforme de capacidade.
• Diferentes objetivos de treinamento (SFT vs. RL) moldam esses componentes de maneiras distintas, com o RL sendo crucial para fundamentação perceptiva e robustez, e o SFT textual auxiliando a percepção através do raciocínio reflexivo.
• A persistência de resíduos específicos multimodais indica que os paradigmas de treinamento atuais lutam com a coordenação intermodal, mesmo quando componentes individuais melhoram.

Os autores concluem que trabalhos futuros devem abordar diretamente a coordenação intermodal e a capacidade perceptiva, motivados pela descoberta de que métricas agregadas padrão obscurecem essas limitações críticas. O artigo não afirma resolver essas questões, mas fornece as ferramentas de diagnóstico para identificá-las.