Resumo Técnico: M3Kang – Avaliando o Raciocínio Matemático Multilíngue e Multimodal em Modelos de Linguagem de Visão

1. Declaração do Problema

Apesar do rápido avanço dos Modelos de Linguagem de Visão (VLMs) e de suas demonstradas capacidades de raciocínio, seu desempenho no raciocínio matemático multilíngue permanece subexplorado. As avaliações atuais são fortemente enviesadas para línguas de alto recurso e benchmarks puramente de texto. Estudos existentes indicam que os modelos enfrentam dificuldades significativas em línguas menos utilizadas e falham em interpretar diagramas com precisão. Há uma carência crítica de benchmarks que abordem simultaneamente a interseção entre multilinguismo, multimodalidade e raciocínio matemático. Essa lacuna limita a compreensão da robustez dos modelos e dificulta o desenvolvimento de sistemas de IA inclusivos e globalmente aplicáveis. Além disso, embora existam alguns benchmarks para tarefas multilingues ou multimodais individualmente, poucos avaliam a capacidade combinada, e aqueles que o fazem frequentemente focam em conhecimento geral em vez de matemática ou cobrem um conjunto limitado de línguas.

2. Metodologia

2.1 O Conjunto de Dados M3Kang

Os autores apresentam o M3Kang, o primeiro conjunto de dados massivamente multilíngue e multimodal para raciocínio matemático em VLMs. O conjunto de dados é derivado da Kangaroo Math Competition, a maior competição de matemática do mundo, que envolve mais de seis milhões de participantes menores de 18 anos em mais de 90 países anualmente.

• Material de Origem: O conjunto de dados base consiste em 1.747 problemas de múltipla escolha únicos das edições de 2007–2024 da competição, originalmente extraídos de PDFs organizados pela Societat Catalana de Matemàtiques.
• Escala e Diversidade: O conjunto de dados inclui traduções para 108 línguas culturalmente diversas, variando de línguas de alto recurso (ex: inglês, espanhol) a línguas de baixo recurso (ex: tsonga, lingala). Isso resulta em um total de 111.198 problemas após a filtragem de qualidade.
• Estrutura Multimodal: Cada problema é fornecido em dois formatos:
  1. Uma versão apenas de texto.
  2. Uma imagem contendo o problema completo (pergunta, opções e quaisquer diagramas necessários) com o texto traduzido para a língua alvo.
• Subconjunto em Inglês (M2Kang): Um subconjunto apenas em inglês também é lançado de forma independente para avaliar o raciocínio multimodal não multilíngue.

2.2 Pipeline de Construção do Conjunto de Dados

Os autores propõem um pipeline automatizado para traduzir problemas multimodais de uma língua de origem (catalão) para 108 línguas alvo. O processo envolve três estágios:

1. Criação do Conjunto de Dados Base (Catalão): Os PDFs são analisados, convertidos em imagens e segmentados. Caixas delimitadoras (bounding boxes) são desenhadas manualmente ao redor das questões para excluir termos específicos do catalão nas imagens. Um LLM-as-a-judge sinaliza amostras corrompidas (ex: caixas delimitadoras incorretas, cobertura parcial de figuras), que são corrigidas manualmente. Duplicatas são removidas via similaridade textual.
2. Tradução para Inglês (M2Kang): O conjunto de dados em catalão é traduzido para o inglês. O texto é dinamicamente reajustado dentro das caixas delimitadoras originais para manter o alinhamento multimodal. Um LLM-as-a-judge detecta corrupções de tradução, seguido por uma revisão manual rigorosa onde 42 erros de tradução foram removidos para garantir a precisão linguística e eliminar o viés.
3. Extensão Multilíngue: O conjunto de dados em inglês é estendido para outras línguas. Para garantir a qualidade sem referências de verdade absoluta (ground-truth) para todas as 108 línguas, os autores utilizam uma estratégia de avaliação baseada em backtranslation.
   • Métrica de Qualidade: Eles utilizam uma métrica livre de referência baseada no score max chrf++ entre o texto de origem e múltiplas backtranslations (usando modelos NLLB).
   • Limiar (Thresholding): Amostras com um score max chrf++ abaixo de um limiar ($T = 0,625$) são descartadas como erros de tradução. Um subconjunto de "alta qualidade" também é fornecido com um limiar mais rigoroso ($T = 0,85$).

2.3 Configuração Experimental

Os autores testaram um conjunto diversificado de 16 modelos, incluindo VLMs de código aberto (ex: Qwen-2.5, Gemma, Phi-4, Kimi-Thinking) e de código fechado (ex: GPT-4o, Claude-4-Sonnet, Gemini-2.5-Pro).

• Línguas: Os experimentos focaram em 16 línguas selecionadas para representar uma mistura equilibrada de línguas de baixo, médio e alto recurso com base na presença na internet.
• Prompting: Os modelos foram instruídos via Chain-of-Thought (CoT), com a instrução de gerar traços de raciocínio seguidos de um formato de resposta específico (A, B, C, D ou E).
• Técnicas Avaliadas: O estudo avaliou o prompting padrão contra três estratégias de raciocínio multilíngue:
  1. Model Tongue Reasoning (MTR): Traduzir a questão para o inglês e realizar o prompting com as versões original e traduzida.
  2. CLSP: Aplicar MTR através de múltiplas línguas (inglês, espanhol, alemão, francês) e agregar saídas via votação majoritária.
  3. Direcionamento de Ativação (Activation Steering): Modificar as ativações internas do modelo para alinhar as representações em direção ao inglês durante a geração.

3. Resultados Principais

3.1 Desempenho dos Modelos

• Dificuldades Gerais: Apesar dos avanços recentes, os modelos ainda lutam com matemática básica e raciocínio baseado em diagramas. O desempenho geralmente escala com o tamanho do modelo e a disponibilidade de recursos da língua, mas não escala com a dificuldade do nível escolar.
• Melhores Desempenhos: O Gemini-2.5-Pro alcançou o melhor desempenho em todas as línguas e categorias. Entre os modelos abertos, o Kimi-Thinking-2506 foi o mais forte, superando o GPT-4o em inglês, mas apresentando quedas significativas em línguas de baixo recurso.
• Correlação de Recursos: Para todos os modelos, exceto o Gemini-2.5-Pro, a precisão correlaciona-se fortemente com a presença na Internet da língua. Modelos menores mostram uma correlação mais forte, indicando capacidade limitada de generalização entre línguas. O desempenho em línguas de baixo recurso para muitos modelos aproxima-se do acaso (random guessing).

3.2 Problemas Apenas de Texto vs. Baseados em Figuras

Uma lacuna consistente e significativa foi observada: todos os modelos capazes performaram melhor em problemas apenas de texto do que em problemas baseados em figuras, independentemente do nível de dificuldade.

• Contraste Humano vs. IA: Esta tendência é o inverso do desempenho humano, onde humanos consideram problemas baseados em figuras mais fáceis do que problemas apenas de texto.
• Implicação: Os atuais VLMs têm dificuldade em integrar informações visuais de forma eficaz para o raciocínio matemático. A modalidade da figura introduz complexidades (relações espaciais, interpretação de diagramas) que as arquiteturas atuais não capturam totalmente.

3.3 Técnicas Multilíngues

O estudo avaliou se técnicas de raciocínio baseadas em texto se transferem para ambientes multimodais:

• Superioridade do MTR: O Model Tongue Reasoning (MTR) alcançou consistentemente o melhor desempenho geral, reduzindo substancialmente as disparidades de desempenho entre línguas de baixo e alto recurso.
• CLSP e Steering: O CLSP teve um desempenho inferior ao MTR. O Direcionamento de Ativação ofereceu ganhos modestos apenas em línguas de baixo recurso e não conseguiu igualar o desempenho do MTR, mesmo em modelos menores.
• Eficiência: O MTR provou ser eficaz mesmo com modelos tradutores menores, sugerindo que, em cenários de baixo orçamento, modelos menores podem ser usados sem perda significativa de capacidade.

3.4 Comparação Humano vs. Modelo

Usando dados de desempenho de mais de 68.000 estudantes da competição Kangaroo de 2024:

• Dificuldade Não Monotônica: Os modelos não apresentam um declínio monotônico de desempenho conforme a dificuldade do problema aumenta (baseado em classificações de dificuldade humana). Por exemplo, o Kimi-Thinking-2506 classificou-se acima do percentil 94 para os níveis 3–6, mas apenas no percentil 44 para níveis inferiores.
• Divergência de Raciocínio: A análise sugere que não há correlação significativa entre as capacidades de raciocínio dos modelos de IA e de jovens estudantes. Os modelos parecem depender de abordagens de resolução de problemas diferentes, potencialmente enraizadas em reconhecimento de padrões ou treinamento específico em tarefas de geometria estilo olimpíada, em vez de um raciocínio passo a passo semelhante ao humano.

4. Principais Contribuições

1. Conjunto de Dados M3Kang: Um benchmark multilíngue e multimodal composto por 1.747 problemas únicos em 108 línguas (111.198 instâncias totais), derivado da Kangaroo Math Competition.
2. Pipeline de Tradução: Um framework de código aberto para criar automaticamente conjuntos de dados multimodais multilingues a partir de fontes monolíngues, apresentando um mecanismo de controle de qualidade baseado em backtranslation para garantir a integridade da tradução sem referências de verdade absoluta.
3. Avaliação Abrangente: Um benchmark exaustivo de VLMs líderes através de línguas e técnicas de inferência, revelando que os modelos lutam com matemática básica e diagramas, e que o desempenho é fortemente dependente da disponibilidade de recursos linguísticos.
4. Baseline Humano: Uma comparação direta com dados de desempenho de mais de 68.000 estudantes, destacando uma desconexão fundamental entre o raciocínio humano e o da IA em contextos matemáticos.

5. Significância e Alegações

O artigo afirma que o M3Kang preenche uma lacuna crítica na avaliação de IA ao fornecer um ambiente de teste de alta fidelidade para avaliar a generalização de modelos, consistência translinguística e integração multimodal em um domínio que exige precisão linguística e compreensão visual.

Os autores afirmam que suas descobertas revelam:

• Limitações do SOTA Atual: Mesmo modelos de ponta falham em matemática básica e interpretação de diagramas, com desempenho fortemente enviesado para línguas de alto recurso.
• Eficácia de Técnicas Simples: Técnicas multilíngues como o MTR podem ser estendidas efetivamente para ambientes multimodais, oferecendo melhorias significativas sobre os baselines sem a complexidade de fine-tuning ou mecanismos de votação complexos.
• Necessidade de Novos Benchmarks: A discrepância entre o desempenho humano e do modelo (especialmente em relação a tarefas visuais vs. de texto) sugere que futuros benchmarks devem incluir tarefas de raciocínio de múltiplos passos e avaliar etapas intermediárias de raciocínio para capturar melhor as habilidades de resolução de problemas semelhantes às humanas.

Os autores enfatizam que o conjunto de dados, o pipeline e o código são disponibilizados em código aberto para facilitar a criação de conjuntos de dados similares em diversos contextos linguísticos e educacionais, visando impulsionar o desenvolvimento de sistemas de IA mais inclusivos e robustos.