Do Multilingual VLMs Reason Equally? A Cross-Lingual Visual Reasoning Audit for Indian Languages

Este estudo apresenta a primeira auditoria de raciocínio visual cruzado para línguas indianas, revelando que os modelos de linguagem e visão multilíngues sofrem quedas significativas de desempenho ao mudar do inglês para línguas indianas, especialmente nas dravidianas, e que o raciocínio em cadeia muitas vezes degrada o desempenho nessas línguas devido a um viés centrado no inglês.

O essencial

Imagine que você tem um grupo de super-heróis da inteligência artificial (os chamados Modelos de Visão e Linguagem, ou VLMs). Eles são incríveis: conseguem olhar para uma foto de um problema de matemática ou de ciências e resolver a questão perfeitamente... se você fizer a pergunta em inglês.

Mas e se você pedir a esses mesmos heróis para resolver o mesmo problema, mas usando a língua de sua avó, ou a língua falada na sua cidade? Será que eles continuam tão inteligentes?

Este artigo é como um grande teste de realidade feito por um pesquisador chamado Swastik R. Ele decidiu colocar esses robôs à prova em 6 línguas indianas (Hindi, Tamil, Telugu, Bengali, Kannada e Marathi) para ver se eles realmente entendem o que estão fazendo ou se apenas "decoraram" as respostas em inglês.

Aqui está o resumo da história, explicado de forma simples:

1. O Cenário: A Escola e o Robô

Na Índia, milhões de crianças estudam em escolas onde o ensino é feito em línguas regionais, não em inglês. As empresas de tecnologia estão começando a usar esses robôs inteligentes para ajudar a ensinar. Mas o pesquisador queria saber: Se o robô não entende bem a língua local, ele vai ensinar errado?

Ele pegou 980 perguntas difíceis de matemática e ciências (que os robôs já sabiam resolver em inglês) e as traduziu para as 6 línguas indianas. Depois, ele pediu para 8 robôs diferentes resolverem.

2. O Grande Choque: A Queda de Performance

O resultado foi um balde de água fria.

• Em inglês: Os robôs eram gênios.
• Nas línguas indianas: A inteligência deles caiu drasticamente.

Imagine que um aluno tira 90 na prova de inglês, mas quando a prova é em sua língua materna, ele tira 65. Foi isso que aconteceu.

• Os robôs mais "avançados" perderam cerca de 10 a 25 pontos de precisão.
• Os robôs menores (de código aberto) perderam ainda mais, ficando quase confusos.

3. O "Fator Família": Línguas Irmãs vs. Estranhas

O estudo descobriu algo curioso sobre as línguas. As línguas indianas se dividem em duas grandes "famílias":

• Indo-Arianas (como Hindi e Bengali): São mais parecidas com o inglês e com línguas europeias.
• Dravidianas (como Tamil, Telugu e Kannada): São famílias de línguas completamente diferentes, com estruturas muito distintas.

A analogia: Pense que o robô é um turista que aprendeu a pedir comida em inglês. Se ele vai para um lugar onde falam uma língua parecida (Indo-Ariana), ele consegue se virar. Mas se ele vai para um lugar onde a língua é totalmente diferente (Dravidiana), ele se perde completamente.

• Os robôs tiveram muito mais dificuldade com as línguas Dravidianas. Em alguns casos, a queda de inteligência foi quase o dobro comparado às línguas Indo-Arianas.

4. A Armadilha do "Pense Passo a Passo"

Existe uma técnica famosa onde você pede para o robô: "Pense passo a passo antes de responder". Em inglês, isso funciona muito bem e ajuda o robô a raciocinar.

Mas o estudo descobriu que, nas línguas indianas, essa técnica funcionou ao contrário!

• Quando o pesquisador pediu para o robô pensar passo a passo em Bengali ou Kannada, a nota do robô caiu ainda mais.
• Por que? É como se você pedisse para alguém que está aprendendo a cozinhar em uma língua estrangeira que ele escreva um livro inteiro sobre o processo. O robô começa a "alucinar", misturando palavras e perdendo o fio da meada. Ele não consegue manter uma lógica complexa em uma língua que não domina perfeitamente.

5. O Segredo Sujo: Eles estão pensando em inglês?

O pesquisador investigou se os robôs estavam apenas traduzindo a pergunta mentalmente para inglês, resolvendo lá, e depois traduzindo a resposta de volta.

• Sim, muitos estavam! Um dos robôs (Llama-4-Maverick) usava inglês em 32% das vezes, mesmo quando a pergunta era em outra língua. Ele era "bilingue" na superfície, mas pensava em inglês no fundo.
• Isso explica por que ele acertava as respostas de múltipla escolha (A, B, C, D), mas provavelmente falharia se você pedisse para ele explicar o raciocínio de forma natural e fluente.

6. O Que Isso Significa para o Futuro?

O estudo traz uma mensagem importante para quem quer usar inteligência artificial na educação:

1. Não basta treinar o robô com mais textos: Ter um robô que "fala" 23 línguas não significa que ele "pensa" bem nessas línguas. Ele pode falar, mas não raciocinar.
2. Cuidado com as escolas regionais: Se usarmos esses robôs hoje para ensinar matemática em Tamil ou Kannada, vamos estar prejudicando os alunos. Eles vão receber respostas erradas ou confusas.
3. A solução: Precisamos treinar esses robôs especificamente para raciocinar nessas línguas, não apenas para traduzir. E, por enquanto, pedir para eles "pensarem passo a passo" em línguas que eles não dominam pode ser uma péssima ideia.

Em resumo: A inteligência artificial é brilhante, mas ainda tem um "sotaque" muito forte. Ela é ótima em inglês, mas quando tentamos usá-la nas línguas locais da Índia, ela perde a cabeça. Antes de colocar esses robôs nas salas de aula, precisamos garantir que eles realmente entendam a língua dos alunos, e não apenas a traduzam.

Resumo técnico

1. Problema e Motivação

O artigo aborda uma lacuna crítica na avaliação de Modelos de Linguagem e Visão (VLMs): a falta de benchmarks de raciocínio visual (matemático, científico e espacial) em línguas indianas. Embora os VLMs performem bem em tarefas de raciocínio em inglês, a maioria das avaliações é exclusivamente anglófona.

• Contexto: Com 260 milhões de crianças em idade escolar na Índia estudando em línguas regionais (Hindi, Tamil, Telugu, Bengali, Kannada, Marathi), há uma necessidade urgente de saber se os VLMs podem raciocinar eficazmente nessas línguas para aplicações em EdTech (tutoria e avaliação automatizada).
• Hipótese: Modelos multilíngues podem ter uma "penalidade de raciocínio" significativa quando a língua de instrução muda do inglês para línguas indianas, especialmente em famílias linguísticas menos representadas nos dados de treinamento.

2. Metodologia

O autor realizou um audit cruzado de línguas com o seguinte desenho experimental:

• Dataset: 980 perguntas de raciocínio visual foram traduzidas de três benchmarks existentes (MathVista, ScienceQA e MMMU) para seis línguas indianas: Hindi (hi), Tamil (ta), Telugu (te), Bengali (bn), Kannada (kn) e Marathi (mr).
  • As imagens permaneceram idênticas; apenas o texto da pergunta foi traduzido.
  • Tradução: Utilizou-se o IndicTrans2 para tradução, com verificação cruzada via Gemini 2.0 Flash em 50 amostras por língua (acordo inter-tradutor de 0,79 a 0,84).
• Modelos Avaliados: Oito VLMs foram testados, variando de modelos open-source (7B a 32B parâmetros) a modelos proprietários de ponta:
  • Open-source: Qwen2.5-VL (7B e 32B), InternVL2.5-8B, Aya-Vision-8B.
  • Proprietários: GPT-4o, Gemma 3-27B, Llama-4-Maverick, Qwen3-VL-30B.
• Protocolo de Avaliação:
  • Total de 68.600 registros de inferência.
  • Incluiu ablações: (1) Sem imagem (apenas texto) e (2) Chain-of-Thought (CoT) ("Pense passo a passo" na língua alvo).
  • Métricas: Precisão (acurácia) e consistência cruzada (mesma resposta em todas as línguas para a mesma questão).

3. Principais Contribuições

• Primeiro Benchmark de Raciocínio Visual Cruzado: Criação do primeiro conjunto de dados padronizado para avaliar raciocínio matemático e científico em VLMs para línguas indianas.
• Análise de Disparidade Linguística: Demonstração empírica de que o desempenho não é uniforme entre famílias linguísticas (Indo-ariana vs. Drávida).
• Avaliação de Técnicas de Prompting: Descoberta de que o Chain-of-Thought (CoT), geralmente benéfico em inglês, é prejudicial na maioria das línguas indianas.
• Recurso Aberto: Liberação do benchmark traduzido, saídas dos modelos e código de avaliação.

4. Resultados Chave

A. Queda de Desempenho (Accuracy Drop)

• Todos os modelos sofreram quedas significativas ao mudar do inglês para línguas indianas, variando de 9,8 a 25 pontos percentuais (pp).
• Gemma 3-27B apresentou a maior robustez, com uma queda média de apenas 9,8 pp.
• GPT-4o alcançou a maior precisão absoluta em línguas indianas (43,2%), mas ainda sofreu uma queda de 11,3 pp.
• Modelos open-source menores (7B-8B) sofreram quedas mais severas (15–25 pp).

B. Efeito da Família Linguística (Drávida vs. Indo-Ariana)

• Línguas Drávidas (Tamil, Telugu, Kannada) sofreram quedas de precisão consistentemente maiores do que as línguas Indo-Arianas (Hindi, Bengali, Marathi).
• A lacuna atingiu 13,2 pp no modelo Aya-Vision-8B (que foi pré-treinado com várias línguas indianas), indicando que o pré-treinamento multilíngue não garante transferência de raciocínio.

C. O Paradoxo do Chain-of-Thought (CoT)

• Adicionar "Pense passo a passo" na língua alvo degradou o desempenho em várias línguas:
  • Bengali: -14,4 pp.
  • Kannada: -11,4 pp.
  • Hindi: -9,2 pp.
• Exceção: Marathi viu uma melhoria de 3,3 pp.
• Interpretação: Os modelos não conseguem manter cadeias de raciocínio coerentes em línguas onde não têm fluência; forçar o CoT gera passos intermediários confusos que corrompem a resposta final.

D. Análise de "Vazamento" de Inglês e Consistência

• Llama-4-Maverick apresentou um alto vazamento de tokens em inglês (32%) em respostas não-inglesas, mas manteve alta consistência cruzada (80,8%). Isso sugere que o modelo raciocina internamente em inglês e apenas traduz superficialmente a saída.
• Modelos que geram fielmente na língua alvo (como Aya-Vision-8B) tiveram menor consistência, indicando que a fidelidade linguística não garante raciocínio correto.

E. Escala e Remoção de Imagem

• Escala: Aumentar o tamanho do modelo (de 7B para 32B na família Qwen) reduziu a lacuna de desempenho, mas não a eliminou.
• Remoção de Imagem: Remover a imagem prejudicou menos o desempenho em línguas indianas do que em inglês. Isso sugere que, quando a compreensão do texto é fraca, os modelos já estão subutilizando a informação visual; portanto, a remoção da imagem tem um custo marginal menor.

5. Significado e Implicações

• Risco Educacional: A implantação de VLMs em escolas indianas de língua regional, sem ajustes específicos, pode desvantajar sistematicamente os alunos, especialmente em escolas de língua Drávida, onde a queda de precisão pode chegar a 28 pp.
• Pré-treinamento não é suficiente: O fato de modelos treinados em 23 línguas (Aya-Vision) ainda falharem em raciocínio Drávido indica que o pré-treinamento geral não transfere habilidades de raciocínio STEM. É necessário fine-tuning específico para raciocínio multilíngue.
• Recomendação Prática: O uso de Chain-of-Thought deve ser evitado em contextos multilíngues indianos, a menos que o modelo seja especificamente ajustado para raciocínio nessa língua.
• Necessidade de Avaliação: O artigo defende que a avaliação de raciocínio multilíngue deve ser obrigatória antes da implantação de VLMs em setores críticos como educação.

Em resumo, o estudo revela que a capacidade de "ver e pensar" dos VLMs é profundamente dependente da língua, com uma forte inércia em direção ao inglês, e que as estratégias de otimização padrão (como CoT) podem ser contraproducentes em contextos linguísticos de baixa recursos de raciocínio.