Do Multilingual VLMs Reason Equally? A Cross-Lingual Visual Reasoning Audit for Indian Languages

Este estudio presenta la primera auditoría de razonamiento visual cruzado para idiomas indios, revelando que los modelos de visión y lenguaje sufren caídas significativas de precisión al pasar del inglés a estos idiomas, especialmente en lenguas drávidas, y que el uso de cadenas de pensamiento puede incluso degradar el rendimiento debido a un sesgo centrado en el inglés.

Lo esencial

Imagina que tienes un grupo de genios visuales (Inteligencias Artificiales) que son expertos resolviendo problemas de matemáticas y ciencias. Si les muestras un dibujo de un triángulo y les preguntas en inglés "¿cuánto mide este ángulo?", responden con un 90% de acierto. Son brillantes.

Pero, ¿qué pasa si les haces la misma pregunta, con el mismo dibujo, pero en hindi, tamil o bengalí?

Este estudio, realizado por un investigador de la India, es como una auditoría de realidad para ver si estos genios son realmente "multilingües" o si solo son genios en inglés disfrazados.

Aquí tienes la explicación sencilla, con algunas analogías para que lo entiendas mejor:

1. El Experimento: La Misma Prueba, Diferente Idioma

El investigador tomó 980 preguntas difíciles de matemáticas y ciencias (con sus imágenes) y las tradujo a 6 idiomas indios principales. Luego, probó 8 modelos de IA diferentes (desde modelos pequeños y gratuitos hasta los más potentes como GPT-4o).

La analogía: Imagina que tienes un examen de matemáticas. El profesor te da el mismo problema de geometría, pero en un día te lo escribe en inglés y al siguiente en tu lengua materna. Si el profesor te da una mala nota solo porque el idioma cambió, algo falla en el sistema de evaluación, no en tu capacidad de razonar.

2. Los Hallazgos Principales: La "Brecha de Idioma"

El resultado fue contundente: La inteligencia de la IA cae en picada cuando deja el inglés.

• La caída: Cuando se cambiaron del inglés a los idiomas indios, la precisión de las IAs cayó entre un 10% y un 25%. Es como si un estudiante que sacaba un 95 en inglés, de repente sacara un 70 en su propia lengua.
• El problema de los idiomas Dravidianos: Los idiomas del sur de la India (como el tamil, telugu y kannada) fueron los más difíciles para las IAs. Incluso modelos que se dicen "multilingües" fallaron mucho más en estos idiomas que en los del norte (como el hindi o el marathi).
  • Analogía: Es como si una máquina de traducción funcionara perfecto para el español y el francés, pero se atascara constantemente con el italiano, aunque todos sean idiomas romances.

3. El Truco del "Pensamiento en Voz Alta" (Chain-of-Thought)

Normalmente, cuando le pedimos a una IA que "piense paso a paso" antes de responder, suele funcionar mejor. Pero aquí ocurrió algo extraño: En los idiomas indios, pedirle que piense paso a paso la hizo peor.

• Qué pasó: En bengalí y kannada, la precisión bajó drásticamente cuando se les pidió explicar su razonamiento.
• La razón: Las IAs están "entrenadas" para razonar en inglés. Cuando se les obliga a pensar en otro idioma, su "cerebro" se confunde, genera pasos ilógicos y termina dando una respuesta incorrecta.
  • Analogía: Imagina a un pianista que toca una obra maestra perfectamente con la mano derecha (inglés). Si le pides que toque la misma pieza con la mano izquierda (idioma local) y además le pidas que explique la música mientras toca, se le caen las notas y el ritmo se pierde.

4. ¿Son las imágenes la clave?

El estudio también quitó las imágenes para ver si las IAs dependían de ellas o del texto.

• Resultado: Cuando se quitó la imagen, las IAs fallaron mucho más en inglés que en los idiomas indios.
• La sorpresa: Esto sugiere que cuando las IAs no entienden bien el texto (en idiomas indios), ni siquiera intentan usar la imagen. Se quedan "ciegas" al dibujo porque no pueden descifrar la pregunta escrita.
  • Analogía: Es como si te dieran un mapa y una pregunta en un idioma que no entiendes. En lugar de mirar el mapa para adivinar, te rindes porque no sabes leer la pregunta.

5. El "Fuga de Inglés"

El estudio descubrió que algunas IAs (como Llama-4) parecían responder en hindi o tamil, pero en realidad estaban pensando en inglés y solo traducían la respuesta final.

• El problema: Si la IA piensa en inglés y luego traduce, puede acertar en preguntas de opción múltiple (A, B, C, D), pero si le pides que explique por qué la respuesta es correcta en hindi, probablemente inventará cosas o se trabará.
  • Analogía: Es como un actor que memoriza un guion en inglés y lo recita en español sin entender lo que dice. Suena bien al principio, pero si el público le hace una pregunta espontánea en español, el actor se queda en blanco.

6. ¿Por qué importa esto?

La India tiene millones de niños que van a la escuela en sus idiomas locales (hindi, tamil, etc.). Si las escuelas empiezan a usar estas IAs como tutores:

• Un niño que habla inglés tendrá un tutor brillante.
• Un niño que habla tamil o kannada tendrá un tutor que comete muchos errores y no explica bien las cosas.

Conclusión simple:
Hoy en día, las IAs visuales son genios en inglés y estudiantes promedio en otros idiomas. No basta con entrenarlas con más textos en varios idiomas; necesitan aprender a razonar en esos idiomas. Mientras tanto, usarlas en escuelas de la India podría estar perjudicando a los estudiantes que más las necesitan.

El autor nos dice: "No confíes ciegamente en estas máquinas para enseñar matemáticas en otros idiomas hasta que aprendan a pensar en ellos, no solo a hablarlos".

Resumen técnico

Resumen Técnico: Auditoría de Razonamiento Visual Multilingüe para Idiomas Indios

1. El Problema

A pesar de que los Modelos de Lenguaje y Visión (VLMs) han demostrado un alto rendimiento en tareas de razonamiento matemático, científico y espacial, estas evaluaciones están abrumadoramente sesgadas hacia el inglés. Existe una brecha crítica en la comprensión de si estos modelos pueden razonar eficazmente en los idiomas regionales de India, donde estudian 260 millones de niños.

• Contexto: Las plataformas EdTech están integrando VLMs para tutoría automatizada, pero no se ha verificado si estos modelos pueden resolver problemas de ciencias o matemáticas en los idiomas de instrucción reales (Hindi, Tamil, Telugu, Bengalí, Kannada, Marathi).
• Vacío en la investigación: Las evaluaciones existentes para idiomas indios se centran en comprensión cultural, OCR o preguntas de conocimiento factual, pero ninguna aísla el razonamiento visual (STEM) de manera controlada.

2. Metodología

El autor presenta la primera auditoría de razonamiento visual cruzado para idiomas indios, diseñada para aislar el efecto del lenguaje manteniendo constantes las variables visuales.

• Construcción del Dataset:
  • Se seleccionaron 980 preguntas de razonamiento visual de tres benchmarks de referencia: MathVista (matemáticas), ScienceQA (ciencias K-12) y MMMU (STEM universitario).
  • Traducción: Las preguntas se tradujeron a seis idiomas indios (Hindi, Tamil, Telugu, Bengalí, Kannada, Marathi) utilizando IndicTrans2. Las imágenes se mantuvieron fijas; solo cambió el texto de la pregunta.
  • Validación: Se verificó la calidad de la traducción con una verificación cruzada de 50 muestras por idioma usando Gemini 2.0 Flash, logrando un acuerdo inter-traductor de 0.79 a 0.84.
• Modelos Evaluados:
  • Se probaron 8 VLMs, desde modelos de código abierto (7B-32B parámetros) hasta modelos propietarios de última generación: GPT-4o, Gemma 3-27B, Llama-4-Maverick, Qwen3-VL-30B, Qwen2.5-VL-32B, Qwen2.5-VL-7B, InternVL2.5-8B y Aya-Vision-8B.
  • Se generaron 68,600 registros de inferencia en total.
• Protocolos de Ablación:
  • Sin imagen: Se evaluó el rendimiento solo con texto para medir la dependencia visual.
  • Cadena de Pensamiento (CoT): Se añadió la instrucción "Piensa paso a paso" en el idioma objetivo para ver si mejora o degrada el razonamiento.

3. Contribuciones Clave

1. Nuevo Benchmark: Lanzamiento público de un benchmark traducido de 980 preguntas de razonamiento visual para seis idiomas indios, junto con todos los registros de inferencia y código.
2. Análisis de Sesgo Lingüístico: Demostración cuantitativa de que el rendimiento de los VLMs cae drásticamente al pasar del inglés a idiomas indios, con una disparidad significativa entre familias lingüísticas (Indoaria vs. Drávida).
3. Efecto Contraproducente del CoT: Descubrimiento de que la técnica de "Cadena de Pensamiento" (CoT), generalmente beneficiosa, degrada el rendimiento en la mayoría de los idiomas indios, revelando que las cadenas de razonamiento internas de los modelos están ancladas al inglés.
4. Evaluación de Escala y Pre-entrenamiento: Análisis que demuestra que el aumento de parámetros (escalar de 7B a 32B) y el pre-entrenamiento multilingüe no garantizan la transferencia de capacidades de razonamiento visual.

4. Resultados Principales

• Caída de Precisión General:

  • Al cambiar del inglés a idiomas indios, la precisión cae entre 9.8 y 25 puntos porcentuales (pp).
  • GPT-4o obtuvo la mayor precisión en idiomas indios (43.2%), mientras que Gemma 3-27B mostró la menor caída promedio (9.8 pp), siendo el modelo más robusto lingüísticamente.
  • Los modelos de código abierto sufrieron caídas de 15 a 25 pp.

• Disparidad entre Familias Lingüísticas:

  • Los idiomas Drávidas (Tamil, Telugu, Kannada) son consistentemente más difíciles que los Indoarios (Hindi, Bengalí, Marathi) para todos los modelos.
  • La brecha alcanza hasta 13.2 pp en el modelo Aya-Vision-8B, a pesar de que este modelo fue pre-entrenado explícitamente con varios idiomas indios. Esto sugiere que el cuello de botella no es la cobertura superficial del idioma, sino la transferencia del razonamiento.

• Fallo de la Cadena de Pensamiento (CoT):

  • En idiomas como Bengalí (-14.4 pp) y Kannada (-11.4 pp), el uso de CoT redujo la precisión en lugar de mejorarla.
  • Esto indica que los modelos no pueden mantener cadenas de razonamiento coherentes en idiomas donde carecen de fluidez; forzarlas genera pasos intermedios confusos que corrompen la respuesta final.

• Dependencia de la Imagen:

  • Al eliminar la imagen, la precisión en inglés cae 15.5 pp, pero en idiomas indios la caída es menor (4.9–9.7 pp). Esto implica que los modelos ya están "sub-explotando" la información visual cuando la comprensión del texto es débil.

• Fugas de Token en Inglés:

  • Modelos como Llama-4-Maverick mostraron una alta tasa de "fuga" de tokens en inglés (32%) dentro de respuestas en otros idiomas, razonando internamente en inglés y traduciendo superficialmente. Esto explica su alta consistencia cruzada, pero plantea riesgos para tareas generativas que requieren fluidez nativa.

5. Significado e Implicaciones

• Educación y Equidad: Dado que la Política Nacional de Educación de India (2020) exige instrucción en la lengua materna hasta el 5º grado, desplegar VLMs con estas caídas de rendimiento (especialmente en escuelas de idiomas Drávidas) podría desfavorecer sistemáticamente a los estudiantes no angloparlantes en STEM.
• Limitaciones del Pre-entrenamiento Multilingüe: El hecho de que Aya-Vision-8B (entrenado en 23 idiomas) tenga un rendimiento tan pobre en razonamiento visual en Tamil o Kannada demuestra que el pre-entrenamiento multilingüe no es suficiente. Se requiere un fine-tuning específico en razonamiento STEM multilingüe.
• Recomendaciones para Despliegue:
  • Evitar el uso de Chain-of-Thought en idiomas indios a menos que el modelo haya sido específicamente ajustado para ello.
  • Realizar evaluaciones de razonamiento multilingüe obligatorias antes de implementar estos modelos en entornos educativos indios.
  • Reconocer que escalar el tamaño del modelo (de 7B a 32B) mejora la cobertura lingüística pero no cierra la brecha de razonamiento.

En conclusión, el estudio revela una penalización sistemática de precisión para los VLMs al razonar en idiomas indios, con una brecha particularmente aguda en los idiomas Drávidas, lo que exige un rediseño fundamental de cómo se entrenan y evalúan estos modelos para contextos multilingües reales.