💻 computer science

Sci-Rho: A Multilingual Visually-Grounded Symbolic Benchmark for STEM Problems

Este artículo presenta Sci-Rho, un referente simbólico multilingüe y visualmente fundamentado que comprende 4.242 plantillas de problemas STEM ejecutables en cinco materias y siete idiomas, el cual revela brechas de robustez significativas en los modelos de lenguaje-visión de vanguardia cuando se evalúan frente a variaciones de caso de peor escenario en lugar de promedios estáticos.

Autores originales: Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás evaluando la capacidad de un nuevo estudiante para resolver problemas científicos. En el pasado, los investigadores le entregaban al estudiante una hoja de trabajo única y estática con una sola imagen y una pregunta. Si el estudiante acertaba, aprobaba. Pero este artículo argumenta que eso es como evaluar a un conductor solo en una carretera recta y vacía. No te dice si puede manejar un bache repentino, un desvío o una condición climática diferente.

Los autores de este artículo, Sci-ρ, decidieron construir una prueba de conducción mucho más difícil y dinámica para los "estudiantes" de IA (específicamente, Modelos de Lenguaje-Visión o VLMs).

Aquí hay un desglose sencillo de lo que hicieron y lo que encontraron:

1. La prueba de "cambio de forma" (El conjunto de datos)

En lugar de entregar a la IA 606 preguntas de ciencia estáticas, los investigadores construyeron una fábrica digital.

El Plano: Crearon 606 "plantillas" de problemas en Matemáticas, Física, Química, Biología y Ciencias de la Computación. Piensa en ellos como planos maestros.
La Fábrica: Escribieron código de computadora (Python) que toma estos planos e imprime instantáneamente 10 versiones ligeramente diferentes de cada problema.
- Ejemplo: Si un problema de matemáticas pide el área de un cuadrado, la fábrica podría imprimir una versión con un lado de 5, otra con 7, otra con un color diferente, o incluso con una forma diferente.
El Giro Multilingüe: No lo hicieron solo en inglés. Tradujeron las instrucciones a 7 idiomas (incluyendo suajili, hindi y árabe), manteniendo las imágenes iguales.
El Resultado: Terminaron con 42,420 problemas únicos. Es como darle a la IA una biblioteca masiva donde cada libro tiene 10 ediciones diferentes, todas preguntando la misma lógica central pero luciendo ligeramente distintas.

2. La trampa del "Promedio" vs. "Peor Caso"

Los investigadores probaron 17 modelos de IA diferentes en esta enorme biblioteca. Observaron dos puntuaciones:

Precisión Promedio: Qué tan seguido la IA acierta la respuesta en todas las 10 versiones de un problema.
Precisión del Peor Caso: Qué tan seguido la IA acierta todas y cada una de las 10 versiones de un problema.

El Gran Descubrimiento:
Los modelos de IA se veían geniales en la puntuación de "Promedio". Pero cuando los investigadores observaron la puntuación del "Peor Caso", los modelos se desmoronaron.

La Analogía: Imagina a un estudiante que resuelve 9 de cada 10 problemas de matemáticas correctamente. Parece inteligente. Pero si le pides que resuelva las mismas 10 problemas nuevamente con números ligeramente diferentes, y esta vez falla en 4 de ellos, no está realmente "razonando" a través de las matemáticas. Probablemente solo está memorizando patrones o adivinando basándose en cómo se ven los números.
El Hallazgo: Incluso los modelos de IA más inteligentes y costosos (como GPT-5.4) mostraron una brecha enorme. Podían resolver un problema fácilmente, pero si cambiabas el color de un gráfico o los números ligeramente, a menudo fallaban. Los modelos más pequeños y baratos fallaban aún más estrepitosamente.

3. La Barrera del Idioma

Los investigadores comprobaron si la IA tenía más dificultades cuando las instrucciones estaban en un idioma distinto al inglés.

Los Grandes Modelos: Los modelos gigantes y costosos eran como políglotas; manejaron el inglés, el chino y el suajili casi con la misma eficacia.
Los Modelos Pequeños: Los modelos más pequeños y de código abierto eran como turistas que solo hablan inglés. Cuando las instrucciones cambiaban a un idioma menos común (como el suajili), su rendimiento caía significamente. Parecían confundirse solo por el cambio de idioma, a pesar de que el problema científico era el mismo.

4. El Problema de "Ojos vs. Cerebro"

Los investigadores echaron un vistazo al interior de uno de los modelos de IA para ver cómo "pensaba". Midieron cuánta atención prestaba el modelo a la imagen frente al texto.

El Hallazgo: La atención del modelo cambiaba dependiendo del idioma.
- Cuando el texto estaba en chino, el modelo dependía menos de la imagen y más del texto.
- Cuando el texto estaba en kazajo o hindi, el modelo dependía fuertemente de la imagen.
La Metáfora: Es como si la IA pensara: "No entiendo bien este idioma, así que adivinaré basándome en el dibujo". Cuando entiende el idioma perfectamente, confía más en las palabras. Esto sugiere que la IA no está "viendo" la imagen de una manera humana; simplemente está usando la imagen como una muleta cuando el texto es confuso.

5. Dónde se Atascó la IA

Cuando la IA fallaba, los investigadores categorizaron los errores:

Leer mal la Imagen (63%): La IA no podía contar los puntos en un diagrama o leer los números en un gráfico correctamente.
Mala Lógica (29%): La IA conocía la fórmula correcta pero la aplicaba a algo incorrecto, o inventaba hechos que no estaban allí.
Errores Matemáticos (8%): La IA tenía la lógica correcta pero fallaba en la aritmética simple.

La Conclusión Final

El artículo concluye que las pruebas estáticas nos están mintiendo. El hecho de que una IA pueda resolver un problema científico específico una vez no significa que comprenda la ciencia. Podría simplemente estar reconociendo un patrón que vio durante su entrenamiento.

Para saber realmente si una IA es inteligente, necesitamos sacudir la mesa, cambiar los números, intercambiar los idiomas y ver si aún puede resolver el problema. Si no puede, no está razonando; solo está adivinando. Sci-ρ es la herramienta diseñada para sacudir esa mesa.

Resumen Técnico: Sci-ρ: Un Benchmark Simbólico Multilingüe de Razonamiento Visual para Problemas STEM

Planteamiento del Problema

Los benchmarks actuales para evaluar Modelos de Lenguaje-Visión (VLMs) en dominios STEM sufren tres limitaciones primarias:

Falta de Evaluación de Robustez: La mayoría de los benchmarks existentes dependen de imágenes estáticas y únicas. No logran distinguir entre modelos que razonan genuinamente sobre el contenido visual y aquellos que tienen éxito mediante la coincidencia de características superficiales vistas durante el entrenamiento. La presentación visual de un problema (por ejemplo, coordenadas o colores específicos) es a menudo incidental a su lógica subyacente; sin embargo, las evaluaciones actuales no comprueban si los modelos pueden resolver variantes lógicamente equivalentes con diferentes parámetros visuales.
Alcance de Dominio Estrecho: Los esfuerzos existentes están fuertemente concentrados en Matemáticas y Física, dejando la Biología, la Química y la Ciencias de la Computación ampliamente inexploradas en el contexto del razonamiento visualmente fundamentado, a pesar de sus distintas demandas visuales (por ejemplo, estructuras moleculares, diagramas biológicos).
Sesgo Monolingüe: Las evaluaciones se realizan casi exclusivamente en inglés, lo que deja sin aclarar si las capacidades de los VLM se transfieren a los entornos multilingües donde la mayoría de los estudiantes y profesionales encuentran realmente el contenido STEM.

Metodología: El Benchmark Sci-ρ

Para abordar estas brechas, los autores presentan Sci-ρ (Science Robustness), un benchmark dinámico, simbólico y multilingüe para problemas STEM con fundamentación visual.

Construcción del Conjunto de Datos

El conjunto de datos se construyó en dos etapas involucrando a expertos en la materia, incluyendo medallistas de olimpiadas científicas y estudiantes de grado avanzado:

Creación de Plantillas: Se crearon 606 plantillas de problemas de alta calidad en cinco materias (Matemáticas, Física, Química, Biología y Ciencias de la Computación) basadas en los currículos de Cambridge IGCSE y A-Level. Cada problema se implementa como una clase de Python ejecutable. Estas clases generan dinámicamente instancias de problemas variando:
- Valores numéricos: Cambiando números en el texto o en las imágenes.
- Patrones visuales: Alterando disposiciones (por ejemplo, posiciones de objetos).
- Formas geométricas: Modificando dimensiones o formas.
- Esquemas de color: Cambiando los colores de la solución o los tonos de los objetos.
- Tipos de funciones: Alternando entre lineales, cuadráticas, etc.
  Cada plantilla garantiza al menos 10 variantes distintas.
Traducción: Las descripciones de los problemas fueron traducidas a seis idiomas adicionales (indonesio, chino, árabe, hindi, kazajo y suajili) utilizando traducción automática seguida de una verificación rigurosa por parte de hablantes nativos. El control de calidad incluyó errores "honey-pot" para asegurar la precisión de los traductores.

El conjunto de datos final comprende 42,420 instancias de problemas únicas (606 plantillas × 10 variantes × 7 idiomas), cada una emparejada con soluciones de verdad fundamental (ground-truth) y pasos de razonamiento paso a paso en LaTeX.

Marco de Evaluación

Los autores evaluaron 17 VLMs de última generación (incluyendo GPT-5.4, Gemini 2.5, Qwen3.5, Llama 4, InternVL, entre otros) utilizando seis métricas:

Precisión del caso promedio ( $A_{avg}$ ): La media de precisión a través de todas las variantes generadas.
Precisión del peor caso ( $A_{wst}$ ): La proporción de plantillas de problemas donde el modelo respondió correctamente cada variante. Esto mide la consistencia.
Métricas a nivel de paso: Puntuaciones de Recall ( $R$ ), Precisión ( $P$ ) y F1 ( $F$ ) para los pasos de razonamiento, calculadas comparando las salidas del modelo contra la verdad fundamental utilizando un juez de LLM (GPT-5.4).
F1 del peor caso ( $F_{wst}$ ): La puntuación F1 mínima a través de todas las variantes para una plantilla dada.
Ratio de Atención de Imagen (IAR): Un análisis mecanístico que mide la atención relativa que los VLMs asignan a los tokens de imagen frente a los tokens de texto durante la generación.

Resultados Clave

1. La Brecha de Robustez

Existe una brecha de rendimiento significativa entre la precisión del caso promedio y la del peor caso en todos los modelos.

Modelos de Frontera: Incluso los modelos de primer nivel como GPT-5.4 y Gemini 2.5 muestran caídas de entre el 10 y el 28% en la precisión del peor caso en comparación con su precisión promedio. Por ejemplo, la precisión de GPT-5.4 en Biología cae del 72.2% (promedio) al 47.8% (peor caso).
Modelos Pequeños: Los modelos más pequeños de pesos abiertos sufren una degradación severa. En Biología, modelos como InternVL3.5-4B y Molmo2-4B colapsan efectivamente bajo condiciones de peor caso, con una precisión que cae cerca del 0% para ciertas variantes.
Sensibilidad de Arquitectura: El modelo Qwen3.5-122B-A10B (arquitectura MoE) mostró una precisión de peor caso significativamente menor en comparación con su contraparte densa de 27B, lo que sugiere que la cantidad de parámetros por sí sola no garantiza la robustez.

2. Rendimiento Multilingüe

Modelos Propietarios/Grandes: Los grandes modelos propietarios (GPT-5.4, Gemini 2.5) y los grandes modelos de pesos abiertos muestran una degradación de rendimiento casi nula en distintos idiomas, manteniendo la robustez en entornos no ingleses.
Modelos Pequeños: Los modelos más pequeños de pesos abiertos exhiben caídas notables de rendimiento en idiomas no ingleses, particularmente en idiomas de bajos recursos como el suajili. Esto sugiere que la representación del corpus de preentrenamiento influye fuertemente en la robustez multilingüe.

3. Análisis de Pasos de Razonamiento

La evaluación a nivel de paso revela que la fragilidad del razonamiento es un fenómeno general, no limitado a los modelos más pequeños.

Consistencia: Existe una brecha constante entre el F1 promedio y el F1 del peor caso. Incluso GPT-5.4 cae entre 13 y 20 puntos en la puntuación F1 bajo condiciones de peor caso.
Dificultad de la Materia: La Biología sigue siendo la materia más desafiante para todos los modelos, seguida de las Matemáticas y las Ciencias de la Computación, que muestran las mayores caídas en la consistencia a nivel de paso.

4. Insights Mecanísticos (Cabezales de Atención)

El análisis de los cabezales de atención del modelo Qwen3-VL-8B-Instruct revela una variación translingüística sustancial en el Ratio de Atención de Imagen (IAR):

Dependencia del Idioma: El modelo depende menos del contexto visual cuando se le solicita en chino (IAR más bajo) y significativamente más cuando se le solicita en kazajo e hindi (IAR más alto).
Hipótesis: Los autores hipotetizan que una mayor familiaridad con el idioma permite al modelo depender más de las entradas textuales, mientras que una menor familiaridad fuerza una dependencia compensatoria de las entradas visuales.

5. Modos de Fallo

La inspección manual de los fallos de GPT-5.4 identificó tres tipos principales de error:

Errores de lectura de figuras (63.5%): Fallo al extraer valores numéricos precisos o al contar erróneamente objetos.
Errores de conocimiento (28.8%): Razonamiento lógico defectuoso, alucinación de información inexistente o aplicación de teoremas incorrectos.
Errores de cálculo (7.7%): Errores aritméticos a pesar de tener una lógica correcta.

Significado y Reivindicaciones

El artículo afirma que Sci-ρ es el primer benchmark simbólico y multilingüe de robustez para el razonamiento visualmente fundamentado en STEM. Su principal importancia radica en el cambio del paradigma de evaluación de pruebas estáticas de instancia única a una evaluación dinámica basada en variantes.

Los autores argumentan que:

Los benchmarks estáticos son insuficientes: No logran distinguir el razonamiento genuino del reconocimiento de patrones superficiales. La gran brecha entre la precisión promedio y la del peor caso expone la fragilidad de los actuales VLMs.
La robustez es una métrica crítica: La verdadera capacidad en STEM requiere un rendimiento consistente ante perturbaciones visuales y numéricas, una capacidad que actualmente falta incluso en los modelos de frontera.
La robustez multilingüe depende del modelo: Mientras que los modelos grandes generalizan bien entre idiomas, los modelos más pequeños tienen dificultades, lo que resalta la necesidad de un mejor preentrenamiento multilingüe o ajustes arquitectónicos.
La fundamentación visual es inconsistente: La variación en la asignación de atención a través de los idiomas sugiere que los VLMs no integran de manera uniforme la información visual y textual, potencialmente dependiendo del texto cuando el idioma es familiar y de las imágenes cuando no lo es.

El trabajo concluye que evaluar los VLMs más allá de los benchmarks estáticos es esencial para medir su verdadera calidad y preparación para aplicaciones rigurosas en STEM.