CodePercept: Code-Grounded Visual STEM Perception for MLLMs

El artículo "CodePercept" identifica que las limitaciones en el razonamiento visual STEM de los modelos de lenguaje multimodal (MLLM) se deben principalmente a deficiencias perceptivas, proponiendo un nuevo paradigma que utiliza código ejecutable como medio de percepción para generar el dataset ICC-1M y el benchmark STEM2Code-Eval, logrando así una comprensión visual más precisa y verificable.

Lo esencial

¡Claro que sí! Imagina que los modelos de Inteligencia Artificial (IA) que ven y piensan (llamados MLLM) son como estudiantes muy inteligentes pero un poco torpes al dibujar.

Este paper, llamado CodePercept, descubre un secreto fundamental sobre por qué estos estudiantes fallan en matemáticas, física y ciencias, y les da una herramienta mágica para mejorar: el código de programación.

Aquí tienes la explicación, desglosada con analogías sencillas:

1. El Problema: ¿Es que no piensan bien o que no ven bien?

Imagina que le pones a un estudiante un problema de geometría con una figura compleja. Si el estudiante falla, ¿es porque no sabe la fórmula matemática (razonamiento) o porque no ha entendido bien dónde están los puntos y las líneas en el dibujo (percepción)?

Los autores hicieron una prueba gigante:

• Si mejoraban solo la capacidad de "pensar" (razonamiento) del estudiante, sus notas subían un poquito.
• Si mejoraban solo la capacidad de "ver" (percepción) del estudiante, sus notas disparaban.

La conclusión: El verdadero cuello de botella no es la inteligencia, es la ceguera. Los modelos no "ven" los detalles precisos de los gráficos científicos.

2. La Solución: El Código como "Lente de Alta Definición"

Aquí entra la idea brillante del paper. Normalmente, cuando describimos una imagen, usamos palabras (ej: "un triángulo rojo en la esquina"). Pero las palabras son ambiguas; ¿qué tan rojo? ¿Qué tan grande? ¿Exactamente en qué coordenada?

El paper propone usar código de programación (Python) como el lenguaje de la visión.

• Analogía: Imagina que en lugar de pedirle al estudiante que te describa un dibujo con palabras, le pides que escriba las instrucciones exactas para que una máquina lo dibuje de nuevo.
• Si el código dice "dibuja un círculo en la coordenada (5,5) con radio 2", no hay lugar para la duda. Si el dibujo final no coincide, el código es incorrecto.
• Esto obliga a la IA a ser precisa. No puede alucinar (inventar cosas) porque el código tiene que ejecutarse y funcionar.

3. Las Tres Herramientas Mágicas (El Entrenamiento)

Para enseñarles esto a las IAs, crearon tres cosas:

1. El "Diccionario de Código" (ICC-1M): Crearon un libro de texto gigante con 1 millón de ejemplos. Cada ejemplo tiene:

   • La imagen científica.
   • Una descripción en lenguaje normal (para que entienda el contexto).
   • El código exacto que dibuja esa imagen.
   • Analogía: Es como tener un libro donde cada problema de física viene con la solución escrita en un lenguaje de programación que no admite errores.

2. Dos Nuevas Tareas de Estudio:

   • Descripción basada en Código: En lugar de que la IA describa la imagen directamente (y se equivoque), primero le pedimos que "piense" en el código para dibujarla, y luego use esa estructura para escribir una descripción perfecta. Es como si un arquitecto primero hiciera los planos técnicos antes de explicar la casa a un cliente.
   • Traducción Imagen a Código: Entrenamos a la IA para que, al ver una imagen, escriba el código para reproducirla. Esto elimina la ambigüedad del lenguaje humano.

3. El Examen Final (STEM2Code-Eval):

   • Antes, evaluábamos a las IAs preguntándoles: "¿Cuál es la respuesta a este problema de física?". Si acertaban, decíamos que eran buenas. Pero quizás adivinaron.
   • Ahora, el examen es: "Mira esta imagen compleja y escribe el código para dibujarla exactamente igual".
   • Si el código funciona y la imagen resultante es idéntica, ¡aprobaron! Es una prueba irrefutable de que realmente "vieron" la imagen.

4. Los Resultados: ¡Funciona!

Cuando entrenaron a los modelos con este método (CodePercept):

• Se volvieron mucho mejores describiendo imágenes científicas.
• Al usar esas descripciones precisas para resolver problemas, sus notas en matemáticas y ciencias subieron drásticamente.
• Incluso modelos pequeños (de 8 mil millones de parámetros) con este entrenamiento superaron a modelos gigantes (de 72 mil millones) que no tenían este entrenamiento.

En Resumen

El paper nos dice que para que la Inteligencia Artificial sea buena en ciencias, no necesitamos que piense más, necesita "ver" mejor. Y la mejor manera de enseñarle a ver con precisión es obligarla a escribir el código que recrea lo que ve.

Es como pasar de pedirle a un artista que "dibuje un paisaje bonito" (subjetivo) a darle un plano arquitectónico exacto (código) para que lo construya. Al hacerlo, el artista aprende a ver los detalles que antes ignoraba.

Resumen técnico

Resumen Técnico: CodePercept

1. El Problema: La Percepción como Cuello de Botella en STEM

Los Modelos de Lenguaje Multimodal (MLLMs) han mostrado avances significativos en razonamiento científico, tecnológico, de ingeniería y matemático (STEM). Sin embargo, cuando fallan en tareas de razonamiento visual STEM, surge una pregunta fundamental: ¿es debido a limitaciones en el razonamiento o a deficiencias en la percepción visual?

El artículo identifica que la percepción visual es el verdadero cuello de botella. A través de un análisis de escalado sistemático, los autores demuestran que aumentar la capacidad de razonamiento de un modelo (manteniendo la percepción constante) tiene un impacto menor en el rendimiento que aumentar la capacidad de percepción (manteniendo el razonamiento constante).

Además, los métodos actuales de mejora de percepción, como la destilación de conocimiento (usando modelos "maestros" para generar descripciones de texto), presentan dos fallos críticos:

1. Alucinaciones: Los modelos generadores de texto a menudo cometen errores factuales en relaciones espaciales, cantidades y valores numéricos.
2. Afasia Descriptiva: El lenguaje natural es inherentemente ambiguo e insuficiente para describir con precisión estructuras espaciales complejas, relaciones geométricas exactas y valores cuantitativos en imágenes STEM (por ejemplo, la construcción de líneas auxiliares en geometría sólida).

Finalmente, carecemos de un paradigma directo para evaluar la percepción visual en STEM; las métricas actuales se basan en la precisión de resolución de problemas, lo cual es un proxy imperfecto que no mide la comprensión visual integral.

2. Metodología: Percepción Anclada en Código (Code-Grounded)

Para abordar estos desafíos, los autores proponen CodePercept, un paradigma que utiliza código ejecutable (Python) como medio perceptivo fundamental. La premisa es que la reproducción exacta de una imagen mediante código requiere una comprensión visual completa y precisa.

La metodología se divide en tres componentes principales:

A. Construcción del Dataset ICC-1M (1 Million Image-Caption-Code Triplets)
Se construyó un dataset masivo de 1 millón de tripletes (Imagen-Código-Descripción) mediante tres tuberías complementarias:

1. Reproducción de Imágenes (Image Reproduce): Convierte imágenes STEM existentes en código Python ejecutable (usando matplotlib).
2. Diversidad de Imágenes (Image Diversity): Extrae principios científicos de imágenes semilla y genera nuevas variaciones visuales manteniendo la validez conceptual, superando la limitación de los datos existentes.
3. Síntesis de Geometría Sólida (Solid Geometry Synthesis): Utiliza plantillas de código paramétricas para generar imágenes de geometría 3D compleja, un área donde los MLLMs suelen fallar.

B. Dos Tareas de Entrenamiento "Ancladas en Código"

1. Generación de Descripciones Ancladas en Código (Code-Grounded Caption Generation):
   • En lugar de generar texto directamente de la imagen, el modelo primero analiza el código de reproducción (o su registro de ejecución) para extraer hechos visuales verificables (coordenadas, conteos exactos, relaciones).
   • Luego, refina una descripción natural basada en estos hechos, eliminando alucinaciones numéricas y espaciales.
2. Traducción Imagen-a-Código STEM (STEM Image-to-Code Translation):
   • Entrena al modelo para generar directamente el código de reconstrucción.
   • Se utiliza un enfoque de "código explicativo" que no solo genera el código, sino que incluye comentarios pedagógicos sobre cómo los elementos visuales se mapean a constructos de programación.

C. Estrategia de Entrenamiento

• Ajuste Fino Supervisado (SFT): Entrenamiento conjunto en las tareas de descripción y generación de código utilizando el dataset ICC-1M.
• Aprendizaje por Refuerzo (RL): Se aplica RL (usando GRPO - Group Relative Policy Optimization) específicamente a la generación de código. Se utilizan recompensas basadas en la ejecutabilidad del código, la similitud visual con la imagen original y la corrección semántica, proporcionando señales de retroalimentación deterministas.

3. Contribuciones Clave

1. Identificación del Cuello de Botella: Demostración empírica de que escalar la percepción visual es más efectivo que escalar el razonamiento para mejorar el rendimiento en STEM.
2. Nuevo Paradigma de Evaluación (STEM2Code-Eval): Un benchmark manual de 1,000 imágenes que evalúa la percepción visual exigiendo que el modelo genere código Python ejecutable para reconstruir la imagen. A diferencia de los benchmarks anteriores, esto ofrece una evaluación determinista y verificable (éxito/fallo en la ejecución y similitud visual).
3. Dataset ICC-1M y Metodología Code-Grounded: La creación de un dataset masivo y la propuesta de usar el código como "verdad fundamental" (ground truth) para entrenar la percepción, superando las limitaciones del lenguaje natural.

4. Resultados Experimentales

Los experimentos validan la eficacia del enfoque CodePercept en múltiples frentes:

• Evaluación de Percepción vía Resolución de Problemas:

  • Los modelos CodePercept (entrenados con SFT) superaron consistentemente a los modelos base (Qwen3-VL) y a modelos mucho más grandes (como Qwen2.5-VL-72B) en benchmarks de razonamiento STEM (MathVision, MathVista, etc.).
  • Por ejemplo, CodePercept-8B superó a Qwen2.5-VL-72B en un 6.2% en promedio, demostrando que una mejor percepción compensa la falta de parámetros masivos.

• Evaluación Directa en STEM2Code-Eval:

  • En la tarea de reconstrucción de imágenes mediante código, CodePercept mostró mejoras drásticas.
  • CodePercept-32B-R1 (con RL) alcanzó una puntuación promedio de 75.80, superando significativamente a modelos de vanguardia como GPT-5-Thinking (75.52) y Gemini2.5-Pro-Thinking (78.67) en métricas de similitud visual y calidad de código, con una tasa de ejecución exitosa del 95.9%.
  • Los modelos CodePercept superaron a sus contrapartes base en más de 10 puntos porcentuales en la tarea de reconstrucción.

• Estudios de Ablación:

  • Confirmaron que el uso de descripciones ancladas en código (CodeCap) es superior a las descripciones nativas (NativeCap).
  • Mostraron que la combinación de tareas (descripción + código) refuerza mutuamente el aprendizaje, donde el código proporciona precisión estructural y la descripción aporta contexto semántico.

5. Significado e Impacto

El trabajo CodePercept representa un cambio de paradigma en la investigación de MLLMs para STEM:

• Cambio de Enfoque: Desplaza el énfasis de "mejorar el razonamiento" a "mejorar la percepción" como el paso crítico para el éxito en tareas visuales complejas.
• Código como Verdad Fundamental: Establece que el código ejecutable es un medio superior al lenguaje natural para representar y validar la comprensión visual de datos estructurados y científicos, eliminando la ambigüedad inherente al texto.
• Evaluación Rigurosa: Introduce un estándar de oro para evaluar la percepción visual mediante la reconstrucción verificable, cerrando la brecha entre la comprensión visual y la capacidad de razonamiento.
• Escalabilidad: Demuestra que los modelos más pequeños, cuando están bien entrenados en percepción anclada en código, pueden superar a modelos masivos en tareas de razonamiento visual, lo que tiene implicaciones importantes para la eficiencia computacional y la accesibilidad de modelos avanzados.

En resumen, CodePercept demuestra que para que los MLLMs dominen el razonamiento visual en STEM, primero deben aprender a "ver" con la precisión de un programador, utilizando el código como el puente entre la percepción visual y la comprensión semántica.