Self-Evolving Code-with-Image Reasoning
Este artículo presenta "Code-with-Image", un marco de autoevolución sin entrenamiento donde los modelos multimodales implementan algoritmos visuales en código para resolver tareas complejas a nivel de píxel, utilizando un bucle de reflexión ejecutable para refinar iterativamente sus habilidades de razonamiento y lograr mejoras significativas de rendimiento en el CwI-Bench.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
El dilema del detective: Cuando ver no es suficiente
Imagina que eres un detective intentando resolver un misterio, pero en lugar de buscar pistas, estás contemplando una única fotografía de alta resolución. En el mundo de la inteligencia artificial, esto es lo que hacen los "modelos multimodales": miran imágenes e intentan responder preguntas sobre ellas. Durante mucho tiempo, estos detectives de IA han mejorado aprendiendo a usar "herramientas". Si una pista es demasiado pequeña para verla, aprenden a hacer zoom. Si un texto está borroso, aprenden a aclarar la imagen. Esto se llama "pensar con imágenes". Es como darle al detective una lupa y una linterna.
Sin embargo, hay un truco. Algunos misterios no se resuelven simplemente mirando más de cerca. Imagina un rompecabezas en el que tienes que contar exactamente cuántos píxeles hay en un patrón específico, o determinar el ángulo preciso por el cual un anillo oculto fue rotado. No hay cantidad de zoom o de aclarado que te ayude a "ver" la respuesta con tus ojos. Tienes que calcularla. Aquí es donde la vieja forma de pensar choca contra un muro. La IA puede describir los pasos para resolver el rompecabezas con palabras, pero las palabras no pueden hacer matemáticas sobre una imagen. Este artículo entra en ese vacío, planteando una pregunta simple pero profunda: ¿Qué pasaría si la IA no solo describiera la solución, sino que realmente escribiera un programa de computadora para ejecutar la solución?
La gran idea del artículo: Programar como forma de pensar
Este artículo presenta una nueva forma para que la IA resuelva acertijos visuales llamada Code-with-Image. En lugar de pedirle a la IA que solo "mire" una imagen y adivine la respuesta, o que use una lista predefinida de herramientas como "recortar" o "rotar", los investigadores le dan un lienzo en blanco y un intérprete de Python (una herramienta que ejecuta código de computadora). El trabajo de la IA es escribir un programa que manipule los píxeles de la imagen directamente para encontrar la respuesta.
Piénsalo de esta manera: en la forma antigua, si le preguntaras a una IA: "¿Cuántos puntos rojos hay en esta imagen?", podría intentar describir los puntos o usar una herramienta para resaltarlos. En Code-with-Image, la IA tiene que escribir un guion que diga: "Recorre cada píxel, comprueba si es rojo, cuéntalo y muestra el total". El programa es el razonamiento. Si el código es correcto, la respuesta es correcta. Si el código es erróneo, la respuesta es errónea. Esto desplaza el desafío de "ver" la respuesta a "construir" la respuesta.
El problema: La IA puede describir, pero no puede hacer
Los investigadores descubrieron que incluso los modelos de IA más inteligentes tienen dificultades con esto. Probaron un benchmark masivo llamado CwI-Bench (Code-with-Image Bench), que contiene 30 tipos diferentes de acertijos visuales. Estos acertijos están diseñados para que no puedas simplemente "mirarlos" para obtener la respuesta; tienes que realizar un cálculo de múltiples pasos sobre los píxeles.
Cuando la IA intentaba resolver estos acertijos usando solo palabras (incluso con su modo de "pensamiento" activado), fallaba estrepitosamente. Por ejemplo, el modelo de primer nivel, GPT-5.6-luna, acertaba menos del 30% de las respuestas. Podía describir los pasos perfectamente ("Necesito rotar la imagen y contar los píxeles"), pero no podía realmente hacer las matemáticas. Era como un chef que puede describir una receta con detalle perfecto pero que no sabe cocinar el plato.
Sin embargo, cuando los investigadores le dieron un intérprete de Python a la IA y le dijeron que escribiera código para resolver el problema, las puntuaciones subieron. La precisión de GPT-5.6-luna aumentó al 43%. El modelo de código abierto Qwen3.5-27B pasó del 12.6% al 32.6%. El código permitió a la IA procesar realmente los datos de la imagen, convirtiendo un juego de adivinanzas en un cálculo.
La salsa secreta: Enseñarse a sí misma a depurar
Pero aquí está el detalle: incluso con la capacidad de escribir código, la IA seguía cometiendo errores. Escribía un programa que parecía correcto pero tenía un error pequeño e invisible, como contar un píxel de más o usar un número incorrecto para una rotación. La IA ejecutaba el código, obtenía la respuesta incorrecta y luego simplemente intentaba escribir un nuevo programa, cometiendo a menudo el mismo error.
Para solucionar esto, los autores crearon un bucle de "auto-evolución" llamado Self-Reflection over Executable Reasoning (Autorreflexión sobre Razonamiento Ejecutable). Esta es la parte más lúdica de la historia. Imagina que la IA es un estudiante haciendo un examen. Cuando obtiene una pregunta mal, en lugar de simplemente seguir adelante, se ve obligada a:
- Mirar su examen fallido: Leer el código que escribió y la respuesta incorrecta que obtuvo.
- Ejecutar una simulación: Volver a ejecutar el código en un "sandbox" seguro para ver exactamente dónde falló.
- Corregir el error: Editar el código para corregir el fallo.
- Guardar la lección: Si la corrección funciona, guarda el código corregido como una "habilidad" (un fragmento de texto) en una biblioteca.
Esto sucede sin que la IA necesite ser reentrenada o que su cerebro sea reconfigurado. Simplemente aprende de sus propios errores. El artículo muestra que este bucle de "auto-enseñanza" es increíblemente poderoso.
- Para el modelo GPT-5.6-luna, el uso de estas habilidades auto-evolucionadas aumentó su precisión del 43% al 67%.
- Para el modelo Qwen3.5-27B, saltó del 32.6% al 55.9%.
Por qué esto importa: Habilidades que puedes copiar y pegar
Uno de los hallazgos más interesantes es que estas "habilidades" son simplemente texto plano. No están bloqueadas dentro del cerebro de la IA. Los investigadores demostraron que podían tomar las habilidades aprendidas por un modelo grande y potente (como el modelo de 27 mil millones de parámetros) y pegarlas en un modelo mucho más pequeño y débil (uno de 9 mil millones de parámetros).
El modelo más pequeño, que no podía resolver los problemas por sí solo, de repente mejoró mucho con solo leer la "guía de referencia" escrita por el modelo más grande.
- El modelo 9B pasó de un 11.1% de precisión al 34.5% solo por usar las habilidades evolucionadas por el modelo 27B.
- Sorprendentemente, estas habilidades funcionaron a través de diferentes tipos de modelos de IA. Una habilidad aprendida por una familia de modelos ayudó a una familia de modelos completamente diferente a mejorar.
Lo que este artículo descarta
El artículo es muy claro sobre lo que no funciona. Argumenta que simplemente darle a una IA una lista de herramientas (como "zoom", "recortar" o "buscar") no es suficiente para estos tipos específicos de problemas. La IA necesita escribir su propio algoritmo desde cero. También muestra que simplemente "pensar" más intensamente en palabras no ayuda; el cuello de botella no es la falta de ideas, sino la falta de ejecución. La IA puede describir el algoritmo, pero sin ejecutar el código, no puede resolver el acertijo.
La conclusión
Este artículo sugiere que para problemas visuales que requieren cálculos precisos, la mejor forma de que una IA piense es escribiendo código. Pero el verdadero avance es que estos modelos de IA pueden enseñarse a sí mismos a mejorar la escritura de ese código mediante la depuración de sus propios errores. No necesitan a un profesor humano que corrija su código; solo necesitan un entorno de pruebas (sandbox) para ejecutarlo, un espejo para ver dónde fallaron y un poco de paciencia para intentarlo de nuevo.
Los resultados son medidos y específicos: en un benchmark de 30 familias de tareas, las habilidades auto-evolucionadas elevaron el rendimiento de los mejores modelos desde los 40 bajos hasta los 60 altos (porcentaje de precisión). Aunque el artículo no afirma que esto resuelva todos los problemas visuales, demuestra que para tareas donde la respuesta reside en las matemáticas de los píxeles más que en la inspección ocular, la programación es la clave, y la autorreflexión es la clave maestra.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.