COGITAO: A Visual Reasoning Framework To Study Compositionality & Generalization

El artículo presenta COGITAO, un marco de generación de datos y un conjunto de pruebas de código abierto diseñado para estudiar sistemáticamente la composición y la generalización en dominios visuales mediante la creación de millones de tareas únicas basadas en reglas, revelando así las limitaciones actuales de los modelos de visión más avanzados para generalizar a combinaciones novedosas.

Lo esencial

¡Claro que sí! Imagina que quieres enseñar a un robot a cocinar. Si solo le enseñas a hacer un sándwich de jamón, ¿podrá hacer uno de queso y tomate si nunca lo ha visto? Probablemente no. Le faltará la capacidad de combinar lo que ya sabe (jamón, queso, pan) para crear algo nuevo.

Este paper, llamado COGITAO, es como un "gimnasio de cocina" diseñado específicamente para poner a prueba esa habilidad de combinar conceptos en las inteligencias artificiales (IA).

Aquí te lo explico con analogías sencillas:

1. ¿Qué es el problema? (El Robot que no entiende la receta)

Hoy en día, las IAs son muy buenas imitando patrones. Si ves miles de fotos de gatos, la IA aprende a reconocer un gato. Pero si le pides que combine conceptos de una forma nueva (por ejemplo: "toma un gato, gíralo 90 grados y ponle un sombrero"), la IA suele fallar. No entiende la lógica de la combinación; solo recuerda lo que ha visto antes. Esto se llama generalización composicional.

2. ¿Qué es COGITAO? (El Laboratorio de Bloques de Construcción)

Los autores crearon un generador de tareas llamado COGITAO. Imagina que es una caja llena de bloques de colores y formas (objetos) sobre una cuadrícula (como un tablero de ajedrez).

• Las Reglas: Tienes 28 "hechizos" o transformaciones básicas: mover un bloque a la derecha, girarlo, cambiar su color, duplicarlo, etc.
• La Magia: Puedes combinar estos hechizos en cualquier orden y profundidad. Por ejemplo: "Mueve el bloque rojo a la izquierda, luego gíralo, luego cámbiale el color".
• El Objetivo: La IA ve un tablero inicial y una lista de hechizos (la receta). Debe predecir cómo quedará el tablero al final.

La genialidad de COGITAO es que puede crear millones de recetas únicas. Es como tener un chef que puede inventar infinitas combinaciones de ingredientes, pero siempre usando los mismos 28 utensilios básicos.

3. La Prueba de Fuego (Entrenamiento vs. Examen)

Para ver si la IA realmente "piensa" o solo "memoriza", los investigadores hacen dos cosas:

1. Entrenamiento: Le enseñan a la IA muchas recetas, por ejemplo: "Mover + Girar" y "Mover + Cambiar Color".
2. El Examen (Lo difícil): Le ponen una receta nueva que nunca vio, pero que usa las mismas piezas. Por ejemplo: "Girar + Cambiar Color".

¿Qué pasó?
Aquí viene la parte triste pero reveladora. Los autores probaron a las IAs más avanzadas del mundo (modelos que suelen ganar en otros juegos).

• En el entrenamiento: ¡Lo hacían genial! Parecían genios.
• En el examen (nuevas combinaciones): ¡Se derrumbaron! La mayoría falló estrepitosamente.

La analogía: Es como si le enseñaras a un niño a sumar 2+2 y 3+3. Luego le preguntas cuánto es 4+4. Un niño que entiende la matemática lo resuelve. Una IA que solo memoriza patrones se queda pensando: "Nunca vi el número 4 en una suma, no sé qué hacer".

4. ¿Por qué es importante?

El paper nos dice que, aunque las IAs son increíbles reconociendo fotos de perros o escribiendo poemas, aún no tienen la inteligencia humana básica para combinar ideas de forma sistemática.

COGITAO es importante porque:

• Es un espejo: Nos muestra exactamente dónde fallan nuestras máquinas.
• Es un laboratorio limpio: Al usar cuadrados y colores simples (en lugar de fotos reales de calles o personas), elimina el "ruido" y nos permite ver el problema puro: la incapacidad de combinar reglas.
• Guía el futuro: Nos dice que necesitamos crear arquitecturas de IA que no solo busquen patrones, sino que realmente entiendan la estructura y la lógica de las cosas, como lo hacemos los humanos.

En resumen

COGITAO es un videojuego de lógica creado para torturar (con cariño) a las inteligencias artificiales. Y la noticia es que, aunque son muy fuertes, aún son muy "torpes" cuando se les pide que usen lo que saben para crear algo completamente nuevo. Este trabajo nos da las herramientas para entender por qué fallan y cómo construir máquinas que, de verdad, puedan pensar de forma creativa y combinada.

Resumen técnico

Resumen Técnico: COGITAO

1. El Problema: La Brecha en la Generalización Composicional

La capacidad de combinar conceptos aprendidos ("atómicos") y aplicarlos en nuevos contextos es un pilar fundamental de la inteligencia humana. Sin embargo, los modelos de aprendizaje automático más avanzados (SOTA) siguen luchando con la generalización composicional y sistemática.

• Limitación actual: Aunque los modelos pueden aprender patrones específicos, fallan al combinar elementos familiares de formas no vistas durante el entrenamiento (por ejemplo, aprender "rotar" y "trasladar" por separado, pero fallar al aplicar "rotar y luego trasladar" si esa combinación exacta no estaba en los datos de entrenamiento).
• Vacío en benchmarks visuales: Mientras que existen benchmarks robustos para la generalización composicional en lenguaje (como SCAN o COGS), las evaluaciones en visión por computadora carecen de flexibilidad. Los existentes a menudo confunden la complejidad visual con la estructura relacional, o no permiten un control preciso sobre la composición de las reglas.

2. Metodología: El Marco COGITAO

Los autores introducen COGITAO (Compositional Generalization In Transformations And Objects), un marco de generación de datos procedimental y centrado en objetos diseñado para aislar y evaluar la capacidad de razonamiento composicional en dominios visuales abstractos.

Características Principales del Generador:

• Entorno Basado en Rejillas (Grids): Similar al desafío ARC-AGI, las tareas consisten en transformar una rejilla de entrada en una de salida.
• Transformaciones Atómicas: El sistema utiliza un conjunto de 28 transformaciones interoperables (ej. traslaciones, rotaciones, espejos, recortes, cambios de color, duplicación, relleno).
• Composición Profunda: Las tareas se generan aplicando secuencias de estas transformaciones a objetos dentro de la rejilla. La profundidad de la composición (número de transformaciones secuenciales) es ajustable.
• Control Paramétrico: Permite controlar variables como el tamaño de la rejilla, el número de objetos, la complejidad de los objetos (simetría, colores) y sus propiedades.
• Escala: El marco puede generar millones de reglas únicas y muestras de datos ilimitadas, superando en varios órdenes de magnitud a los conjuntos de datos existentes.

Diseño Experimental:
El estudio se divide en dos ejes principales para probar la generalización:

1. Generalización Composicional (CompGen): Entrenar con ciertas secuencias de transformaciones y probar con combinaciones nuevas o más profundas (ej. entrenar con secuencias de profundidad 2 y probar con profundidad 3, o con combinaciones no vistas de los mismos elementos atómicos).
2. Generalización Ambiental (EnvGen): Mantener la secuencia de transformación fija pero variar los parámetros del entorno (ej. entrenar con 1-2 objetos y probar con 3-4; entrenar con rejillas pequeñas y probar con grandes).

Extensiones:

• COGITAO-RGB: Renderizado de las tareas en imágenes RGB reales (128x128) para evaluar la transferencia a visión natural.
• COGITAO Secuencial: Extensión para investigación de "World Models", donde el modelo debe predecir estados intermedios en una secuencia de acciones.

3. Contribuciones Clave

1. Marco Procedimental: Introducción de un generador flexible que crea millones de tareas únicas con control total sobre la composición y la dificultad, permitiendo aislar el razonamiento de la complejidad visual.
2. Benchmarks Reproducibles: Liberación de conjuntos de datos de referencia y código fuente para evaluar la generalización en dominios centrados en objetos.
3. Evaluación de Arquitecturas SOTA: Implementación y prueba de arquitecturas de vanguardia diseñadas para el razonamiento, incluyendo:
   • Vanilla Transformer (TF).
   • Grid Transformer (TF especializado con sesgos inductivos espaciales).
   • Pondering Looped Transformer (PL-TF): Arquitectura recurrente con tiempo de cómputo adaptativo.
   • LLaDA: Modelo de difusión basado en lenguaje.
4. Diagnóstico de Fallos: Identificación de modos de fallo específicos, como el "sesgo in-distribution" (aplicar reglas vistas en lugar de las nuevas) y el "fallo en la composición estructural".

4. Resultados Experimentales

Los autores entrenaron los modelos desde cero (sin pre-entrenamiento masivo) en 100,000 muestras y los evaluaron en configuraciones In-Distribution (ID) y Out-of-Distribution (OOD).

• Rendimiento In-Distribution (ID): La mayoría de los modelos (especialmente Grid-TF y PL-TF) lograron un alto rendimiento en tareas de entrenamiento, demostrando que pueden aprender las transformaciones individuales.
• Rendimiento Out-of-Distribution (OOD):
  • Fallo Generalizado: Todos los modelos mostraron una caída drástica en la precisión al enfrentar combinaciones no vistas o entornos modificados.
  • PL-TF (Pondering Looped Transformer): Fue el modelo más robusto, superando a los demás en pruebas OOD críticas (especialmente en cambios de complejidad de objetos y profundidad de composición), aunque aún no resolvió el problema completamente.
  • LLaDA: Mostró buen rendimiento en generalización ambiental (tamaño de rejilla/objetos) pero falló en composiciones complejas.
  • Vanilla-TF: Tuvo el peor rendimiento, con caídas casi totales en OOD, indicando una fuerte dependencia del reconocimiento de patrones superficiales.
• Análisis de Fallos: Se identificó que los modelos tienden a ser "obstinados" (stubborn): ante una nueva secuencia, a menudo aplican una secuencia de transformación vista durante el entrenamiento en lugar de recomponer los elementos atómicos correctamente.
• Escalado: Aumentar el tamaño del modelo (hasta 25M de parámetros) o la cantidad de datos de entrenamiento no cerró la brecha de generalización, sugiriendo que el problema es arquitectónico y no de escala.

5. Significado e Impacto

• Diagnóstico Fundamental: COGITAO demuestra que el éxito en tareas de visión actuales no garantiza la capacidad de razonamiento composicional. Los modelos actuales parecen memorizar o ajustar patrones estadísticos en lugar de aprender reglas estructurales abstractas.
• Puente hacia la IA Real: Al ser abstracto pero centrado en objetos y acciones, COGITAO simula desafíos reales en robótica y modelos del mundo (manipulación de objetos, preservación del contexto), sirviendo como un paso intermedio necesario antes de abordar la visión natural ruidosa.
• Dirección Futura: El trabajo sugiere que para lograr una inteligencia artificial verdaderamente generalizable, las futuras arquitecturas deben incorporar sesgos inductivos más fuertes hacia la composición estructural y el razonamiento iterativo, más allá del simple ajuste de patrones.

En conclusión, COGITAO establece un nuevo estándar para evaluar la "inteligencia" de los modelos de visión, revelando que, a pesar de los avances recientes, la capacidad humana de recombinar conceptos de manera sistemática sigue siendo un desafío abierto y no resuelto para la IA moderna.