ARC-AGI-2 Technical Report

Este informe técnico presenta un sistema basado en transformadores que mejora el rendimiento en ARC-AGI al combinar codificación eficiente de tareas, aumentos basados en simetrías, adaptación en tiempo de prueba mediante LoRA y un proceso de puntuación consciente de la simetría para lograr una generalización cercana al nivel humano.

Lo esencial

¡Hola! Imagina que este documento es la "receta secreta" de un equipo de cocineros de inteligencia artificial que intentaron resolver un concurso de cocina muy difícil llamado ARC-AGI.

El concurso no consiste en cocinar platos complejos con muchas instrucciones. Al contrario: te dan dos o tres fotos de un plato (entrada y salida) y te piden que adivines la receta exacta para cocinar un cuarto plato que nunca has visto antes. Si te equivocas en un solo ingrediente (un solo píxel), el plato se considera un fracaso total.

Aquí te explico cómo lo lograron, usando analogías sencillas:

1. El Problema: Un Rompecabezas sin Instrucciones

La mayoría de las inteligencias artificiales actuales son como estudiantes que memorizan libros de texto. Si les preguntas algo que no está en el libro, fallan. Pero el concurso ARC es como un examen de "inteligencia pura": te dan muy pocos ejemplos y tienes que entender la lógica oculta (la regla del juego) para aplicarla a una situación nueva.

2. La Solución: Un "Cerebro" con Cuatro Superpoderes

El equipo no solo entrenó a un modelo de IA (un tipo de cerebro digital llamado LongT5). Le dio cuatro herramientas mágicas para que pudiera pensar mejor:

A. La "Traducción" Compacta (Codificación)

Imagina que tienes que describir un dibujo de 30x30 píxeles a alguien que solo entiende palabras. Si lo haces píxel por píxel, la descripción sería kilométrica y el cerebro se aburriría.

• Lo que hicieron: Crearon un "idioma secreto" muy corto. En lugar de escribir "cuadrado rojo, cuadrado azul...", usaron símbolos compactos (como un código de barras de 125 letras). Esto permitió que el cerebro leyera el dibujo completo sin perderse en el camino.

B. El Entrenamiento con "Espejos y Giros" (Aumento de Datos)

El problema es que hay muy pocos ejemplos reales (como tener solo 100 recetas en todo el mundo).

• La analogía: Imagina que estás aprendiendo a conducir. Si solo practicas en una calle recta, no sabrás qué hacer en una curva.
• La solución: El equipo creó miles de "versiones fantasma" de las mismas tareas. Giraron los dibujos, los reflejaron en espejos, cambiaron los colores (como si el rojo fuera azul) y los recorrieron en zig-zag.
• El resultado: El cerebro aprendió que la regla es lo importante, no si el dibujo está de pie o de lado. Aprendió la "esencia" de la lógica, no solo a copiar patrones.

C. El "Aprendizaje al Momento" (Test-Time Training)

Este es el truco más genial. Normalmente, un modelo se entrena una vez y luego se usa para siempre. Pero en este concurso, cada tarea es un mundo nuevo.

• La analogía: Imagina que vas a una fiesta donde todos hablan un dialecto que nunca has oído. En lugar de salir corriendo, te quedas 5 minutos, escuchas, y tu cerebro hace un "ajuste rápido" para entender ese dialecto específico antes de hablar.
• La solución: Antes de resolver cada tarea, el modelo se toma un "micro-descanso" para estudiar solo los ejemplos de esa tarea específica. Se adapta al instante, como un camaleón que cambia de color para encajar en el entorno.

D. El "Juez de Múltiples Perspectivas" (Puntuación Simétrica)

El modelo genera muchas respuestas posibles (como 180 opciones). ¿Cómo sabe cuál es la correcta?

• La analogía: Imagina que tienes 180 candidatos para un trabajo. En lugar de elegir al que más te gusta a simple vista, les pides que resuelvan el mismo problema pero desde diferentes ángulos: de pie, acostados, en espejo, etc.
• La solución: Si una respuesta es correcta, funcionará bien en todos los ángulos. Si es un error, fallará cuando la gires. El sistema descarta las respuestas "torpes" y elige la que es consistente sin importar cómo la mires.

3. El Resultado: De Novato a Maestro

Al principio, el equipo tenía un modelo que acertaba muy poco (como un principiante).

1. Cambiaron la arquitectura (el cerebro) a uno capaz de leer contextos largos.
2. Les dieron el entrenamiento con "espejos y giros".
3. Les enseñaron a "ajustarse al momento" (el camaleón).
4. Usaron al "juez de múltiples perspectivas" para elegir la mejor respuesta.

El resultado final: Pasaron de acertar un 3.75% de las tareas a acertar un 27%. En el mundo de la IA, saltar de 3 a 27 es como pasar de no saber leer a escribir un poema.

En Resumen

Este trabajo nos enseña que para que una máquina sea inteligente, no basta con darle más datos o más potencia de cálculo. Hay que enseñarle a:

1. Ver el mundo desde diferentes ángulos (simetría).
2. Aprender rápido de pocos ejemplos (adaptación).
3. Entender la lógica detrás de la imagen, no solo la imagen en sí.

Es un paso gigante hacia crear máquinas que no solo memorizan, sino que realmente razonan.

Resumen técnico

Resumen Técnico del Informe: ARC-AGI-2

1. Introducción y Problema

El Abstract Reasoning Corpus (ARC) es un conjunto de datos diseñado para evaluar la inteligencia artificial más allá del reconocimiento de patrones, exigiendo que los modelos infieran reglas simbólicas a partir de muy pocos ejemplos (generalización fluida). El desafío ARC-AGI-2 presenta tareas más complejas, con cuadrículas más grandes (hasta 30x30), más colores y reglas composicionales secuenciales.

El problema principal abordado en este trabajo es la dificultad de los modelos de aprendizaje profundo tradicionales para generalizar con datos escasos y la necesidad de operar bajo estrictas restricciones computacionales (entorno de evaluación de Kaggle: 4 GPUs L4 y 12 horas para 240 tareas). El objetivo es desarrollar un sistema que combine la capacidad de razonamiento de los modelos de lenguaje grandes (LLM) con conocimientos previos estructurados y adaptación en tiempo de inferencia.

2. Metodología

La solución propuesta es una tubería (pipeline) modular basada en una arquitectura LongT5 (codificador-decodificador) de aproximadamente 200 millones de parámetros, optimizada para contextos largos. El enfoque se divide en cuatro pilares fundamentales:

A. Codificación y Arquitectura

• Tokenización Compacta: Se reformuló el problema como modelado de secuencias utilizando un vocabulario reducido de 125 tokens (un token por símbolo visual y delimitadores estructurales), evitando fusiones de tokens indeseadas de los codificadores estándar.
• LongT5 con FlashAttention: Se utilizó una arquitectura LongT5 modificada con Atención Global Transitoria (Transient Global Attention) para manejar secuencias largas (hasta 10k tokens) de manera eficiente. Se integró FlashAttention en el codificador para reducir el uso de memoria y acelerar el entrenamiento, superando las limitaciones de la implementación estándar de PyTorch.

B. Inyección de Conocimiento Previo (Aumento de Datos)

Para superar la escasez de datos (1120 tareas públicas), se desarrolló un pipeline de aumento de datos principista que inyecta sesgos inductivos:

1. Simetrías (Priors de Simetría): Aplicación de transformaciones del grupo diédrico $D_4$ (rotaciones, reflexiones) y permutaciones de colores para enseñar invariancia a la representación.
2. Recorridos (Traversals): Presentación de la misma cuadrícula bajo diferentes serializaciones 1D (fila por fila vs. "serpiente" o zig-zag) para forzar al modelo a aprender reglas de transformación en lugar de depender de la codificación espacial específica.
3. Autómatas Celulares: Generación de más de 750,000 tareas sintéticas aplicando reglas de autómatas celulares a las entradas/salidas, preservando la semántica de la tarea pero alterando la representación superficial.
4. Transformaciones Visuales: Técnicas inspiradas en visión por computadora (escalado, marcos, "metagrids") para mejorar la comprensión de objetos y relaciones espaciales.

C. Entrenamiento Offline y Online

• Entrenamiento Offline: Se empleó un aprendizaje curricular (de tareas simples a complejas) y un enfoque multitarea que combina:
  • Resolución: Predicción autoregresiva de la salida.
  • Comprensión (UL2): Tareas de denoising (reconstrucción de regiones enmascaradas) para fomentar el razonamiento bidireccional y la comprensión profunda de la lógica.
  • Grokking: Se observó que el entrenamiento prolongado permitió al modelo transicionar de la memorización a la generalización real.
• Entrenamiento en Tiempo de Prueba (TTT): Para cada tarea no vista, se realiza un ajuste fino ligero (LoRA) utilizando solo los ejemplos de demostración de esa tarea específica. Esto permite que el modelo se adapte dinámicamente a la lógica local de la tarea sin olvidar el conocimiento previo.

D. Inferencia y Puntuación

• Decodificación: Se utiliza búsqueda por haz (Beam Search) con un ancho de 10, generando múltiples candidatos.
• Filtrado Simbólico: Se aplican reglas "caja blanca" para descartar candidatos inválidos (inconsistencias de color, tamaño de cuadrícula o relaciones de inclusión).
• Puntuación Basada en Simetría (Mini-Arch): En lugar de elegir el candidato más frecuente, se evalúa la coherencia de cada candidato bajo múltiples transformaciones geométricas. La solución final es aquella que mantiene la mayor consistencia de probabilidad (log-verosimilitud) a través de las vistas simétricas, actuando como un mecanismo de "razonamiento multi-perspectiva".

3. Contribuciones Clave

1. Receta de Entrenamiento Offline: Una estrategia estratificada que combina aprendizaje curricular, aprendizaje multitarea (resolución + denoising) y técnicas de grokking para construir representaciones internas robustas.
2. Adaptación por Tarea (TTT): Aplicación novedosa de TTT con LoRA y memoria externa para la especialización dinámica en tareas no vistas, evitando el olvido catastrófico.
3. Aumento de Datos Estructurado: Tres técnicas de aumento (simetría, autómatas, recorridos) que fuerzan la abstracción de reglas en lugar del sobreajuste a la tokenización.
4. Puntuación Consciente de Simetría: Un mecanismo de ranking que valida hipótesis a través de transformaciones geométricas, superando a los métodos basados puramente en frecuencia de ocurrencia.
5. Optimización Computacional: Integración de FlashAttention y gestión de memoria eficiente que permite ejecutar el sistema completo dentro de las limitaciones de hardware de Kaggle.

4. Resultados

El sistema se evaluó en un conjunto de 177 tareas curadas manualmente (disjuntas a los datos públicos) y en el entorno de Kaggle:

• Rendimiento en Kaggle: El sistema alcanzó un 27.08% en el conjunto de evaluación semiprivado, superando significativamente a los baselines anteriores (que rondaban el 12-19% antes de las optimizaciones finales).
• Análisis de Pas@k: En el conjunto de evaluación interno, el sistema logró un 45.99% de éxito con 2 intentos (pass@2) y un 55.93% con 5 intentos.
• Impacto de Componentes (Estudios de Ablación):
  • La eliminación del TTT causó una caída drástica (~33 puntos), confirmando su importancia crítica.
  • El filtrado simbólico es esencial; sin él, la precisión cae ~14 puntos debido a candidatos inválidos.
  • La puntuación basada en simetría mejoró la selección en ~4 puntos.
  • Los recorridos (traversals) aportaron un ~6% de mejora en la precisión final.
• Eficiencia: El sistema procesa las tareas en aproximadamente 49 segundos por tarea en hardware de alto rendimiento (8x H100), y se adapta a las restricciones de 12 horas en 4x L4.

5. Significado e Implicaciones

Este trabajo demuestra que la combinación de arquitecturas neuronales escalables con conocimiento previo estructurado (simetrías, lógica de autómatas) y adaptación en tiempo de ejecución (TTT) es un camino viable hacia la inteligencia artificial general (AGI) en dominios de razonamiento abstracto.

• Generalización: El enfoque valida que la forma en que se presenta la información (perspectivas múltiples, recorridos alternativos) es tan crucial como el modelo en sí para la abstracción.
• Más allá de ARC: Las técnicas desarrolladas, especialmente el TTT con memoria externa y la puntuación basada en invariancia, tienen aplicaciones potenciales en generación de código, verificación formal, visión por computadora y sistemas autónomos que requieren adaptación rápida a distribuciones cambiantes.
• Eficiencia: Demuestra que no es necesario un modelo masivo o un contexto infinito para resolver problemas complejos; una adaptación inteligente y eficiente de un modelo mediano (200M parámetros) puede superar a sistemas más grandes pero menos adaptativos.

En conclusión, el sistema presentado cierra la brecha hacia el razonamiento a nivel humano en ARC-AGI-2, destacando que el progreso en IA no proviene solo del escalado, sino de la variación estructurada, la representación adecuada y la adaptación dinámica.