Resumen Técnico: OPINE-World

Planteamiento del Problema

Construir agentes que se adapten a tareas desconocidas requiere aprender cómo se comporta un entorno a partir de la interacción. Si bien los modelos de mundo basados en redes profundas ofrecen flexibilidad, son ávidos de datos y transfieren mal más allá de su distribución de entrenamiento. Por el contrario, los modelos de mundo sintetizados mediante programas son eficientes en términos de datos y reutilizables, pero históricamente han estado limitados a entornos de estado estructurado con un vocabulario de objetos predefinido. Una única búsqueda de programas no escala a entornos renderizados por píxeles donde la propia estructura de los objetos debe hipotetizarse de forma flexible a partir de observaciones puras.

El desafío central abordado por este trabajo es el aprendizaje de un modelo de mundo programático centrado en objetos online mediante la interacción en un entorno donde:

1. El vocabulario de objetos y la partición en tipos mecánicos son desconocidos.
2. La semántica de las metas y las acciones es omitida.
3. El agente debe inferir la estructura de los objetos, la dinámica y la relevancia de la meta únicamente a partir de fotogramas de píxeles crudos y recompensas dispersas.

Metodología: OPINE-World

OPINE-World es un agente de LLM que aprende un modelo de mundo programático centrado en objetos a través de un bucle de hipótesis y prueba. Acopla dos agentes cooperadores y un crítico periódico, operando sobre un búfer de repetición (replay buffer) compartido de interacciones.

1. Modelo Programático Centrado en Objetos

El modelo de mundo se representa como un programa en Python factorizado por tipo de objeto. En lugar de una función de transición monolítica, el modelo contiene una regla de respuesta $f_\tau$ para cada tipo mecánico $\tau$. Esta regla predice el estado actualizado de un objeto basándose en sus atributos actuales, la acción realizada y un contexto local de solo lectura. Esta factorización permite que una regla aprendida de un objeto se transfiera a todos los objetos del mismo tipo, siempre que la partición de tipos sea aproximadamente correcta.

2. Dos Agentes Cooperadores

El sistema desacopla la acción del modelado en dos agentes de LLM especializados:

• El Agente de Acción (Orientado a Metas): Interactúa con el entorno en vivo, propone hipótesis sobre la dinámica y las metas, y las pone a prueba. Mantiene un modelo de mundo en lenguaje natural y selecciona acciones basadas en el modelo sintetizado actual o en las necesidades de exploración.
• El Agente Sintetizador: Lee el búfer de interacción compartido y las hipótesis del agente de acción. Sintetiza código (el modelo de mundo) que generaliza las transiciones observadas en reglas. Envía programas candidatos a un verificador.

3. Verificación y Síntesis Guiada por Contraejemplos (CEGIS)

Un programa candidato es admitido solo si reproduce exactamente cada transición registrada en el búfer (prueba de reproducción exacta).

• Aceptación: El programa debe predecir el siguiente estado atributo por atributo y objeto por objeto. También se ejecuta dos veces para asegurar el determinismo (rechazando modelos dependientes de estados ocultos).
• Reparación: La síntesis se dispara mediante contraejemplos: transiciones donde el modelo en vivo predice erróneamente el resultado observado. Una ventana de aplazamiento permite que los contraejemplos se acumulen antes de una reescritura, y un guardián de estancamiento evita bucles infinitos en errores irreparables.
• Reconocimiento de Metas: Una vez completado un nivel, se sintetiza un predicado de meta booleano y se verifica contra el mismo estándar de reproducción exacta.

4. Error de Ontología y Dirección de la Exploración

Dado que la partición de objetos es desconocida, OPINE-World emplea un diagnóstico bayesiano llamado error de ontología ($\eta_t$) para dirigir la exploración.

• Firmas de Efecto: En lugar de rastrear deltas de valores exactos, el sistema rastrea firmas categóricas gruesas de los atributos cambiados (por ejemplo, "x cambió", "píxeles cambiaron", "desapareció").
• Tablas de Efectos Locales: Estas tablas cuentan las firmas por fila (definida por tipo, acción y contexto local).
• Medidas de Incertidumbre: El sistema calcula dos entropías normalizadas:
  1. Incertidumbre de Tipo ($U_{type}$): Qué tan inseguro está el sistema sobre el tipo mecánico de un objeto.
  2. Incertidumbre de Fila ($U_{row}$): Qué tan mixta es la distribución de efectos para una combinación específica de tipo-acción-contexto.
• Error de Ontología: El No-OR ruidoso de estas incertidumbres ($\eta_i = 1 - (1-U_{type})(1-U_{row})$) identifica objetos y contextos que los tipos actuales aún no pueden explicar. El agente de acción es dirigido a explorar regiones de alto error, lo que impulsa al sintetizador a refinar los tipos o añadir características de contexto.

5. Planificación

Una vez que un modelo es admitido y se ha completado al menos un nivel, un planificador busca en el modelo verificado un camino hacia la meta. El plan se ejecuta paso a paso en el juego en vivo. Cualquier discrepancia entre el estado predicho y el observado aborta el plan, registra un contraejemplo y devuelve el control al agente de acción.

Contribuciones Clave

1. Agente OPINE-World: Un agente de LLM que aprende modelos de mundo programáticos centrados en objetos online mediante un bucle de hipótesis y prueba que involucra a dos agentes cooperadores, síntesis guiada por contraejemplos y planificación basada en modelos.
2. Descubrimiento de la Ontología: Un método para descubrir la ontología de objetos (particionando los objetos en tipos mecánicos) directamente desde la interacción, extendiendo los modelos de mundo sintetizados por programas desde entradas de estado estructurado a entornos de píxeles con estructuras de objetos desconocidas.
3. Evaluación en ARC-AGI-3: Una demostración en el benchmark ARC-AGI-3 (donde el vocabulario de objetos, las metas y la semántica de las acciones son omitidos) donde OPINE-World resuelve 20 de 25 juegos sin entrenamiento por juego.

Resultados Experimentales

El sistema fue evaluado en el conjunto de evaluación pública ARC-AGI-3 (25 juegos, 183 niveles).

• Rendimiento: OPINE-World resolvió 20 de 25 juegos y completó 160 de 183 niveles sin entrenamiento por juego.
• Eficiencia de Acción: Logró una puntuación de eficiencia de acción de 78.4 (en relación con una base humana), comparada con el 63.8 de una fuerte base de un solo agente de codificación (baseline1) y el 63.2 de un agente de visión preentrenado en el conjunto de evaluación.
• Comparación con Baselines:
  • Codificación de un Solo Agente (baseline1): Resolvió 14 juegos. OPINE-World resolvió todos los 14 de estos más 6 juegos adicionales que derrotaron al baseline. En los 6 juegos donde el baseline falló, OPINE-World los completó usando aproximadamente el 25% de las acciones que el baseline gastó antes de fallar.
  • Síntesis de Programas (WorldCoder) y Modelos Latentes Neuronales: Estos enfoques resolvieron 0 juegos bajo el presupuesto de acciones del benchmark.
  • Base Humana: En los 20 juegos que ganó OPINE-World, utilizó menos acciones que la referencia humana en 16 casos.

Significancia y Reivindicaciones

El artículo afirma que OPINE-World demuestra que los modelos de mundo programáticos pueden aprenderse online a partir de píxeles crudos sin vocabularios de objetos o metas predefinidos. Al separar la acción del modelado y utilizar un bucle de verificación de reproducción exacta riguroso guiado por un error de ontología bayesiano, el sistema logra una alta eficiencia de muestra y transferibilidad.

Los autores enfatizan que el sistema no depende de restricciones de optimismo ni de funciones de recompensa sintetizadas (a diferencia de trabajos previos como WorldCoder), sino que se basa en la consistencia de la reproducción exacta y en predicados de meta derivados de las recompensas observadas. Los resultados sugieren que factorizar los modelos por tipo de objeto y descubrir la ontología dinámicamente permite a los agentes generalizar a través de diseños y resolver tareas complejas de adquisición de habilidades con significativamente menos interacciones que los modelos latentes neuronales o los enfoques de codificación de un solo agente.

Limitaciones

Los autores señalan varias limitaciones:

1. Alcance Observable-Markov: La prueba de reproducción exacta asume una función de transición determinista bajo una representación correcta. El estado oculto degrada la señal temporal.
2. Percepción Inferida: El emparejamiento de objetos y la partición de tipos se infieren de fotogramas crudos, lo cual es más difícil que usar identidades de objetos proporcionadas por el motor.
3. Escala del Planificador: El planificador utiliza una búsqueda hacia adelante acotada, lo que puede fallar en juegos con altos factores de ramificación.
4. Ejecución Única: Los resultados se basan en una única ejecución por juego, careciendo de estimaciones de varianza.