Learning Explicit Behavioral Models with Adaptive Questions and World-Model Probes

Resumen Técnico: Aprendizaje de Modelos de Comportamiento Explícitos con Preguntas Adaptativas y Sondas de Modelos de Mundo

1. Definición del Problema

Los agentes interactivos entrenados únicamente mediante la recompensa de la tarea (recompensa escalar) suelen alcanzar puntuaciones altas explotando patrones temporales estrechos, atajos locales o peculiaridades específicas del entorno sin desarrollar una representación robusta de los mecanismos subyacentes. Este comportamiento de "puntuación alta, bajo entendimiento" crea un punto ciego oculto: la política del agente parece exitosa, pero permanece frágil cuando la dinámica del entorno cambia, lo que conduce a una recuperación lenta y un diagnóstico difícil.

Los enfoques actuales, como la reflexión basada en LLM o la reparación del código de la política, suelen revisar el comportamiento solo después del entrenamiento o dependen del éxito de la tarea como el principal juez de la utilidad. Además, aunque existen evaluaciones de comprensión del mundo, estas suelen ser estáticas y se aplican post-hoc, rara vez convirtiéndose en parte del mecanismo que selecciona, repara o rechaza una política durante el proceso de aprendizaje. El desafío central es optimizar el "entendimiento" como un objeto testeable y ejecutable dentro del bucle de aprendizaje de la política, en lugar de como un subproducto retórico.

2. Metodología: El Modelo de Comportamiento Simbólico Explícito (ESBM)

El artículo introduce el Modelo de Comportamiento Simbólico Explícito (ESBM), un modelo de comportamiento entrenable que acopla el rendimiento de la tarea con el cuestionamiento basado en evidencia y la predicción de mecanismos ejecutables. El ESBM no es una red neuronal que actúa como política; más bien, es una estructura simbólica explícita que consiste en:

• Predicados Tipados: Mapean observaciones puras y memoria a hechos semánticos.
• Reglas Ponderadas: Mapean hechos a acciones o llamadas de opciones.
• Opciones Acotadas: Encapsulan procedimientos de múltiples pasos (por ejemplo, rutas, secuencias de rescate) con contratos definidos y condiciones de terminación.
• Memoria de Mecanismos ($K$): Un modelo de mundo abstracto que predice eventos simbólicos, cambios de objetos, recompensas y consecuencias terminales bajo intervenciones de acción.

El Bucle Desafiante–Optimizador
El proceso de aprendizaje es impulsado por un bucle adversarial pero constructivo:

1. Desafiante (Generación de Sondas): Después de cada ejecución (rollout), el desafiante analiza fallos, ediciones simbólicas recientes, errores de QA y errores de predicción de transiciones para generar dos formas de presión:
   • Preguntas Adaptativas (QA): Preguntas fundamentadas sobre entidades, peligros, recompensas y contrafácticos. Las respuestas deben estar respaldadas por el contexto explícito del ESBM (predicados, reglas, mecanismos).
   • Sondas Activas del Modelo de Mundo: El sistema se bifurca desde un punto de control coincidente hacia dos caminos: el entorno real y el modelo abstracto del ESBM. Ambos ejecutan la misma secuencia de acciones (observada, contrafáctica o mixta). La memoria de mecanismos del ESBM debe predecir los eventos simbólicos resultantes, los cambios en las puntuaciones y los estados de los objetos.
2. Optimizador (Propuesta de Edición): Un LLM actúa como un backend para proponer ediciones locales y tipadas al ESBM (por ejemplo, revisar una condición de regla, actualizar una entrada de mecanismo) basándose en la retroalimentación del desafiante.
3. Puerta del Verificador (Selección): Una regla de aceptación multicriterio evalúa los modelos candidatos. Un candidato se acepta solo si mejora al menos una dimensión validada (Puntuación de Tarea, Precisión de QA, Consistencia de Mundo de Modelo de Mundo Pasivo/Activo) mientras se mantiene dentro de las tolerancias de regresión en las dimensiones protegidas. Esto evita que se acepten explicaciones sin fundamento incluso si mejoran la puntuación.

3. Contribuciones Clave

• Definición del ESBM: Los autores definen el ESBM como un objeto de optimización explícito que combina abstracción de estado, selección de acción simbólica, opciones acotadas y memoria de mecanismo ejecutable.
• Mecanismo de Entrenamiento Adaptativo: Introducen preguntas adaptativas a la política y fundamentadas en evidencia, así como sondas activas de modelos de mundo que convierten los fallos del modelo en restricciones de entendimiento reutilizables, moviendo el QA de una evaluación post-hoc al núcleo del bucle de aprendizaje.
• Aceptación Multicriterio: Se formula una regla de aceptación novedosa que evalúa conjuntamente el rendimiento de la tarea, la precisión de QA y la consistencia intervencionista activa del modelo de mundo, asegurando que las actualizaciones mejoren tanto el comportamiento como el entendimiento mecanístico.

4. Resultados Experimentales

El enfoque fue evaluado en tres entornos de estilo Atari (JAXAtari): Kangaroo, Seaquest y Kingkong, que requieren planificación de rutas, gestión de recursos y evasión de peligros.

• Rendimiento de la Tarea (RQ1): El ESBM logró puntuaciones competitivas o superiores en comparación con las líneas base libres de modelo (DQN, PPO), aprendices neuro-simbólicos (NUDGE, BlendRL) y una referencia simbólica de solo puntuación (EvoSymbol). Notablemente, el ESBM superó a EvoSymbol (que carece de validación de QA y de modelo de mundo) en los tres juegos.
• Entendimiento Explícito (RQ2): Los ESBM aprendidos demostraron una alta capacidad de respuesta apoyada en evidencia en pruebas de comprensión de juego no vistas. Los modelos pudieron responder preguntas sobre la estructura del mundo, mecánicas y contrafácticos, con la evidencia de apoyo (predicados, reglas) identificable de forma explícita.
• Predicción de Modelo de Mundo Ejecutable (RQ3): La capa de mecanismos ($K$) predijo con éxito la dinámica simbólica bajo ramas contrafácticas activas, superando a las líneas base de persistencia, dinámica constante y modelos de mundo de árbol de decisión.
• Recuperación tras Cambios de Mecanismo (RQ4): Cuando se alteraron las dinámicas del entorno (por ejemplo, monos más rápidos, decaimiento de oxígeno más rápido, bombas más rápidas), el ESBM recuperó una fracción significativamente mayor de la puntuación original en comparación con PPO. Esto indica que el entendimiento mecanístico explícito facilita una adaptación más rápida a nuevas dinámicas.

5. Significación y Reivindicaciones

El artículo sostiene que las preguntas adaptativas y las sondas activas de modelos de mundo pueden servir tanto como presión de entrenamiento como benchmarks reutilizables para el aprendizaje de políticas mecanísticas. Al hacer del entendimiento del mecanismo un objeto ejecutable vinculado a las actualizaciones de la política, el marco logra separar el comportamiento de alta puntuación del conocimiento de mecanismos simbólicamente verificables.

Los autores argumentan que este enfoque aborda la fragilidad de las políticas basadas solo en puntuación. En lugar de depender de recompensas escalares que pueden ocultar mecanismos faltantes o incorrectos, el ESBM obliga al agente a mantener un modelo que sea auditable, consultable y reparable. Los resultados sugieren que optimizar para modelos de comportamiento explícitos permite que los agentes no solo realicen tareas, sino que también entiendan por qué sus acciones tienen éxito, lo que conduce a una adaptación más robusta cuando las dinámicas del entorno cambian.

El artículo mantiene la modestia respecto a su alcance, señalando que el entorno actual utiliza juegos de estilo Atari como un banco de pruebas controlado y que transferir el método a la robótica o a entornos de mundo abierto requeriría una abstracción de estado más rica y verificadores más fuertes. También reconoce las dependencias de la calidad de las sondas generadas y las limitaciones del vocabulario simbólico.