Resumen Técnico: Inducción de Modelos de Mundo POMDP a partir de Observaciones con Priors de Modelos de Lenguaje

Enunciado del Problema

Los agentes efectivos en entornos parcialmente observables deben aprender un modelo interno de cómo responde el mundo a sus acciones. Aunque los Procesos de Decisión de Markov Parcialmente Observables (POMDP) proporcionan un formalismo flexible para tales modelos de mundo, aprenderlos únicamente a partir de trayectorias de observación-acción es notoriamente difícil. Los enfoques clásicos (estimadores tabulares, métodos espectrales, modelos latentes profundos) suelen requerir una interacción extensa con el entorno, suposiciones estructurales fuertes o acceso a estados ocultos de verdad fundamental.

Los métodos existentes que aprovechan los Modelos de Lenguaje de Gran Escala (LLM) para inducir modelos de mundo a menudo se basan en una suposición simplificadora crítica: el acceso a estados ocultos privilegiados durante el entrenamiento. Incluso el precursor más cercano, POMDP Coder, asume acceso post-hoc a estados de verdad fundamental después de cada episodio. Esta limitación hace que tales métodos sean inaplicables a escenarios del mundo real donde la supervisión del estado no está disponible, como robots operando en espacios abarrotados o agentes en juegos de información imperfecta. La pregunta central abordada por este trabajo es si los priors de LLM son lo suficientemente potentes para inducir modelos POMDP ejecutables utilizando únicamente trayectorias de observación-acción-recompensa, sin ningún acceso a etiquetas de estado oculto.

Metodología: Pinductor

Los autores presentan Pinductor (inductor de POMDP), un marco que induce modelos de mundo POMDP ejecutables a partir únicamente de trayectorias de observación-acción-recompensa. El método opera en un bucle de generación-evaluación-refinamiento-planificación, evitando la comparación directa entre estados predichos y estados ocultos de verdad fundamental.

1. Propuesta de Modelo

Un LLM se solicita con una descripción del entorno en lenguaje natural, un pequeño conjunto de datos offline de trayectorias y una API de código que define los espacios de estado, acción y observación. El LLM genera un modelo candidato ejecutable $m = (\rho_0^m, T^m, O^m, R^m)$, definiendo la distribución inicial de estados, la dinámica de transición, el modelo de observación y la función de recompensa.

2. Evaluación de Modelos Basada en Creencias

Dado que los estados ocultos no se observan, Pinductor evalúa los candidatos utilizando una puntuación de verosimilitud basada en creencias.

• Filtrado de Partículas: Para un modelo candidato, se muestrea un conjunto de partículas desde la distribución inicial propuesta y se propagan a través del modelo de transición $T^m$ utilizando las acciones observadas.
• Verosimilitud de Observación Suave: El modelo de observación generado por el LLM, $O_{LLM}^m$, a menudo es determinista. Para manejar discrepancias y proporcionar una señal similar a un gradiente, el método emplea un kernel de distancia. La distancia $d_{obs}$ entre una observación predicha y la observación realizada se convierte en una verosimilitud suave:
  $$O^m(o_{t+1} | s_{t+1}, a_t) \propto \exp(-d_{obs}(o_{t+1}^{pred}, o_{t+1}^{real}) / \kappa)$$
• Puntuación: El modelo se puntúa mediante la verosimilitud logarítmica esperada de la trayectoria observada bajo la distribución de creencias inducida por el filtro de partículas:
  $$L(P^m; \mathcal{D}) = \sum_{\tau \in \mathcal{D}} \sum_{t=0}^{H-1} \mathbb{E}_{s_{t+1} \sim Q_{t+1}^m} [\log O^m(o_{t+1} | s_{t+1}, a_t)]$$
  Esta puntuación evalúa qué tan bien las dinámicas de filtrado del propio modelo pueden explicar el flujo de observaciones, sin acceso privilegiado al estado.

3. Retroalimentación y Refinamiento

El método refina los modelos iterativamente utilizando retroalimentación estructurada de depuración:

• Puntuación Global: La puntuación de verosimilitud escalar indica el ajuste general.
• Diagnósticos Locales: El sistema identifica modos de fallo específicos, como errores de ejecución, segmentos de trayectoria con alta distancia de observación o discrepancias de recompensa.
• Señales de Discrepancia: Un "comité" de modelos de transición generados previamente se utiliza para calcular la entropía de votación. Los contextos de alta entropía (donde los modelos candidatos discrepan sobre el siguiente estado) se destacan al LLM, guiándolo a resolver ambigüedades en la dinámica.
• Estrategia de Refinamiento: Pinductor utiliza un proceso de refinamiento con estructura de árbol (selección UCB1) en lugar de una sola cadena de ediciones, explorando múltiples familias de candidatos antes de seleccionar un modelo cercano al óptimo.

4. Planificación

El modelo seleccionado se utiliza para la planificación en el espacio de creencias (por ejemplo, mediante planificadores estilo A*) durante la interacción en línea. Las nuevas trayectorias se añaden al conjunto de datos, desencadenando rondas adicionales de refinamiento.

Contribuciones Clave

1. Inducción de POMDP Solo con Observaciones: El artículo demuestra que los priors de LLM son suficientes para inducir modelos de mundo POMDP ejecutables a partir únicamente de trayectorias de observación-acción-recompensa, eliminando la necesidad de supervisión de estado latente de verdad fundamental en el momento del entrenamiento o de la inferencia.
2. Puntuación de Modelos Basada en Creencias: Los autores introducen un objetivo de verosimilitud basado en kernels que puntúa programas candidatos bajo sus distribuciones de creencias filtradas. Esto proporciona una señal de reparación por paso computable únicamente a partir de observaciones parciales.
3. Validación de Extremo a Extremo: El método se valida en cinco tareas de MiniGrid parcialmente observables. Pinductor iguala el rendimiento y la eficiencia de muestras de una línea base de LLM con estado privilegiado (POMDP Coder), mientras supera significativamente a las líneas base sin LLM (incluyendo POMDPs tabulares con acceso privilegiado al estado).

Resultados

• Rendimiento: En entornos MiniGrid (Empty, Corners, Lava, Unlock, Four Rooms), Pinductor logra recompensas medias por episodio y tasas de victoria comparables a la línea base con estado privilegiado, a pesar de utilizar estrictamente menos información.
• Eficiencia de Muestras: Pinductor alcanza un rendimiento sólido con muy pocas trayectorias offline (tan pocas como 2–10), igualando la eficiencia de muestras de los métodos con acceso al estado.
• Calidad de la Creencia: Durante la planificación, los estados de creencia de Pinductor se concentran cada vez más en el estado oculto real a medida que se acumulan las observaciones, demostrando que los modelos aprendidos soportan actualizaciones posteriores informativas.
• Ablaciones:
  • Capacidad del LLM: El rendimiento escala con la capacidad del LLM; los modelos más débiles no logran sintetizar modelos de mundo utilizables, mientras que los modelos más fuertes (Qwen 3.6 Plus, Claude Opus 4.7) alcanzan un alto rendimiento.
  • Información Semántica: Retener las descripciones semánticas del entorno degrada el rendimiento, lo que indica que el método depende de priors de LLM fundamentados en información textual.
  • Estocasticidad: El método sigue siendo efectivo en variantes estocásticas de los entornos, aunque el rendimiento disminuye en comparación con los entornos deterministas.

Significado y Limitaciones

El artículo posiciona los priors de modelos de lenguaje como una herramienta práctica para el aprendizaje de modelos de mundo eficiente en muestras bajo observabilidad parcial. Al eliminar el requisito de acceso a estados privilegiados, Pinductor extiende el alcance de la inducción de modelos guiada por LLM a entornos característicos de implementaciones del mundo real (por ejemplo, robótica, juegos de información imperfecta).

Los autores notan modestamente varias limitaciones:

• Alcance: La evaluación se restringe a entornos MiniGrid; la transferencia a otros dominios o entornos complejos del mundo real permanece sin probar.
• Componentes Fijos: La función de distancia de observación, el planificador y el búfer de demostraciones están actualmente fijos y no son optimizados por el LLM.
• Varianza: La dependencia de llamadas a la API de LLM introduce una alta varianza en el tiempo de ejecución y los resultados.
• Recopilación de Datos: Los conjuntos de datos offline se recopilan manualmente; el impacto de las estrategias de recopilación de datos automatizadas no se explora.

El trabajo representa un paso hacia agentes generalistas capaces de aprender modelos de mundo internos a partir de la experiencia en primera persona en entornos parcialmente observables.