Resumen Técnico: Estados de Creencia Textuales para Modelos de Mundo

Declaración del Problema

En entornos de observación parcial, los modelos de mundo deben mantener una representación latente que resuma la historia de interacción para permitir la predicción, la planificación y el razonamiento. Un desafío crítico en las arquitecturas modernas basadas en Grandes Modelos de Lenguaje (LLM) es el probleente de la identificabilidad. En muchos diseños existentes, el estado latente coexiste con otras fuentes de información (como el historial completo de observaciones) que pueden sustituirlo. En consecuencia, un modelo puede lograr una alta precisión predictiva al "evadir" el estado latente y depender directamente del historial. Esto hace que el estado latente sea no identificable; el rendimiento predictivo ya no restringe ni refleja la calidad de la representación aprendida.

Mientras que los modelos de mundo clásicos imponen una mediación estricta del estado latente —exigiendo que todas las predicciones dependan únicamente del estado latente y la acción actual—, aplicar este principio a entornos basados en texto es difícil. Los estados latentes textuales son discretos y no diferenciables, lo que imposibilita el entrenamiento variacional estándar (por ejemplo, ELBO). Además, los decodificadores de LLM expresivos entrenados con tales objetivos suelen ignorar el cuello de botella, lo que conduce al colapso de la posterior. El artículo aborda el desafío de imponer la mediación estricta en el dominio textual para asegurar que la calidad de la representación sea empíricamente testeable y que el estado latente actúe como un estadístico suficiente de la historia.

Metodología

1. Estados Latentes Textuales

Los autores proponen representar los estados latentes como cadenas de texto discretas, interpretables y de longitud variable (específicamente listas de predicados-argumentos en formato JSON) en lugar de vectores continuos. Este enfoque ofrece cuatro ventajas:

• Alineación: Coincide con el backbone del LLM, evitando conversiones de modalidad con pérdida de información.
• Cuello de botella adaptativo: La capacidad escala con el contenido en lugar de dimensiones fijas.
• Interpretabilidad: Los estados son directamente inspeccionables y pueden evaluarse frente a hechos de verdad fundamental (ground-truth).
• Correspondencia de modalidad: Las observaciones son texto semántico, por lo que los estados textuales preservan la integridad estructural.

2. Arquitectura del Modelo

El sistema utiliza un único modelo de lenguaje autorregresivo preentrenado con parámetros compartidos $\theta$ que opera en tres etapas distintas definidas por prompts:

1. Codificación: $\hat{s}_t \sim p_\theta(\cdot | h_t)$, generando un estado latente a partir de la historia $h_t$.
2. Transición (Dinámica): $\hat{s}_{t+1} \sim p_\theta(\cdot | \hat{s}_t, a_t)$, prediciendo el siguiente estado basándose únicamente en el estado latente actual y la acción.
3. Decodificación: $\hat{o}_{t+1} \sim p_\theta(\cdot | \hat{s}_{t+1}, a_t)$, generando la siguiente observación a partir del nuevo estado latente.

Crucialmente, una vez que se genera $\hat{s}_t$, las etapas de transición y decodificación no tienen acceso al historial original $h_t$. Esto impone la mediación estricta.

3. Entrenamiento mediante fGRPO (Factorized GRPO)

Dado que los estados textuales son no diferenciables, la optimización basada en gradientes a través del espacio latente es imposible. Los autores tratan cada etapa de generación como una política estocástica y optimizan utilizando Aprendizaje por Refuerzo (RL).

• Limitación del GRPO Estándar: El GRPO estándar (Group Relative Policy Optimization) opera sobre una continuación autorregresiva única, lo que permitiría al modelo acceder al historial a través del contexto compartido del prompt, violando la mediación estricta.
• Solución fGRPO: Los autores introducen el fGRPO (Factorized GRPO), una extensión con estructura de árbol. Para una historia dada, el modelo muestrea $A$ candidatos de estados latentes, luego $B$ candidatos de siguientes estados por cada codificación, y $C$ candidatos de observaciones por cada transición. Esto forma un árbol donde las recompensas se computan en las hojas (comparando las observaciones predichas con las de verdad fundamental) y se propagan hacia arriba. Esta estructura asegura que los pasos de transición y decodificación estén condicionados estrictamente a los estados latentes muestreados, no al historial original.

4. Diseño de la Recompensa

La señal de recompensa combina la precisión predictiva con la regularización estructural para fomentar estados compactos y suficientes:

• Precisión de la Observación ($R_{obs}$): Puntuación F1 a nivel de hechos entre los hechos extraídos de las observaciones predichas y las de verdad fundamental.
• Validez de Formato ($R_{fmt}$): Una verificación binaria que asegura que el estado latente es una estructura JSON válida.
• Recompensas Auxiliares:
  • Soporte ($R_{sup}$): Fomenta la consistencia entre la observación predicha y los hechos del estado subyacente.
  • Desduplicación ($R_{dedup}$): Penaliza los hechos semánticamente redundantes.
  • Ablación ($R_{abl}$): Mide la fracción de hechos cuya eliminación degrada la predicción, fomentando la retención de solo la información necesaria.

Contribuciones Clave

1. Formalización de la Mediación Estricta: El artículo demuestra que, bajo mediación estricta, la precisión predictiva óptima implica que el estado latente es un estadístico suficiente de la historia (Proposición 1). Por el contrario, en arquitecturas "con fugas" (leaky) donde se permite el bypass del historial, se puede alcanzar una precisión óptima con un estado latente no informativo (Proposición 2).
2. Garantías Teóricas sobre el Rollout: La mediación estricta alinea estructuralmente las condiciones de entrenamiento e inferencia. Los autores muestran que esto evita el crecimiento del error geométrico observado en los rollouts basados en el historial o con fugas, permitiendo una propagación de error acotada bajo supuestos de contracción (Proposición 3).
3. Algoritmo fGRPO: La introducción de fGRPO, que permite entrenar estados latentes textuales discretos y no diferenciables bajo restricciones de mediación estricta sin objetivos variacionales.
4. Validación Empírica: Los experimentos en TextWorld y ScienceWorld demuestran que la mediación estricta produce representaciones que son tanto predictivas como identificables.

Resultados Experimentales

Los autores evaluaron su enfoque contra tres líneas base:

• Sin Estado (Stateless): Predice directamente desde el historial (límite superior de precisión, sin representación explícita).
• Estado con Fuga (LeakyState): Utiliza un estado latente textual pero permite el bypass del historial durante la predicción.
• Estado Estricto con Embeddings (StrictState-Emb): Utiliza mediación estricta pero con embeddings continuos (entrenamiento variacional).

Hallazgos Clave:

• Precisión Predictiva: StrictState-Text iguala la precisión de predicción de un paso (obs.F1) de las líneas base LeakyState y Stateless, confirmando que la mediación estricta no sacrifica el rendimiento.
• Calidad de la Representación: Con una precisión predictiva igualada, StrictState-Text logra una mejora de F1 a nivel de estado significativamente mayor (hasta un 57% en ScienceWorld y un 30% en TextWorld para tareas complejas) en comparación con LeakyState. Esto confirma que los modelos con fugas aprenden estados no informativos que dependen del bypass del historial.
• Estabilidad del Rollout: La mediación estricta mejora significativamente el rendimiento del rollout de múltiples pasos. Las ganancias en el F1 a nivel de estado aumentan con el horizonte de predicción, alcanzando mejoras del 98% en el horizonte 9 en TextWorld. Esto valida la afirmación teórica de que la mediación estricta mitiga la propagación del error acumulado.
• Ablación: Eliminar las recompensas auxiliares (desduplicación, ablación, soporte) degrada el rendimiento de largo horizonte, indicando que estos componentes son críticos para aprender estados compactos y suficientes.

Significado y Reivindicaciones

El artículo sostiene que la mediación estricta del estado latente es una condición necesaria para hacer que la calidad de la representación sea empíricamente testeable en los modelos de mundo. Sin ella, la precisión predictiva es un mal indicador de la calidad de la representación porque el modelo puede "hacer trampa" accediendo directamente al historial.

Al implementar con éxito la mediación estricta en el dominio textual mediante fGRPO, los autores demuestran que:

1. La identificabilidad es alcanzable: Es posible aprender estados latentes discretos e interpretables donde la calidad de la representación es directamente diagnosticable a partir del rendimiento predictivo.
2. Los estados textuales son efectivos: Los estados textuales de longitud variable proporcionan un cuello de botella más flexible e interpretable que los embeddings de dimensión fija para hechos compositivos y discretos.
3. La estabilidad mejora: La mediación estricta alinea el entrenamiento y la inferencia, evitando la acumulación de errores que afecta a los rollouts de largo horizonte en arquitecturas con fugas o sin estado.

Los autores señalan que su evaluación se centra en la calidad de la representación más que en el control o la planificación descendente, y que los experimentos están limitados a entornos sintéticos e instrumentados (TextWorld y ScienceWorld). Reconocen limitaciones estructurales, como la carga de la compresión recayendo enteramente en un codificador de un solo paso y la dependencia de la extracción de hechos estructurados para las recompensas auxiliares. Sin embargo, el trabajo establece una base metodológica para construir modelos de mundo fiables e interpretables en entornos basados en texto.