Resumen Técnico: IMWM (Modelos de Intuición complementan a los Modelos de Mundo para la Planificación Latente)

1. Planteamiento del Problema

El artículo aborda una limitación fundamental en el aprendizaje por refuerzo (RL) basado en modelos para el control a partir de píxeles brutos: la dependencia de un modelo de mundo (WM) latente aprendido y un planificador basado en muestras con presupuesto finito (por ejemplo, el Método de la Entropía Cruzada, CEM). Si bien mejorar la precisión del modelo de mundo es el enfoque estándar para potenciar el rendimiento de la planificación, los autores argumentan que este instinto es insuficiente.

El problema central identificado es que la búsqueda, no la predicción, puede ser la restricción vinculante. Incluso si un planificador posee un modelo de mundo "perfecto" (operacionalizado como un oráculo que utiliza la dinámica real del entorno para el despliegue o rollout), este aún puede fallar al alcanzar una meta si el presupuesto de búsqueda finito le impide proponer una secuencia de acciones exitosa dentro del vasto espacio de acciones. El artículo postula que el cuello de botella reside en el volumen de propuestas: la capacidad del planificador para aterrizar en candidatos que alcancen la meta, más que en la precisión del predictor hacia adelante (forward predictor).

2. Diagnóstico y Base Teórica

Antes de proponer una solución, los autores proporcionan evidencia tanto experimental como teórica de que la búsqueda es el punto de falla:

• Diagnóstico Experimental: Reemplazaron el predictor hacia adelante aprendido en un planificador latente estándar con un despliegue idealizado de las dinámicas reales del entorno (Dinámica Oráculo). A pesar de tener dinámicas perfectas, el planificador seguía fallando significativamente en tareas como OGBench-Cube y Two-Room. El análisis de los episodios fallidos reveló que, en la gran mayoría de los casos (por ejemplo, el 98.9% en Two-Room), la población del CEM contenía cero candidatos que alcanzaran la meta en cualquier paso de replanificación.
• Límite Teórico: Los autores demuestran (Teorema A.1) que, bajo un presupuesto finito de consultas de caja negra contra cualquier superficie de costo latente, la probabilidad de éxito está limitada por el volumen del espacio de acciones cubierto por las consultas. Este límite es independiente de cómo se entrenó el predictor, confirmando que un mejor predictor no puede superar un cuello de botella de búsqueda si la distribución de propuestas no cubre el espacio de éxito (success manifold).

3. Metodología: IMWM

Para abordar el cuello de botella de la búsqueda sin requerir un mejor modelo de mundo, los autores proponen IMWM (Modelo de Intuición + Modelo de Mundo). Este marco empareja un modelo de mundo latente congelado con un Modelo de Intuición separado, entrenado con demostraciones. El modelo de intuición actúa como una guía para reconocer acciones prometedoras, complementando en lugar de reemplazar al modelo de mundo.

3.1 El Modelo de Intuición

El modelo de intuición ($D_{\psi}^{inv}$) es un clasificador escalar contrastivo entrenado con ventanas de demostración utilizando un objetivo de tipo InfoNCE. Toma una tupla de (estado latente inicial, estado latente meta, bloque de acciones o action chunk) y devuelve una puntuación de compatibilidad.

• Condicionamiento Inverso: A diferencia del modelo de mundo (que predice $s_{t+1}$ dado $s_t, a_t$), el modelo de intuición califica acciones dado evidencia de inicio y meta.
• Espacio Latente Separado: Opera en un espacio latente distinto ($z_I$) desacoplado del espacio de predicción hacia adelante del modelo de mundo ($z_L$), evitando la acumulación de errores de despliegue.
• Entrenamiento: Se entrena para distinguir los bloques de acciones de las demostraciones de los ejemplos negativos dentro del mismo contexto de la tarea.

3.2 Tres Componentes de Colaboración Ligeros

El modelo de intuición interactúa con el planificador a través de tres mecanismos específicos:

1. Inicialización por Recuperación (Retrieval Initialization):

   • Antes de que la función de costo evalúe a los candidatos, el planificador recupera un bloque de acciones de un banco fijo de demostraciones.
   • La recuperación se basa en la similitud de coseno entre los latentes actuales (inicio, meta) y las claves de las demostraciones almacenadas en el codificador de la intuición en su espacio latente.
   • La distribución de propuestas del CEM se inicializa como una Gaussiana isotrópica centrada en este bloque de acciones recuperado, sesgando la búsqueda hacia regiones respaldadas por las demostraciones.

2. Costo Híbrido:

   • El planificador minimiza una función de costo compuesta $J$ que combina la puntuación de la intuición y el error de despliegue del modelo de mundo.
   • $J = \alpha_{inv} \cdot zS(-D_{\psi}^{inv}) + \beta_{eff} \cdot zS(\text{MSE}(\text{rollout}, \text{goal}))$.
   • Ambos términos se estandarizan mediante puntuación Z (z-scored) a través del conjunto de candidatos para manejar escalas inconmensurables. Los pesos $\alpha$ y $\beta$ determinan la dependencia de la intuición frente al modelo de mundo.

3. Puerta de Fiabilidad (Reliability Gate):

   • Dado que la intuición no es universalmente útil (por ejemplo, si el banco de demostraciones carece de ejemplos relevantes), una puerta decide por tarea/celda cuánto confiar en el modelo de intuición.
   • La puerta calcula dos diagnósticos a partir del bloque recuperado: un margen de puntuación ($r_{inv}$) contra bloques neutros y una autocorrelación de rezago 1 ($r_{lag}$).
   • Basándose en umbrales congelados, la puerta selecciona una de tres "recetas" preespecificadas:
     • Híbrido Confiable (Trusted Hybrid): Alta dependencia tanto de la intuición como del modelo de mundo.
     • Dominante de Intuición (Intuition-Dominant): Alta dependencia de la intuición, baja dependencia del modelo de mundo.
     • Respaldo Solo de Avance (Forward-Only Fallback): La intuición se desactiva; el planificador vuelve a la configuración estándar de solo modelo de mundo.
   • Crucialmente, esta selección es automática basada en diagnósticos, no ajustada manualmente por tarea.

4. Principales Contribuciones

1. Diagnóstico del Planificador Latente con CEM Finito: El artículo demuestra experimental y teóricamente que, incluso con un modelo de mundo de dinámica oráculo, los planificadores de presupuesto finito fallan debido a limitaciones de búsqueda (volumen de propuesta) en lugar de errores de predicción.
2. El Método IMWM: Una arquitectura novedosa que integra un modelo de intuición contrastivo con un modelo de mundo mediante Inicialización por Recuperación, Costo Híbrido y una Puerta de Fiabilidad.
3. Ganancias Empíricas: Mejoras significativas sobre las líneas base de solo modelo de mundo en cuatro tareas de alcance de metas basadas en píxeles sin necesidad de ajuste por tarea del algoritmo central.

5. Resultados Experimentales

El método fue evaluado en una cuadrícula de 48 celdas (4 tareas $\times$ 12 semillas) utilizando la plataforma stable-worldmodel. Las tareas fueron: Two-Room, Reacher, Push-T y OGBenc-Cube.

• Two-Room: IMWM logró una tasa de éxito del 99.2%, una mejora de +11.5 puntos porcentuales (pp) sobre la línea base (87.7%).
• OGBench-Cube: IMWM logró una tasa de éxito del 94.7%, una mejora masiva de +28.5 pp sobre la línea base (66.2%).
• Push-T: IMWM logró un 92.7%, una mejora de +2.8 pp (línea base 89.8%).
• Reacher: IMWM logró un 83.8%, un empate técnico con la línea base (83.2%, +0.7 pp). En este caso, la Puerta de Fiabilidad dirigió correctamente al "respaldo solo de avance", ya que la señal de intuición no era beneficiosa.

Estudios de Ablación:

• Inicialización por Recuperación: Activar solo la recuperación aumentó significativamente el rendimiento en tareas limitadas por la búsqueda (por ejemplo, OGBench-Cube del 66.2% al 88.3%) pero perjudicó el rendimiento en tareas donde el modelo de mundo ya era fuerte (Reacher), validando la necesidad de la puerta.
• Costo Híbrido: La configuración completa (ambos costos de intuición y modelo de mundo) superó el uso de cualquiera de los términos por separado.
• Puerta de Fiabilidad: Ninguna receta fija funcionó mejor en todas las tareas. La puerta adaptativa seleccionó con éxito la mejor receta para cada tarea automáticamente, igualando el rendimiento de un escenario de mejor caso ajustado a mano.

6. Significado y Reivindicaciones

El artículo sostiene que el principal cuello de botella en la planificación de modelos de mundo latentes es a menudo la estrategia de búsqueda, no la precisión predictiva del modelo. Al introducir un mecanismo de "intuición" derivado de demostraciones, IMWM concentra efectivamente el presupuesto de búsqueda en regiones prometedoras del espacio de acciones, superando las limitaciones de volumen de la muestra ciega.

Los autores enfatizan que:

• Las mejoras no se deben a un mejor modelo de mundo o al ajuste de hiperparámetros por tarea; la familia algorítmica y los artefactos entrenados son fijos; solo varía la selección de la receta de la puerta según los diagnósticos precomputados.
• El enfoque es complementario: el modelo de intuición no reemplaza al modelo de mundo, sino que lo guía.
• Limitaciones: La puerta de fiabilidad está diseñada a mano con umbrales fijos (aunque es interpretable), los resultados se limitan a una familia de tareas basadas en píxeles y el método requiere actualmente demostraciones exitosas para construir el banco de intuición. Los autores no reclaman transferencia al control de robots reales ni a otros benchmarks sin trabajo adicional.

En conclusión, IMWM demuestra que emparejar un modelo de mundo con un modelo de intuición basado en recuperación puede resolver el modo de "falla de búsqueda" en la planificación de modelos de mundo latentes, logrando un rendimiento de vanguardia en tareas específicas de alcance de metas donde la planificación de solo modelo de mundo tiene dificultades.