On Sample-Efficient Generalized Planning via Learned Transition Models

Este trabajo propone un enfoque de planificación generalizada que aprende modelos de transición explícitos mediante redes neuronales para predecir estados intermedios, logrando una mayor generalización fuera de distribución y una mayor eficiencia en el uso de muestras en comparación con los métodos actuales basados en Transformers que predicen secuencias de acciones directamente.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una historia sobre cómo enseñar a un robot a resolver rompecabezas, pero con un giro muy interesante.

El Problema: El Robot que "Adivina" en Vano

Imagina que tienes un robot muy inteligente, tipo un genio de la programación, al que le enseñas a resolver un juego de bloques (como el Tower of Bloks).

• El enfoque antiguo (Los "Adivinos"): Los métodos más recientes (llamados PlanGPT o Plansformer) funcionan como si el robot estuviera adivinando la siguiente jugada basándose en lo que hizo antes. Es como si un jugador de ajedrez intentara ganar sin mirar el tablero, solo recordando "si moví la torre a la izquierda, la próxima vez muevo el caballo".
  • El fallo: Si el tablero es un poco más grande de lo que vio antes, el robot se pierde. Empieza a alucinar, a inventar jugadas que no tienen sentido y a "desviarse" del camino real. Además, necesita leer millones de libros (datos) y tener un cerebro gigante (mucha memoria) para aprender.

La Solución: El Robot que "Entiende" las Reglas del Juego

Los autores de este paper dicen: "¡Espera! En lugar de enseñarle al robot a adivinar la siguiente jugada, enseñémosle a entender cómo cambia el mundo".

Imagina que en lugar de darle una lista de movimientos, le das un manual de física del juego.

1. El Nuevo Enfoque (Centrado en el Estado): El robot no piensa "¿Qué hago ahora?". Piensa: "Si hago esto, ¿cómo cambiará el tablero?".
2. El Modelo de Transición: El robot aprende una fórmula mágica: "Estado Actual + Acción = Nuevo Estado".
   • Analogía: Es la diferencia entre memorizar una receta de memoria (antiguo) y entender que "si añades levadura a la masa, esta subirá" (nuevo). Si entiendes la levadura, puedes hacer un pastel gigante o uno pequeño sin necesidad de memorizar cada receta específica.

El Truco Mágico: El "Mapa Universal" (WL Embeddings)

Aquí viene la parte más creativa. El mayor problema de los robots es que si les das un juego con 4 bloques, aprenden bien, pero si les das uno con 100 bloques, se vuelven locos porque el "mapa" es demasiado grande.

Los autores usan una técnica llamada Weisfeiler-Leman (WL).

• La Analogía del Traductor: Imagina que el robot ve el mundo como un mapa de conexiones (un gráfico). En lugar de contar "hay 100 bloques", el robot usa un traductor que convierte cualquier tamaño de juego en un código de colores fijo.
  • Si el juego es pequeño, el traductor dice: "Es un mapa rojo".
  • Si el juego es enorme, el traductor sigue diciendo: "Es un mapa rojo".
  • Gracias a esto, el robot no necesita aprender un mapa nuevo para cada tamaño; solo necesita entender el "idioma" de los colores. Esto le permite resolver problemas gigantes con un cerebro muy pequeño.

El Proceso: ¿Cómo funciona en la vida real?

El sistema funciona como un equipo de dos personas:

1. El Artista (La Red Neuronal): Es un modelo pequeño y rápido que predice: "Creo que si mueves el bloque A, el estado futuro se parecerá a este dibujo".
2. El Inspector (El Verificador Simbólico): Es un policía estricto. Mira el dibujo del Artista y dice: "Espera, en las reglas del juego, el bloque A no puede ir ahí. Pero... ¡ah! Si mueves el bloque B, sí encaja con tu dibujo".
   • El Inspector corrige al Artista en tiempo real, asegurando que cada movimiento sea legal y no inventado.

¿Qué descubrieron? (Los Resultados)

• Menos es Más: Sus modelos son cientos de veces más pequeños que los gigantes de Inteligencia Artificial actuales (como los que usan las grandes empresas).
• Aprenden Rápido: Necesitan muchos menos ejemplos para aprender. Mientras otros necesitan leer millones de libros, ellos aprenden con unos pocos cientos.
• Generalización Real: Cuando les dieron problemas mucho más grandes de los que vieron en el entrenamiento (por ejemplo, pasar de 4 bloques a 17), sus modelos funcionaron increíblemente bien, mientras que los otros modelos se rindieron o fallaron estrepitosamente.
• La Excepción: Funcionaron genial en juegos de bloques y navegación, pero tuvieron problemas en un dominio de "logística" (camiones y aviones) porque ese mundo es demasiado complejo y tiene dependencias muy profundas que un solo paso de predicción no puede capturar.

En Resumen

Este paper nos dice que, para que la Inteligencia Artificial sea realmente inteligente y eficiente, no necesitamos simplemente hacerla más grande y más "adivina". Necesitamos enseñarle a entender las reglas de cómo cambia el mundo y darle herramientas para ver patrones universales, sin importar cuán grande sea el problema.

Es como enseñar a un niño a andar en bicicleta: no le das una lista de 1000 instrucciones para cada tipo de calle; le enseñas el equilibrio (la física del movimiento) y él podrá andar en cualquier calle, grande o pequeña.

Resumen técnico

Resumen Técnico: Planificación Generalizada Eficiente en Muestras

1. El Problema

La Planificación Generalizada (GP) busca construir estrategias de solución que funcionen para familias enteras de problemas de planificación que comparten un mismo modelo de dominio, definido formalmente por una función de transición $\gamma: S \times A \rightarrow S$.

• Limitaciones de los enfoques actuales: Los métodos recientes basados en Transformers (como PlanGPT y Plansformer) abordan la GP como un problema de predicción directa de secuencias de acciones ($p(\pi | \Pi)$).
  • Desventajas: Estos modelos requieren conjuntos de datos masivos y arquitecturas grandes (cientos de millones de parámetros).
  • Fallo crítico: Al no modelar explícitamente la evolución del estado del mundo, sufren de "deriva de estado" (state drift) en horizontes largos y en escenarios fuera de la distribución (OOD), especialmente cuando el número de objetos cambia respecto a los datos de entrenamiento.
• Desafío central: Lograr invarianza de tamaño (generalizar de instancias pequeñas a grandes) y eficiencia en muestras (aprender con pocos datos) sin depender de arquitecturas masivas.

2. Metodología Propuesta

Los autores reformulan la planificación generalizada como un problema de aprendizaje de modelos de transición en lugar de predicción de acciones.

• Enfoque Centrado en el Estado (State-Centric):

  • En lugar de predecir la siguiente acción $a_t$, el modelo aprende una función de transición neuronal $T_\theta$ que predice el estado sucesor $\hat{s}_{t+1}$ dado el estado actual $s_t$ y el objetivo $g$.
  • Fórmula: $\hat{s}_{t+1} \approx \gamma(s_t, a)$.
  • Decodificación Neuro-Simbólica:
    1. El modelo neuronal predice un vector de embedding del estado futuro $\hat{\phi}(s_{t+1})$.
    2. Se realiza una búsqueda simbólica local sobre los operadores aplicables para encontrar el estado simbólico real $s'_{t+1}$ cuyo embedding sea el más cercano a la predicción neuronal.
    3. La acción ejecutada es aquella que, aplicada simbólicamente, genera ese estado $s'_{t+1}$.
    • Ventaja: Esto garantiza la validez simbólica en cada paso y corrige errores de predicción neuronal en tiempo real.

• Representaciones de Estado Invariantes:

  • Para manejar la variabilidad en el número de objetos, se comparan dos representaciones:
    1. Codificaciones Factored de Tamaño Fijo (FSF): Asignan "ranuras" fijas a objetos. Fallan en generalización OOD si el número de objetos excede el máximo de entrenamiento.
    2. Embeddings de Grafos Weisfeiler-Leman (WL): Utilizan kernels de grafos para mapear estados relacionales de tamaño variable a vectores de dimensión fija. Son invariantes a permutaciones y al tamaño del conjunto de objetos.

• Modelado de Transición Residual (Delta):

  • Dado que la mayoría de los predicados en dominios STRIPS no cambian en un paso (axiomas de marco), el modelo no predice el estado completo, sino la diferencia (delta) $\Delta_t = \phi(s_{t+1}) - \phi(s_t)$.
  • Esto reduce la varianza de la regresión y mejora la eficiencia de las muestras.

• Arquitecturas Evaluadas:

  • LSTM (Paramétrica): Para capturar dependencias temporales.
  • XGBoost (No paramétrica): Para aproximar el kernel de transición localmente sin memoria secuencial.

3. Contribuciones Clave

1. Formulación de GP basada en modelos de transición: Un nuevo marco que predice estados sucesores condicionados al objetivo, integrando aprendizaje neuronal con validación simbólica.
2. Evaluación sistemática de representaciones: Demostración empírica de que las representaciones relacionales invariantes (WL) son esenciales para la generalización más allá de los límites de objetos de entrenamiento.
3. Eficiencia sin precedentes: Demostración de que modelos compactos (aprox. 1 millón de parámetros o menos) pueden igualar o superar a modelos Transformer masivos (25M - 220M parámetros) en tareas de extrapolación, utilizando órdenes de magnitud menos datos y sin aumento de datos (data augmentation).

4. Resultados Experimentales

Los experimentos se realizaron en 4 dominios de IPC: Blocksworld, Gripper, Logistics y VisitAll.

• Generalización Extrapolativa (OOD):
  • Los modelos basados en acciones (PlanGPT, Plansformer, SymT) obtuvieron un éxito de 0.00 en la mayoría de las pruebas de extrapolación estricta (instancias más grandes que las de entrenamiento).
  • Los modelos centrados en el estado con embeddings WL lograron tasas de éxito significativas:
    • Blocksworld: 45% (vs 13% de SymT).
    • VisitAll: 87% (vs 64% de SymT).
    • Gripper: 25% (SymT fue superior aquí, 79%, sugiriendo que la memoria secuencial es crucial en ciertos dominios).
• Eficiencia de Muestras y Parámetros:
  • Los modelos propuestos (LSTM/XGBoost) se entrenaron en conjuntos de datos pequeños (ej. 9 instancias en Blocksworld) sin aumento de datos.
  • Lograron un rendimiento competitivo con ~1M de parámetros (LSTM) o ~115k nodos (XGBoost), frente a los ~25M-220M de los baselines Transformer.
• Limitaciones:
  • En el dominio Logistics, todos los modelos aprendidos (incluidos los centrados en estado) fallaron en la extrapolación estricta (0.00). Esto se debe a la acoplamiento causal jerárquico profundo y las dependencias de largo alcance en este dominio, donde la predicción de un solo paso es insuficiente.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo demuestra que aprender la "física" del dominio (dinámicas de transición) proporciona un sesgo inductivo más fuerte para la generalización que simplemente escalar arquitecturas o aumentar los datos.
• Robustez: La interfaz neuro-simbólica elimina la deriva de estado, asegurando que los planes generados sean siempre válidos bajo la lógica del dominio.
• Viabilidad: Sugiere que para la planificación generalizada, no se necesitan modelos de lenguaje masivos si se utilizan representaciones estructurales adecuadas (como WL) y se modelan explícitamente las transiciones.
• Futuro: Abre la puerta a abordar dominios con dependencias jerárquicas complejas mediante transiciones abstractas o multi-paso, manteniendo la eficiencia en muestras.

En resumen, el artículo propone que la predicción de estados combinada con representaciones invariantes de tamaño es una vía más eficiente y robusta para la planificación generalizada que la predicción directa de acciones mediante grandes modelos de lenguaje.