Resumen Técnico: Aprendizaje Diferenciable de Esquemas de Acción Levantados para Planificación Clásica

Formulación del Problema

El artículo aborda el desafío de aprender esquemas de acción levantados para dominios de planificación clásica a partir de trazas observacionales. Específicamente, los autores se enfrentan a un escenario donde los estados se observan completamente (representados como átomos STRIPS instanciados) pero los argumentos de las acciones no se observan. La entrada consiste en tripletes $\langle s, a, s' \rangle$, donde $s$ y $s'$ son estados instanciados y $a$ es un nombre de acción completo, una acción STRIPS+ (con algunos argumentos observados) o solo un nombre de acción.

La dificultad central reside en el problema de isomorfismo difícil de inferir simultáneamente:

1. Argumentos de la Acción: Identificar qué objetos en el estado se vinculan a los parámetros de una acción.
2. Esquemas Levantados: Aprender las precondiciones y efectos (listas de adición/borrado) para cada esquema de acción en una forma levantada y simbólica.

Este problema se enmarca como una simplificación de la tarea más realista de aprender a partir de secuencias de imágenes y etiquetas de acciones, con el objetivo de resolver el paso de abstracción simbólica con una precisión casi perfecta para permitir su integración en sistemas neuro-simbólicos más grandes.

Metodología: Arquitectura DIAS

Los autores proponen DIAS (Inducción Diferenciable de Esquemas de Acción), una arquitectura neuronal que aprende esquemas de acción mediante descenso de gradiente. El enfoque opera en dos etapas principales, utilizando operaciones suaves y diferenciables para permitir un entrenamiento de extremo a extremo.

1. Selección de Objetos mediante Redes Neuronales de Grafos (GNN)

• Construcción del Grafo: El estado $s$ y la transición hacia $s'$ se codifican como un grafo dirigido $G$. Los nodos representan objetos y las aristas representan predicados (átomos) verdaderos en el estado o añadidos/borrados durante la transición.
• Incrustación: Una Red de Convolución Gráfica Relacional (R-GCN) procesa el grafo para generar vectores de incrustación de $d$ dimensiones (claves $K$) para cada objeto.
• Asignación de Ranuras: Para cada nombre de acción $a$, el modelo mantiene vectores de consulta $Q_a$ aprendibles que corresponden a un número fijo de "ranuras" (un límite superior de la aridad de la acción).
• Coincidencia Suave: Se calcula una matriz de correspondencia mediante atención de producto punto escalada entre las claves de los objetos y las consultas de acción. Luego, se aplica un algoritmo de Sinkhorn rectangular para producir una matriz de asignación suave $\tilde{S}_a$, mapeando probabilísticamente objetos a las ranuras de argumentos de la acción. Pesos de ranura aprendibles $w_a$ determinan la probabilidad de activación de cada ranura, permitiendo al modelo inferir la aridad de la acción.

2. Aprendizaje de Precondiciones y Efectos

• Parámetros Levantados: El modelo mantiene tensores de probabilidad aprendibles para cada átomo levantado $p(x_i, x_j)$ para determinar si es una precondición positiva/negativa, un efecto de adición o un efecto de borrado.
• Instanciación: La asignación suave $\tilde{S}_a$ proyecta estas probabilidades levantadas al espacio de la matriz de adyacencia instanciada, generando probabilidades para que átomos específicos sean precondiciones o efectos en el estado actual.
• Predicción del Estado:
  • Verificación de Precondiciones: El modelo calcula la probabilidad $p_{pre}$ de que todas las precondiciones se cumplan evaluando la conjunción de las probabilidades individuales de los átomos. Para evitar gradientes que se desvanezcan por la inicialización aleatoria, se utiliza una estrategia de programación de la media geométrica, transitando gradualmente hacia el producto real.
  • Aplicación de Efectos: El estado sucesor predicho $\hat{A}'$ se calcula aplicando las probabilidades de adición/borrado instanciadas a la matriz de adyacencia del estado actual $A$, escaladas por $p_{pre}$.

3. Función de Pérdida y Optimización

El objetivo de entrenamiento minimiza una pérdida compuesta:

• Pérdida Principal ($L_{adj}$): Entropía cruzada binaria entre el estado sucesor predicho $\hat{A}'$ y el estado sucesor real $A'$. Esto impulsa al modelo a seleccionar correctamente los argumentos y predecir los cambios de estado.
• Pérdida Auxiliar ($L_{aux}$): Fomenta efectos mínimos y precondiciones máximas. Esto evita que el modelo aprenda soluciones triviales (por ejemplo, asumir que todos los átomos son efectos o que no existen precondiciones) penalizando efectos inactivos y precondiciones inactivas.
• Proyección de Gradientes: Para asegurar que el objetivo principal de predicción de estado no se vea comprometido por los objetivos auxiliares, los autores emplean PCGrad (Cirugía de Gradientes). El gradiente auxiliar se proyecta sobre el hiperplano ortogonal al gradiente principal si entran en conflicto, asegurando que la optimización de $L_{main}$ tenga prioridad.

Resultados Clave

Los autores evaluaron DIAS en 13 dominios de planificación IPC estándar (por ejemplo, Bloques, Logística, Hanoi, Sokoban) utilizando tres variantes de observación: acciones STRIPS completas, acciones STRIPS+ y solo nombres de acciones.

• Recuperación Perfecta: En 8 de los 13 dominios, DIAS aprendió los esquemas de acción levantados de la verdad fundamental perfectamente en las 10 ejecuciones de entrenamiento para las tres variantes de observación.
• Robustez:
  • Ruido: El modelo demostró robustez ante ruido en las observaciones (átomos cambiados aleatoriamente) hasta 2 cambios por transición para la mayoría de los dominios. El rendimiento se degradó significativamente con 8 cambios.
  • Comparación con Métodos Simbólicos: Comparado con el algoritmo L1 (un enfoque basado en SAT), DIAS logró un rendimiento superior o comparable, particularmente en dominios donde L1 falló en recuperar precondiciones que involucraban variables no presentes en los efectos.
  • Análisis de Fallos: Los fallos se atribuyeron principalmente a:
    • Callejones sin salida: Dominios como Sokoban donde las caminatas aleatorias fallan al explorar regiones críticas del estado.
    • Estructura del espacio de estados: La estructura de triángulo de Sierpiński del dominio Hanoi limita la cobertura de las caminatas aleatorias.
    • Acciones redundantes: El dominio Satélite, donde acciones como take_image a menudo resultan en ningún cambio de estado, confundiendo el aprendizaje de efectos.
• Ablación MLP: Una ablación que reemplazó los efectos STRIPS con una Red Neuronal de Múltiples Capas (MLP) mostró que, aunque la arquitectura puede aprender dinámicas dependientes del estado, falla en producir esquemas simbólicos adecuados para la planificación clásica, destacando la necesidad de la formulación STRIPS levantada para la generalización.

Significado y Afirmaciones

El artículo afirma que DIAS representa un paso significativo hacia el aprendizaje de dominios de planificación a partir de observaciones crudas (como imágenes) resolviendo el problema intermedio de abstracción simbólica con alta fidelidad.

• Diferenciabilidad: La contribución principal es un componente diferenciable robusto que puede aprender esquemas de acción levantados sin requerir argumentos de acción explícitos, cerrando la brecha entre el procesamiento neuronal de observaciones y la planificación simbólica.
• Generalización: A diferencia de los modelos dinámicos basados en ranuras (por ejemplo, RIMs) que luchan con números variables de objetos, DIAS aprende representaciones levantadas que se generalizan a cantidades arbitrarias de objetos, una propiedad inherente a STRIPS pero difícil de aprender a partir de datos.
• Alcance Moderado: Los autores enmarcan explícitamente este trabajo como una simplificación del desafío más amplio de aprender a partir de imágenes. No afirman resolver directamente el problema de imagen-a-planificación, sino que argumentan que lograr un rendimiento "casi perfecto" en el paso de abstracción simbólica es un prerrequisito necesario y desafiante para tales sistemas.
• Limitaciones: El enfoque asume dominios STRIPS puros (sin efectos condicionales ni características numéricas) y se basa en la suposición de que los argumentos de la acción se vinculan inyectivamente a los objetos. El método también lucha con dominios donde el muestreo de caminata aleatoria proporciona una cobertura insuficiente del espacio de estados.