Resumen Técnico: Aprendizaje de Políticas Bivoltaje sobre Modelos Simbólicos del Mundo para la Planificación de Largo Alcance

Enunciado del Problema

El artículo aborda el desafío de construir agentes de IA encarnada capaces de resolver de manera fiable problemas de planificación de largo alcance en espacios de estado y acción continuos con números variables de objetos. Si bien el aprendizaje por imitación a partir de demostraciones ha demostrado ser efectivo para el control motor y la manipulación de bajo nivel (BN), tiene dificultades para generar planes de largo alcance eficientes. Por el contrario, los planificadores simbólicos de alto nivel (AN) son efectivos para el razonamiento de largo alcance, pero a menudo fallan al generalizar a entornos con modalidades sensoriales variables, observabilidad parcial y dinámicas de bajo nivel complejas.

Los autores formulan el problema como el aprendizaje de una política condicionada a la meta $\pi(all | s_{ll}, g_{hl})$ que elige acciones de bajo nivel ($a_{ll}$) para lograr metas de alto nivel ($g_{hl}$). Las entradas de aprendizaje consisten en:

1. Demostraciones BN: Trayectorias de estados y acciones emparejadas con metas AN.
2. Lenguaje de Abstracción ($D$): Una teoría del dominio que define predicados y esquemas de acción.
3. Función de Etiquetado ($L$): Una mapeo de observaciones BN a estados simbólicos AN.

El objetivo es aprender una política que generalice a estados y metas no vistos de manera cero-shot, manejando números arbitrarios de objetos y condiciones de mundo abierto.

Metodología

Los autores proponen BISON, un sistema que aprende políticas bivoltaje $(\pi_{hl}, \pi_{ll})$ combinando el aprendizaje por imitación neuronal con abstracción simbólica y generalización inductiva.

1. Arquitectura de Política Bivoltaje

El sistema descompone el problema en dos políticas distintas:

• Política de Alto Nivel (AN) ($\pi_{hl}$): Una política simbólica que opera sobre estados abstractos ($s_{hl}$) y metas ($g_{hl}$) para proponer acciones AN ($a_{hl}$).
• Política de Bajo Nivel (BN) ($\pi_{ll}$): Una política neuronal (Red Neuronal de Grafos) que toma el estado actual BN ($s_{ll}$), la acción AN propuesta ($a_{hl}$) y la meta ($g_{hl}$) para producir acciones continuas BN ($a_{ll}$).

Las políticas se componen de tal manera que $\pi(all | s_{ll}, g_{hl}) = \sum_{a_{hl}} \pi_{ll}(all | s_{ll}, a_{hl}, g_{hl}) \cdot \pi_{hl}(a_{hl} | L(s_{ll}), g_{hl})$.

2. Aprendizaje de la Política de Alto Nivel ($\pi_{hl}$)

La política AN se aprende a partir de demostraciones BN mediante un proceso de tres pasos (ilustrado en la Figura 2):

1. Construcción de Rastros AN: Se aplica la función de etiquetado $L$ a las demostraciones BN para extraer rastros AN abstractos (secuencias de estados y acciones AN).
2. Regresión de Metas: Los autores aplican regresión de metas (una técnica de reescritura de pre-imágenes) a estos rastros. Esto calcula las condiciones mínimas bajo las cuales una acción logra una meta. Al regredir las metas hacia atrás a través de los rastros de acción, el sistema extrae reglas fundamentales de condición-acción.
3. Generalización Inductiva: Las reglas fundamentales se elevan a lógica de primer orden reemplazando objetos específicos con variables. Esto resulta en un conjunto compacto de reglas de Condición $\mapsto$ Acción con valores de prioridad basados en la proximidad a la meta. Estas reglas son interpretables y pueden generalizarse a números arbitrarios de objetos.

La política AN resultante es un conjunto de reglas de primer orden. La ejecución implica encontrar la regla aplicable con el valor de prioridad más bajo (mayor prioridad) que satisfaga las condiciones del estado actual y la meta no lograda.

3. Aprendizaje de la Política de Bajo Nivel ($\pi_{ll}$)

La política BN se implementa como una Red Neuronal de Grafos (GNN) con menos de 33.000 parámetros.

• Codificación de Entrada: La GNN codifica el estado BN (estado del agente y estados de los objetos), el esquema de acción AN y los hechos de la meta AN.
• Arquitectura: Utiliza paso de mensajes entre nodos de objetos, nodos de acción y un nodo global para agregar información.
• Entrenamiento: La GNN se entrena mediante aprendizaje por imitación (clonación de comportamiento) en el conjunto de datos de tuplas $\langle s_{ll}, a_{hl}, g_{hl}, a_{ll} \rangle$ derivadas de las demostraciones, minimizando el Error Cuadrático Medio (MSE) entre las acciones predichas y las reales.

4. Garantías Teóricas

El artículo establece la Propiedad de Refinamiento Descendente No Determinista (NDRP), asegurando que cualquier solución al problema AN puede refinarse en una solución para el problema BN. Además, el Teorema 1 demuestra que bajo condiciones de independencia de metas acotada por C (donde los componentes de la meta pueden lograrse independientemente en cualquier orden con un tamaño de política acotado), la política AN aprendida generaliza a problemas con cantidades arbitrarias de objetos y horizontes.

Contribuciones Clave

1. Sistema BISON: Un enfoque para aprender políticas bivoltaje $(\pi_{hl}, \pi_{ll})$ a partir de demostraciones BN emparejadas con metas AN, utilizando una teoría del dominio y una función de etiquetado.
2. Aprendizaje Simbólico AN: La aplicación de regresión de metas y generalización inductiva para aprender políticas AN compactas y expresivas. Estas políticas se representan como reglas de condición-acción de primer orden, permitiendo la operación en entornos de mundo abierto y parcialmente observables, y la generalización a cantidades arbitrarias de objetos.
3. Aprendizaje BN Eficiente: La realización de políticas BN mediante una GNN compacta (menos de 33k parámetros) condicionada a acciones AN.
4. Validación Empírica: Experimentos extensos (21.600 episodios) en extensiones de los benchmarks MetaWorld que demuestran una eficiencia, generalización y capacidades de planificación de largo alcance superiores en comparación con modelos Visión-Lenguaje-Acción (VLA), métodos de extremo a extremo y líneas base de planificación simbólica.

Resultados Experimentales

Los autores evaluaron BISON contra 8 líneas base (incluyendo SmolVLA, PureNN, PddlNN y varias estrategias de replanificación) en 8 entornos con incertidumbre variable (exógena, endógena, incertidumbre de estado).

• Generalización: BISON generalizó con éxito a entornos con más objetos (hasta 10) y horizontes más largos que los vistos en el entrenamiento (3 objetos), superando a las líneas base GNN de extremo a extremo cuyo rendimiento se degradó significativamente más allá de 6 objetos.
• Robustez: BISON logró las tasas de éxito promedio más altas en la mayoría de los entornos, particularmente en escenarios complejos donde las líneas base de replanificación lucharon o fallaron.
• Eficiencia: BISON demostró una eficiencia superior en tiempo y memoria tanto en entrenamiento como en inferencia en comparación con métodos de extremo a extremo y de replanificación.
• Escalabilidad: Al ignorar la ejecución BN, las políticas AN simbólicas de BISON resolvieron problemas de planificación con 10.000 objetos en menos de un minuto, superando significativamente al planificador PDDL de vanguardia LAMA, que tuvo dificultades con unos pocos cientos de objetos.
• Rendimiento VLA: Los modelos VLA preentrenados (SmolVLA) no lograron resolver ninguna tarea en los benchmarks, destacando la dificultad de aplicarlos directamente a la manipulación de largo alcance y multi-objeto sin adaptaciones arquitectónicas específicas.

Significado y Afirmaciones

El artículo afirma que BISON ofrece una solución novedosa al desafío de larga data de la planificación de largo alcance al cerrar efectivamente la brecha entre el aprendizaje por imitación neuronal y el razonamiento simbólico.

• Planificación sin Búsqueda: A diferencia de los sistemas tradicionales de planificación bivoltaje que buscan planes AN sobre abstracciones simbólicas antes de refinarlos, BISON generaliza inductivamente las políticas AN directamente desde las demostraciones, eliminando la necesidad de búsqueda durante la ejecución.
• Capacidad de Mundo Abierto: La codificación de las políticas como reglas de condición-acción de primer orden facilita la planificación en entornos de mundo abierto y maneja la observabilidad parcial, abordando las limitaciones de los planificadores puramente simbólicos.
• Eficiencia y Escalabilidad: El enfoque produce políticas compactas que son computacionalmente eficientes y capaces de escalar a cantidades masivas de objetos, una capacidad que a menudo falta tanto en los enfoques puramente neuronales como en los puramente simbólicos.

Los autores reconocen limitaciones, señalando que el enfoque hereda la dependencia de la calidad de la abstracción AN (ya sea aprendida o dada) y no garantiza la optimalidad para las políticas BN. Sin embargo, afirman que el método proporciona un marco robusto para que los agentes encarnados resuelvan tareas complejas de largo alcance con cantidades variables de objetos.