Resumen Técnico: Moldeado de Recompensas y Enmascaramiento de Acciones para Tareas Composicionales utilizando Árboles de Comportamiento y LLMs

1. Declaración del Problema

Los agentes autónomos a menudo enfrentan tareas complejas que requieren descomponer un objetivo de alto nivel en una secuencia de subtareas más simples, como navegar hacia un objeto, manipularlo y proceder hacia una meta. Aunque el Aprendizaje por Refuerzo (RL) puede optimizar políticas para estas subtareas, sufre de baja eficiencia en el uso de muestras sin funciones de recompensa y máscaras de acción bien definidas. Diseñar manualmente estos componentes es un desafío porque requiere:

1. Identificar subtareas apropiadas.
2. Asegurar la reactividad ante fallos en las subtareas (por ejemplo, si un agente deja caer una llave, debe retroceder para recogerla nuevamente en lugar de proceder).
3. Mantener la modularidad a través de objetos de tarea variables (por ejemplo, la misma lógica debe aplicarse tanto si el objeto es una "llave roja" como una "llave azul").

Los enfoques automatizados existentes que utilizan Modelos de Lenguaje Grande (LLMs) o Modelos Visión-Lenguaje (VLMs) a menudo generan código de recompensa o máquinas de estado finito, pero no abordan completamente la reactividad ante fallos, la modularidad para tareas composicionales, ni la optimización conjunta de la recompensa y el enmascaramiento de acciones.

2. Metodología

Los autores proponen Árboles de Comportamiento de Recompensa Enmascarada (MRBTs), una estructura simbólica que sirve tanto como función de moldeado de recompensas como función de enmascaramiento de acciones. La metodología integra tres componentes principales: una plantilla de árbol de comportamiento, especificaciones lógicas para verificación y una tubería automatizada que utiliza un LLM y un solver SMT.

2.1. Árbol de Comportamiento de Recompensa Enmascarada (MRBT)

Un MRBT es un Árbol de Comportamiento (BT) donde los nodos hoja son Máquinas de Recompensa de Comportamiento Enmascarado (MBRMs).

• Estructura: El BT coordina la ejecución mediante nodos de control (Secuencia → y Retroceso ?).
• Hojas: Cada hoja es una MBRM que genera una recompensa escalar y una máscara de acción discreta basadas en el estado y la tarea del agente.
• Reactividad: La estructura del BT permite el retroceso. Si una subtarea falla (por ejemplo, una interacción falla), el BT revierte a un estado anterior, asegurando que el agente reintente el paso necesario en lugar de recibir una recompensa por una secuencia incompleta.
• Modularidad: El MRBT utiliza marcadores de posición para subtareas y fórmulas lógicas, lo que le permite adaptarse a diferentes atributos de objetos (por ejemplo, colores) dentro de un espacio de tareas definido.

2.2. Plantilla MRBT

Los autores diseñan una plantilla específica para tareas secuenciales de interacción con objetos. Para una secuencia de $k$ subtareas, la plantilla incluye:

• Fórmulas Lógicas: Para cada subtarea $i$, define una fórmula de finalización ($\psi_i$) y una fórmula de proximidad al objeto ($\phi_i$).
• Máscaras de Acción: Dos máscaras por subtarea: $\eta_{i,1}$ para navegación y $\eta_{i,2}$ para interacción.
• Lógica de Ejecución: El BT ejecuta una secuencia de MBRMs. Si una subtarea está completa, avanza a la siguiente; si el agente está cerca del objeto, habilita la interacción; de lo contrario, habilita la navegación. Si una subtarea falla (el estado transiciona a Fallo), el BT retrocede.

2.3. Tubería Automatizada de Generación y Verificación

Para automatizar la creación de MRBTs, los autores desarrollaron una tubería (Figura 1) que involucra:

1. Generación por LLM: Un LLM (ChatGPT-5) toma como entrada una descripción de la tarea, la plantilla MRBT y los predicados del entorno. Genera las subtareas específicas, las fórmulas lógicas ($\psi_i, \phi_i$) y las máscaras de acción ($\eta_{i,1}, \eta_{i,2}$).
2. Verificación SMT: Se construye un modelo simbólico de la dinámica del entorno ($E_{sym}$) en un solver SMT (Z3). El solver verifica las fórmulas lógicas generadas contra tres especificaciones:
   • Correctitud de Finalización: Asegura que si la tarea final está completa, todas las subtareas fueron completadas.
   • Proximidad al Objeto: Asegura que el agente esté cerca del objeto inmediatamente antes de la finalización de la subtarea.
   • Recompensa Máxima No Regresiva: Asegura que una vez completada una subtarea, esta permanezca completada (sin regresión) para lograr la recompensa máxima.
3. Refinamiento: Si el solver SMT encuentra un contraejemplo (por ejemplo, una trayectoria donde el agente completa la tarea sin satisfacer una condición de subtarea), genera un prompt de depuración. El LLM se vuelve a solicitar con este contraejemplo para refinar las fórmulas lógicas hasta que sean satisfacibles.
4. Entrenamiento de RL Neurosimbólico: El MRBT verificado se integra en un bucle de RL neurosimbólico (usando PPO) para entrenar al agente. El MRBT proporciona la señal de recompensa y restringe el espacio de acciones en cada paso.

3. Contribuciones Clave

1. Marco MRBT: Introducción de una estructura simbólica que genera conjuntamente recompensas y máscaras de acción, diseñada específicamente para la reactividad y la modularidad en tareas composicionales.
2. Plantilla y Especificaciones MRBT: Una plantilla sistemática para construir MRBTs para tareas secuenciales de interacción con objetos, acompañada de especificaciones lógicas para verificar la corrección (finalización, proximidad y no regresión) utilizando un solver SMT.
3. Tubería Automatizada: Un sistema que utiliza un LLM para generar MRBTs y un solver SMT para verificarlos y refinarlos, asegurando robustez en un espacio de tareas con objetos variables.
4. Evaluación Exhaustiva: Experimentos en cinco espacios de tareas en dos entornos (MiniGrid y MuJoCo Fetch) bajo dinámicas tanto deterministas como estocásticas.
5. Análisis de Ventajas: Demostración de la transferibilidad de los MRBTs (a AirSim), modularidad (escalan mejor que las Máquinas de Recompensa Jerárquicas) y verificabilidad (garantías teóricas mediante Z3).

4. Resultados Experimentales

Los autores evaluaron el enfoque MRBT contra dos líneas base:

• Tarea: Una recompensa binaria otorgada solo al completar totalmente la tarea.
• Procedimiento: Una máquina de recompensas basada en VLM-CaR que otorga recompensas por la finalización de subtareas pero carece de retroceso reactivo y enmascaramiento de acciones.
• RBT (Ablación): Un MRBT sin enmascaramiento de acciones.

Hallazgos Clave:

• Eficiencia de Entrenamiento y Éxito: Los MRBTs lograron consistentemente una mayor eficiencia de entrenamiento y tasas de éxito en la tarea en comparación con las líneas base y la ablación RBT.
• Manejo de Complejidad: En el espacio de tareas más complejo (LockedRoom, 4 subtareas, 36 variantes), los MRBTs lograron una tasa de éxito promedio de $\ge 80\%$, mientras que las líneas base lograron $\le 70\%$.
• Estocasticidad: Los MRBTs mantuvieron un alto rendimiento en entornos estocásticos (por ejemplo, llaves que caen aleatoriamente), demostrando el valor del retroceso reactivo.
• Transferibilidad: Las políticas entrenadas con MRBTs en MiniGrid se transfirieron exitosamente a un simulador realista de cuadricóptero (AirSim), logrando una tasa de éxito del 97% en configuraciones deterministas y del 94% en configuraciones estocásticas, superando a todas las ablaciones.
• Modularidad: La estructura MRBT escala de manera más modular que las Máquinas de Recompensa Jerárquicas (HRMs); agregar una subtarea a un MRBT requiere almacenamiento $O(1)$, mientras que las HRMs requieren almacenamiento $O(k)$ para las aristas de retroceso.
• Verificación: El solver SMT refinó con éxito las fórmulas lógicas generadas (por ejemplo, corrigiendo umbrales de proximidad o condiciones de persistencia) en menos de 10 minutos para la mayoría de las tareas.

5. Significado y Afirmaciones

El artículo afirma que los MRBTs ofrecen una solución robusta para automatizar el moldeado de recompensas y el enmascaramiento de acciones en tareas composicionales. El significado radica en tres ventajas principales:

1. Transferibilidad: La naturaleza simbólica de los MRBTs permite que las políticas entrenadas en simulación se transfieran eficazmente a simuladores realistas (AirSim) y a objetos de tarea variables.
2. Modularidad: A diferencia de las máquinas de estado finito o las máquinas de recompensa, la estructura de árbol de los MRBTs permite una escalabilidad y modificación más fáciles a medida que aumenta la complejidad de la tarea.
3. Verificabilidad: Al integrar solvers SMT, el enfoque proporciona garantías teóricas de que la lógica de recompensa y máscara de acción es correcta con respecto a las especificaciones de la tarea, una característica ausente en enfoques puramente basados en datos o demostraciones.

Los autores concluyen que, aunque el enfoque requiere un solver SMT para la verificación, los MRBTs resultantes mejoran significativamente la eficiencia de aprendizaje y el éxito en la tarea, particularmente en entornos complejos y de múltiples pasos donde la reactividad ante fallos es crítica. Se señala que el trabajo futuro explorará generalizar aún más la plantilla MRBT.