Resumen Técnico: Optimización de Políticas Guiada por Trazas (TGPO) para la Planificación de Tareas Robóticas

1. Formulación del Problema

El artículo aborda el desafío de la planificación de tareas robóticas de largo horizonte en entornos del mundo real. La dificultad central radica en mapear instrucciones de lenguaje natural abstractas y subespecificadas en secuencias de acciones ejecutables que satisfagan restricciones complejas a lo largo de horizontes temporales extendidos.

Los enfoques actuales enfrentan una dicotomía:

• Modelos de Lenguaje de Gran Escala (LLMs): Poseen un fuerte razonamiento de sentido común, pero a menudo fallan al generar planes fiables y factibles debido a la falta de un modelado explícito de restricciones, la acumulación de errores en la generación autorregresiva y un débil anclaje al estado del entorno.
• Planificadores Simbólicos: Garantizan la factibilidad y la optimidad, pero requieren objetivos simbólicos bien especificados (por ejemplo, en el lenguaje PDDL - Planning Domain Definition Language) y no pueden interpretar directamente la intención humana de alto nivel.

Los autores formulan el problema como aprender a generar subobjetivos verificables. En lugar de generar un único objetivo holístico o una secuencia directa de acciones, el sistema aprende una política $\pi_\theta$ que descompone una instrucción $q$ y un estado del entorno $S$ en una secuencia de subobjetivos PDDL intermedios $G = \{g_k\}$. Estos subobjetivos son luego resueltos por un planificador simbólico clásico para producir el plan de acción final. El objetivo de aprendizaje es maximizar una función de recompensa basada en la factibilidad (subobjetivos resolubles) y la completitud de la tarea (satisfacer la instrucción).

2. Metodología: Optimización de Políticas Guiada por Trazas (TGPO)

Para abordar los desafíos de las recompensas dispersas, ruidosas y retardadas inherentes a este problema de aprendizaje, los autores proponen la Optimización de Políticas Guiada por Trazas (TGPO). Este es un marco de aprendizaje por refuerzo (RL) construido sobre la Optimización de Políticas de Grupo Relativa (GRPO), pero mejorado con señales de aprendizaje estructuradas derivadas de trazas de razonamiento intermedias.

TGPO opera a través de un mecanismo de tres componentes:

A. Recompensas Ancladas al Verificador

El sistema utiliza un verificador para proporcionar supervisión a nivel de resultado. La recompensa $R(T, G)$ es el producto de:

1. Factibilidad ($R_{feas}$): Una verificación binaria de si todos los subobjetivos generados son resolubles por el planificador PDDL.
2. Completitud de la Tarea ($R_{comp}$): Una puntuación (de 0 a 1) que evalúa si el plan compuesto satisface la intención del usuario, a menudo evaluada mediante un protocolo de "LLM como juez" o metas del simulador.

B. Refinamiento Guiado por Trazas

Reconociendo que las recompensas escalares son insuficientes para la asignación de crédito en tareas de largo horizonte, TGPO introduce un modelo auxiliar para corregir el razonamiento intermedio.

1. Ejecuciones Libres (Free Rollouts): La política genera $N$ trayectorias candidatas (trazas de descomposición $T$ y subobjetivos $G$).
2. Corrección de Trazas: Se identifican las trayectorias con bajas recompensas (por debajo de un umbral $\tau$). Un modelo auxiliar (el "Mejorador de Trazas") revisa la traza de descomposición $T$ para corregir errores como subtareas faltantes, orden temporal incorrecto o anclaje incompleto, produciendo una traza corregida $\tilde{T}$.
3. Ejecuciones Restringidas (Constrained Rollouts): La política realiza una segunda ejecución condicionada en la traza corregida $\tilde{T}$ para generar los subobjetivos correspondientes $\tilde{G}$. Esto se implementa mediante un muestreo restringido a nivel de token, forzando los tokens de la traza mientras se generan los subobjetivos de forma autorregresiva.

C. Optimización de Política Restringida

El proceso de optimización combina las ejecuciones libres originales y las ejecuciones corregidas por trazas en un grupo aumentado. La política se actualiza utilizando un objetivo recortado (clipped objective) similar a GRPO, pero el cálculo del gradiente incluye tanto las trayectorias originales como las corregidas. Esto permite que la política aprenda de las correcciones externas, transformando efectivamente las recompensas dispersas en señales de supervisión densas y estructuradas.

3. Configuración Experimental y Benchmarks

El marco fue instanciado para la manipulación móvil en entornos domésticos a gran escala.

• Generación de Datos: Se construyó un conjunto de datos a gran escala utilizando el Conjunto de Escenas Sintéticas Habitat (HSSD). Las tareas se sintetizaron utilizando LLMs condicionados en diversos perfiles de usuario y grafos de escena, que van desde comandos explícitos hasta descripciones de intención abstractas.
• Benchmarks: La evaluación se realizó en cuatro benchmarks:
  1. Tareas Sintéticas Intra-distribución: Categorizadas como Fáciles, Complejas (largo horizonte, pesadas en restricciones) y Abstractas (intención implícita).
  2. Tareas Humanas: 50 instrucciones del mundo real recolectadas a través de una interfaz web.
  3. PARTNR: Un benchmark público para tareas multi-agente encarnadas (embodied).
  4. BEHAVIOR-1K: Un benchmark para la planificación de tareas domésticas y el aprendizaje de habilidades.
• Líneas Base (Baselines): Las comparaciones incluyeron planificadores basados en prompting (SayPlan, DELTA, LLM+P, NL2Plan, LLMs vanilla) y métodos basados en aprendizaje (SFT, GRPO, Reinforce++, y una variante de TGPO de extremo a extremo).

4. Resultados Clave

• Desempeño Superior: TGPO superó significativamente a todas las líneas base en todos los benchmarks. En tareas intra-distribución, las mejoras sobre la línea base de prompting más fuerte aumentaron con la complejidad de la tarea: 67% en tareas Fáciles, 131% en tareas Complejas y 213% en tareas Abstractas.
• Generalización: TGPO demostró una robusta generalización a entornos fuera de la distribución (PARTNR, BEHAVIOR-1K) y tareas de autoría humana, logrando tasas de éxito del 82.6% y 70.3% respectivamente, con ganancias sustanciales sobre las líneas base.
• Estudios de Ablación:
  • TGPO vs. SFT: La optimización por RL proporcionó un techo de rendimiento más alto que el ajuste fino supervisado (supervised fine-tuning) por sí solo, particularmente para tareas complejas y abstractas.
  • Corrección de Trazas: Eliminar el mecanismo de corrección de trazas (GRPO estándar) provocó una rápida degradación del rendimiento a medida que aumentaba la complejidad de la tarea, resaltando la necesidad de una guía estructurada para la asignación de crédito.
  • Subobjetivo vs. Extremo a Extremo: El enfoque basado en subobjetivos (TGPO) superó significativamente a la variante de extremo a extremo (TGPO E2E), confirmando que separar la formulación del problema (generación de subobjetivos) de la ejecución (resolución simbólica) reduce la carga de aprendizaje y mejora la factibilidad.
• Robustez: El sistema mantuvo altas tasas de éxito (62.3% en tareas abstractas) incluso bajo una dinámica estocástica (10% de probabilidad de fallo de acción) cuando se combinó con una búsqueda de árbol de Monte Carlo en línea (MCTS).
• Integración a Nivel de Sistema: En un pipeline robótico completo con ejecutores de bajo nivel, TGPO permitió la generalización composicional, resolviendo tareas recombinadas novedosas con una tasa de completitud de extremo a extremo del 26%, igualando el desempeño de las políticas neuronales holísticas en sus tareas de entrenamiento originales pero sin depender de demostraciones específicas.

5. Significación y Contribuciones

El artículo reclama tres contribuciones primarias:

1. Formulación de Subobjetivos Basada en Aprendizaje: Replantea la planificación de largo horizonte como el aprendizaje de una política para generar subobjetivos verificables, yendo más allá de la descomposición estática basada en prompting.
2. Optimización de Políticas Guiada por Trazas: Introduce TGPO, un algoritmo de RL que aprovecha la corrección de trazas externa para optimizar la generación estructurada bajo recompensas dispersas y ruidosas, resolviendo el problema de la asignación de crédito en los pasos de razonamiento intermedio.
3. Planificación de Largo Horizonte Escalable: Demuestra que la combinación de la generación de subobjetivos aprendida con planificadores simbólicos permite una planificación robusta en entornos complejos y de gran escala con instrucciones abstractas, superando significativamente a los métodos existentes.

Los autores señalan que, si bien el método es efectivo, actualmente depende de representaciones de escena estructuradas (grafos de escena) en lugar de entradas visuales puras y asume un dominio simbólico predefinido. Se sugiere que el trabajo futuro aborde el aprendizaje/adaptación de dominios y la integración de la incertidumbre de la percepción.