Resumen Técnico: SkillWrapper: Invención de Predicados Generativos para la Planificación de Tareas a Nivel de Robot

Declaración del Problema

Construir robots autónomos capaces de planificación de tareas de largo horizonte requiere cerrar la brecha entre el control sensorial/motor de bajo nivel y el razonamiento abstracto de alto nivel. Mientras que los humanos pueden razonar sobre tareas complejas (por ejemplo, cocinar) sin modelar el control a nivel de músculos, los robots suelen depender de modelos de nivel de tarea (precondiciones y efectos) especificados manualmente por expertos en el dominio. En entornos del mundo real, la adquisición de estos modelos es una tarea no trivial debido a las complejas restricciones entre habilidades e interdependencias de la implementación específica del entorno.

Los enfoques existentes para aprender estas abstracciones se enfrentan a una dicotomía:

1. Métodos bottom-up (de abajo hacia arriba): Ofrecen garantías teóricas (solidez y completitud) pero suelen depender de espacios de estados restringidos y estructurados (por ejemplo, el espacio de configuración) o tienen dificultades para escalar desde entradas de nivel de píxel sin modelos fundacionales.
2. Métodos impulsados por Modelos Fundacionales (FM): Aprovechan los FM para generar predicados con significado semántico a partir de entradas sensoriales brutas (un proceso denominado invención de predicados generativos). Sin embargo, estos métodos suelen depender de procedimientos heurísticos o ad-hoc, careciendo de garantías formales sobre qué propiedades deben satisfacer las abstracciones aprendidas o cómo asegurar que los modelos resultantes sean correctos para la planificación.

El desafío central abordado por este artículo es: ¿Cómo podemos aprender de forma autónoma representaciones simbólicas sólidas y completas de habilidades de "caja negra" de robots a partir de observaciones RGB brutas, utilizando modelos fundacionales, proporcionando al mismo tiempo garantías formales para la planificación de tareas?

Metodología: SkillWrapper

Los autores proponen SkillWrapper, un marco de aprendizaje activo que adquiere autónomamente modelos simbólicos sólidos y completos para habilidades de caja negra. El sistema opera en un dominio definido por un conjunto de habilidades centradas en objetos ($\Omega$) y aprende un modelo de transición abstracto $M = \langle P, A \rangle$, donde $P$ es un conjunto de predicados y $A$ es un conjunto de operadores.

El método itera a través de tres pasos principales:

1. Recolección Activa de Datos

En lugar de una exploración aleatoria, SkillWrapper selecciona activamente secuencias de instancias de habilidades para ejecutar. El sistema solicita a un Modelo Fundacional (FM) que genere secuencias de habilidades candidatas, las cuales son luego puntuadas basándose en dos ejes:

• Balance ($b$): Prioriza secuencias donde la relación entre ejecuciones exitosas y fallidas es cercana a un objetivo (por ejemplo, 0.5). Esto asegura la recolección de ejemplos tanto positivos como negativos, lo cual es crítico para el aprendizaje contrastivo.
• Cobertura ($c$): Prioriza secuencias que maximizan la entropía de los pares de habilidades consecutivas observadas. Esto asegura que el sistema observe diversas dependencias inter-habilidades.
  El sistema selecciona el subconjunto de secuencias Pareto-óptimo y las ejecuta, registrando las transiciones $\langle s, \omega, s' \rangle$ que capturan la ejecutabilidad y los resultados.

2. Invención de Predicados Generativos

SkillWrapper comienza con un conjunto de predicados vacío ($P = \emptyset$). Inventa nuevos predicados solo cuando el modelo actual falla al explicar las transiciones observadas. La invención es activada por dos condiciones formales:

• Condición 1 (Inconsistencia de Precondición): El modelo predice que una instancia de habilidad tendrá éxito, pero esta falla (o viceversa), y los predicados actuales no pueden distinguir el estado exitoso del estado fallido.
• Condición 2 (Inconsistencia de Efecto): El modelo no puede distinguir entre los efectos de una ejecución exitosa y una fallida de la misma habilidad (incluso considerando diferentes argumentos de objeto mediante una función de levantamiento o lifting).

Cuando se activa, el sistema solicita a un FM (específicamente un Modelo de Lenguaje-Visión) que genere un predicado candidato que distinga semánticamente los casos conflictivos. El candidato es evaluado verificando si mejora la capacidad del modelo para explicar el conjunto de datos (es decir, si permite la construcción de operadores que separen correctamente las transiciones exitosas y fallidas).

3. Aprendizaje de Operadores

Utilizando los datos acumulados y el conjunto actual de predicados, SkillWrapper aprende operadores (acciones con precondiciones y efectos).

• Clustering (Agrupamiento): Las transiciones se agrupan basándose en sus "cambios abstractos levantados" (diferencias en los estados abstractos).
• Derivación de Precondiciones: Para cada grupo, las precondiciones se derivan como la intersección de los estados iniciales abstractos de las transcciones en ese grupo.
• Manejo de Tipos: Para evitar la sobre-generalización en dominios con categorías de objetos superpuestas, el sistema asigna de forma conservadora los parámetros de los operadores utilizando el nivel más bajo de la jerarquía de tipos que sea consistente con los datos.

Marco Teórico

El artículo establece una teoría formal para la invención de predicados generativos, proporcionando las primeras garantías demostrables para esta clase de métodos:

• Solidez (Soundness): El modelo aprendido predice correctamente los efectos de un plan; si un planificador predice que una secuencia llega a un estado, la ejecución realmente conduce allí.
• Completitud (Completeness): El modelo nunca omite soluciones reales; si existe una solución en el entorno, el planificador puede encontrar un plan abstracto.
• Corrección (Correctness): Los autores demuestran que el modelo aprendido por SkillWrapper es empíricamente correcto con respecto a los datos observados (Teorema 1) y converge asintóticamente hacia un modelo correcto bajo un proceso $\beta$-mezclado estacionario (Teorema 2).

Resultados Experimentales

Los autores evaluaron SkillWrapper tanto en simulación como en robots reales.

Simulación (Robotouille)

En un entorno de cocina simulado con seis objetos y cinco habilidades, SkillWrapper fue comparado contra:

• Operadores Expertos: Modelos PDDL definidos manualmente.
• Predicados del Sistema: Predicados del simulador de verdad fundamental (ground-truth) (oráculo).
• ViLa: Un baseline que utiliza el prompting directo de FM para la selección de acciones.
• Ablaciones: Variantes sin heurísticas de recolección activa de datos o sin el algoritmo específico de invención de predicados.

Hallazgos:

• SkillWrapper superó a todos los baselines sin privilegios (incluyendo ViLa y la exploración aleatoria).
• En problemas "difíciles" (hasta 15 pasos), SkillWrapper superó incluso al baseline de Predicados del Sistema, demostrando que las abstracciones aprendidas pueden ser más efectivas que los predicados de verdad fundamental del simulador en escenarios de planificación complejos.
• Identificó correctamente el 100% de las tareas imposibles, un requisito para la solidez.

Experimentos con Robots Reales

Se realizaron experimentos con un Franka Emika Panda (mesa) y un manipulador bimanual Kuka iiwa.

• Generalización: Un modelo aprendido en entornos de entrenamiento restringidos (subconjuntos de objetos) se generalizó con éxito a un entorno de prueba que contenía todos los objetos, resolviendo tareas de largo horizonte no vistas.
• Eficiencia de Datos: En un entorno bimanual con callejones sin salida (dead ends), SkillWrapper mejoró su rendimiento a través de las iteraciones, superando a todos los baselines dentro de cinco iteraciones. El sistema demostró que la recolección de datos activa guiada es crucial para aprender en entornos con acciones irreversibles.

Significancia y Reivindicaciones

El artículo afirma ser el primer trabajo sobre invención de predicados generativos que garantiza demostrablemente la solidez y la completitud para la planificación de tareas.

Las contribuciones clave incluyen:

1. Teoría Formal: Una caracterización de las condiciones bajo las cuales un modelo aprendido es demostrablemente sólido y completo, abordando la falta de rigor teórico en los enfoques previos impulsados por FM.
2. Sistema SkillWrapper: Un sistema principista que aprovecha los modelos fundacionales para recolectar datos de forma interactiva, inventar predicados y aprender representaciones simbólicas interpretables sin especificación manual.
3. Validación Empírica: Evidencia extensa de que estas representaciones aprendidas permiten a los robots componer habilidades de caja negra para resolver tareas no vistas de largo horizonte en el mundo real utilizando planificadores clásicos convencionales.

Los autores concluyen que SkillWrapper ofrece un camino prometedor hacia el aprendizaje de modelos simbólicos escalables, permitiendo que los robots razonen sobre objetivos de alto nivel sin requerir abstracciones diseñadas a mano o conocimiento privilegiado de la dinámica del entorno. El trabajo reconoce limitaciones, como la suposición de dinámicas deterministas y la incapacidad de controlar directamente las salidas de los FM, sugiriendo trabajos futuros en entornos probabilísticos y manejo de ruido.