Symskill: Symbol and Skill Co-Invention for Data-Efficient and Reactive Long-Horizon Manipulation

SymSkill es un marco unificado que aprende simultáneamente abstracciones simbólicas y habilidades orientadas a objetivos a partir de demostraciones no etiquetadas, combinando la generalización composicional de la planificación con la recuperación reactiva en tiempo real para ejecutar tareas de manipulación de largo horizonte de manera eficiente en datos.

Lo esencial

¡Imagina que quieres enseñarle a un robot a cocinar una cena compleja! El problema es que los robots actuales suelen ser como dos tipos de estudiantes muy diferentes, y ninguno es perfecto por sí solo:

1. El "Copia y Pega" (Aprendizaje por Imitación): Este robot es como un estudiante que memoriza una receta de memoria. Si le pides que haga exactamente lo mismo que vio, lo hace genial. Pero si mueves un poco el sartén o cambias el tipo de queso, se queda paralizado porque no entiende por qué hace lo que hace. No sabe improvisar.
2. El "Matemático Lento" (Planificación Clásica): Este robot es como un genio de las matemáticas que calcula cada movimiento milimétricamente antes de mover un dedo. Entiende la lógica ("si abro la puerta, puedo entrar"), pero tarda tanto en pensar que, si alguien mueve un objeto mientras calcula, el robot sigue pensando y se queda atrás. Es demasiado lento para el mundo real.

SymSkill es la solución que proponen los autores: es como un chef robot híbrido que combina lo mejor de ambos mundos.

¿Cómo funciona SymSkill? (La Analogía del Chef Creativo)

En lugar de darle al robot una receta escrita o obligarlo a memorizar miles de videos, SymSkill le enseña a inventar sus propias herramientas y reglas mientras juega.

1. El Entrenamiento: "Jugar sin reglas"

Imagina que le das al robot 5 minutos para jugar libremente en una cocina (esto es lo que llaman "aprender jugando"). El robot no sabe qué está haciendo, solo mueve cosas.

• El truco: SymSkill observa esos movimientos y dice: "¡Espera! Cada vez que el robot mueve la tapa del sartén, lo hace acercándose desde un ángulo específico y la deja en un lugar concreto".
• La Magia: En lugar de ver solo "movimientos", el robot aprende conceptos (llamados predicados). Por ejemplo, aprende que "Tapa sobre Sartén" es un estado válido, y "Tapa en la mano" es otro.
• El Asistente Visual: Para saber qué objeto es el "sartén" y cuál es la "tapa", el robot usa una IA visual (como un ojo humano muy inteligente) solo una vez, al principio, para etiquetar los objetos. Luego, ya no necesita al humano.

2. Creando las "Habilidades" (Los Gestos)

El robot aprende a hacer movimientos estables. Imagina que aprende a agarrar una taza no como una secuencia rígida de pasos, sino como un imán invisible.

• Si la taza se mueve un poco, el robot ajusta su mano suavemente para seguir atrayéndola hacia la posición correcta. Esto se llama un "sistema dinámico". Es como si el robot tuviera un sentido del equilibrio que le permite corregir errores en tiempo real sin tener que detenerse a pensar.

3. La Cocina: "El Plan Maestro"

Ahora llega el momento de la verdad. Le dices al robot: "Quiero que pongas el queso en la encimera y cierres el armario".

• El Planificador: SymSkill no ejecuta movimientos al azar. Usa sus conceptos aprendidos (como piezas de Lego) para armar un plan: Abrir puerta -> Agarrar queso -> Mover queso -> Cerrar puerta.
• La Reacción Rápida: Aquí está la parte genial. Si alguien empuja el queso mientras el robot lo lleva, el robot no se detiene a recalcular todo el plan.
  • Su "imán" (la habilidad de movimiento) corrige el camino automáticamente.
  • Si el robot se da cuenta de que algo salió mal (por ejemplo, soltó el queso), su cerebro simbólico dice: "Oh, el queso ya no está en mi mano. Necesito volver a la habilidad de 'agarrar'". Y lo hace en milisegundos.

¿Por qué es un cambio de juego?

• Aprendizaje Rápido: Mientras otros robots necesitan cientos de horas de datos, SymSkill aprende con 5 minutos de video de alguien jugando. Es como aprender a andar en bicicleta viendo a alguien hacerlo una vez, en lugar de leer un manual de 100 páginas.
• Generalización: Si aprendió a abrir una puerta de armario, puede aplicar esa misma lógica a una puerta de nevera, porque entendió el concepto de "abrir", no solo el movimiento exacto.
• Robustez: Si el mundo real es caótico (alguien mueve una silla, el robot resbala), SymSkill se adapta al instante. No se rompe; se reorganiza.

En resumen

SymSkill es como enseñarle a un robot a pensar como un humano:

1. Observa el mundo y crea sus propias palabras para describirlo (¿esto es una "tapa" o un "sartén"?).
2. Aprende habilidades físicas que son flexibles y se adaptan si algo se mueve.
3. Combina esas habilidades en un plan inteligente, pero si algo sale mal, corrige el rumbo al instante sin perder el tiempo.

Es el paso necesario para que los robots dejen de ser máquinas rígidas que solo siguen instrucciones y se conviertan en compañeros capaces de trabajar en nuestras casas dinámicas y desordenadas.

Resumen técnico

Resumen Técnico: SymSkill

1. Planteamiento del Problema

La manipulación robótica de largo alcance en entornos dinámicos presenta un desafío fundamental: equilibrar la reactividad con la generalización composicional.

• Aprendizaje por Imitación (IL) Monolítico: Los métodos actuales de IL (como las políticas difusivas) son reactivos y excelentes para reproducir habilidades específicas con grandes conjuntos de datos, pero carecen de generalización composicional. No pueden decidir qué habilidad reutilizar cuando el entorno cambia, ya que aprenden políticas monolíticas en lugar de habilidades y predicados reutilizables.
• Planificación de Tareas y Movimiento (TAMP): Los métodos clásicos de TAMP ofrecen composicionalidad mediante la descomposición en símbolos y movimientos continuos. Sin embargo, sufren de dos limitaciones críticas:
  1. Requieren ingeniería manual intensiva de símbolos y habilidades.
  2. Tienen una latencia de planificación muy alta (decenas a cientos de segundos), lo que impide la recuperación de fallos en tiempo real en entornos dinámicos.

El objetivo es desarrollar un marco que aprenda símbolos (predicados) y habilidades (políticas de movimiento) directamente de demostraciones no etiquetadas y no segmentadas, permitiendo una planificación simbólica rápida y una recuperación de fallos en tiempo real.

2. Metodología: SymSkill

SymSkill es un marco unificado que realiza la co-invención de símbolos y habilidades de manera no supervisada. El proceso se divide en fases offline (aprendizaje) y online (ejecución).

A. Fase Offline: Aprendizaje de Predicados, Operadores y Habilidades

1. Segmentación y Selección de Marco de Referencia:
   • Las demostraciones se dividen en segmentos de "pre-movimiento" (el efector final se acerca al objeto) y "movimiento" (el efector y el objeto se mueven juntos).
   • Se utiliza un Modelo de Lenguaje Visual (VLM) de manera ligera (solo offline) para identificar el objeto de referencia estático ($o_{ref}$) en cada demostración (ej. un fregadero al mover una taza). Esto evita depender del VLM para el control en tiempo real.
2. Aprendizaje de Predicados (Símbolos):
   • Se aprenden predicados de pose relativa agrupando los extremos de las trayectorias.
   • Se ajustan distribuciones gaussianas (elipsoides) sobre las poses relativas del efector final respecto al objeto en movimiento ($o_{int}$) y del objeto respecto al objeto de referencia ($o_{ref}$).
   • Estos elipsoides definen los predicados lógicos (ej. "el objeto está dentro del recipiente") y sirven como clasificadores de estado.
3. Inventiva de Operadores:
   • Se derivan operadores simbólicos ($\alpha$) rastreando las transiciones de los predicados aprendidos a lo largo de las demostraciones.
   • Cada operador incluye: precondiciones, efectos (añadir/borrar predicados), condiciones de mantenimiento y una habilidad asociada.
4. Aprendizaje de Habilidades (Políticas de Movimiento):
   • Se utilizan Sistemas Dinámicos (DS) basados en LPV-DS (Linear Parameter Varying) en el marco SE(3).
   • A diferencia de las redes neuronales profundas, los DS aprenden campos vectoriales convergentes estables a partir de muy pocos datos (5-10 demostraciones). Esto garantiza estabilidad y rechazo a perturbaciones.

B. Fase Online: Ejecución y Recuperación

1. Planificación Simbólica: Dado un objetivo simbólico, un planificador simbólico (A*) compone una secuencia de operadores para alcanzar el estado meta.
2. Ejecución Reactiva:
   • Se ejecutan las habilidades aprendidas (DS) en bucle cerrado.
   • Monitoreo: Se verifica continuamente que las condiciones de mantenimiento se cumplan y que los efectos esperados se alcancen al final de cada habilidad.
   • Recuperación de Fallos:
     • Nivel Simbólico: Si falla una condición, se re-planifica desde el estado actual.
     • Nivel de Movimiento: Si hay perturbaciones continuas, el controlador DS pasivo y la modulación local (evitación de obstáculos) permiten desviar la trayectoria sin re-planificar.
     • Muestreo de Attractores: Si un fallo persiste (ej. soltar un objeto), se muestrea una nueva pose objetivo de la distribución aprendida para reintentar la tarea sin cambiar la estrategia global.

3. Contribuciones Clave

1. Marco de Co-invención Unificado: Un sistema que descubre y aprende simultáneamente predicados relativos, operadores simbólicos y habilidades de control DS a partir de demostraciones no etiquetadas y no segmentadas.
2. Eficiencia de Datos y Reactividad: Funciona con tan solo 5 demostraciones por tarea y permite la recuperación de fallos en tiempo real (milisegundos) tanto a nivel de movimiento como simbólico.
3. Independencia del VLM en Tiempo Real: Utiliza el VLM solo para la selección inicial de objetos de referencia, eliminando la latencia y la incertidumbre del lenguaje en el bucle de control.
4. Implementación de Código Abierto: Validado en el entorno de simulación RoboCasa y en un robot real Franka Panda.

4. Resultados Experimentales

• Simulación (RoboCasa):
  • Logró una tasa de éxito del 85% en tareas de un solo paso (12 tareas) con 5-10 demostraciones.
  • Compuso estas habilidades en tareas de múltiples pasos (ej. "Guardar Queso": abrir puerta, agarrar queso, cerrar puerta) sin datos adicionales, demostrando una generalización composicional efectiva.
  • Comparado con políticas de difusión (Diffusion Policy), SymSkill superó ampliamente en tareas de largo alcance, donde las políticas de difusión fallaron (0% de éxito) debido a la falta de datos y la incapacidad de generalizar fuera de la distribución.
• Robot Real (Franka Panda):
  • Aprendió 11 operadores a partir de 5 minutos de datos de juego no segmentados.
  • Ejecutó tareas de 12 pasos basadas en especificaciones de objetivos simbólicos.
  • Demostró recuperación robusta ante perturbaciones humanas (ej. cerrar una tapa, mover un plato, añadir obstáculos) utilizando los mecanismos de recuperación de SymSkill.

5. Significado e Impacto

SymSkill representa un avance significativo hacia la robótica generalista en el mundo real.

• Superación de la brecha IL-TAMP: Combina la robustez y la generalización de los sistemas dinámicos con la capacidad de razonamiento lógico de la planificación simbólica.
• Viabilidad en el Mundo Real: Al reducir la necesidad de datos de entrenamiento y permitir la recuperación de fallos en tiempo real, hace posible que los robots aprendan nuevas tareas complejas a partir de interacciones humanas naturales ("aprendizaje desde el juego") sin necesidad de ingeniería manual costosa o grandes bases de datos.
• Seguridad: El uso de controladores pasivos y campos vectoriales estables asegura que el robot sea intrínsecamente seguro ante perturbaciones, un requisito crítico para la interacción humano-robot.

En conclusión, SymSkill ofrece una solución práctica para la manipulación de largo alcance, permitiendo a los robots aprender, planificar y adaptarse dinámicamente en entornos no estructurados con una eficiencia de datos sin precedentes.