Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

Este artículo propone una arquitectura novedosa de aprendizaje neuro-simbólico que descubre habilidades simbólicas de alto nivel a partir de pocas demostraciones no etiquetadas, integrando modelos de lenguaje visual para la interpretación y planificación, y controladores de bajo nivel basados en gradientes para ejecutar tareas de largo alcance en entornos complejos y no vistos.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un robot a hacer tareas complejas en tu cocina, como preparar un café o poner los platos en el lavavajillas. El problema es que los robots suelen ser muy "tontos" si no les das instrucciones paso a paso muy precisas, y los humanos no tenemos tiempo de escribir millones de instrucciones para cada movimiento.

Este paper presenta una solución inteligente que podríamos llamar "El Método del Maestro de Cocina y el Ayudante". Aquí te explico cómo funciona con analogías sencillas:

1. El Problema: El Robot no entiende el "por qué"

Imagina que tienes un robot que solo sabe mover su brazo. Si le dices "haz un café", el robot se queda paralizado porque no sabe qué significa "hacer un café". Necesita saber: agarrar taza, ponerla en la máquina, presionar botón, traerla de vuelta.

Los robots actuales necesitan ver miles de ejemplos para aprender, pero en la vida real no tenemos tiempo de grabar eso. Además, los datos que tenemos son "ruidosos" (movimientos imperfectos) y desordenados.

2. La Solución: Descubrir "Habilidades" (Skill Discovery)

Los autores crearon un sistema que actúa como un detective de patrones.

• La analogía de las "Recetas": Imagina que le muestras al robot 5 videos de alguien agarrando un tomate del refrigerador. En un video, el tomate está arriba; en otro, abajo; en otro, al lado de la leche.
• Lo que hace el sistema: En lugar de memorizar cada movimiento exacto, el sistema dice: "¡Ah! Todos estos movimientos son lo mismo: AGARRAR".
• La magia: El sistema agrupa automáticamente todos esos movimientos diferentes bajo una sola "etiqueta" o símbolo (como un icono de "agarrar"). Esto es lo que llaman descubrimiento de habilidades. El robot aprende que "agarrar" es una habilidad general, no un movimiento específico.

3. El "Traductor" (La Inteligencia Artificial)

Aquí entra la parte más creativa. Como el robot no sabe que "agarrar" significa "agarrar", el sistema usa una IA avanzada (como un Chatbot muy inteligente) para ponerle nombre a las cosas.

• El proceso: El sistema le muestra al Chatbot una foto de lo que el robot está haciendo y le pregunta: "¿Qué está pasando aquí?".
• La respuesta: El Chatbot dice: "Está agarrando un tomate".
• El resultado: Ahora el robot tiene un diccionario. Sabe que el símbolo A significa "agarrar" y el símbolo B significa "soltar".

4. El Plan Maestro (Planificación de Dos Niveles)

Una vez que el robot tiene su diccionario de habilidades, el sistema funciona como una empresa con un Gerente y un Operario:

• El Gerente (Planificación de Alto Nivel): Es la IA que usa el lenguaje. Si le pides "Prepara un café", el Gerente piensa: "Primero, agarrar la taza. Luego, llevar la taza a la máquina. Luego, presionar el botón". El Gerente no sabe cómo mover los músculos, solo sabe la secuencia de eventos.
• El Operario (Planación de Bajo Nivel): Es el robot físico. Cuando el Gerente dice "¡Agarrar la taza!", el Operario usa matemáticas avanzadas (gradientes) para calcular exactamente cómo mover su brazo para que la punta de su mano llegue justo a la taza, incluso si la taza está en un lugar donde nunca antes había estado.

5. ¿Por qué es increíble? (Los Resultados)

Lo mejor de este sistema es que es muy eficiente:

• Aprendizaje rápido: Solo necesitas mostrarle al robot unos pocos ejemplos (como 2 o 3 videos) de cada habilidad, y el sistema descubre el patrón por sí solo.
• Generalización: Si el robot aprendió a agarrar un tomate que estaba en el estante de arriba, puede agarrar una botella de aceite que está en el estante de abajo, porque entendió el concepto de "agarrar", no solo el movimiento.
• Entornos caóticos: Funciona incluso si la cocina está desordenada y los objetos están en lugares raros.

En resumen

Este paper propone un sistema donde:

1. Un robot observa unos pocos videos desordenados.
2. Un algoritmo inteligente agrupa esos movimientos en "habilidades" (como agarrar, soltar, verter).
3. Una IA le pone nombres humanos a esas habilidades.
4. Un "Gerente" (IA) crea un plan de pasos usando esos nombres.
5. Un "Operario" (robot) ejecuta los movimientos físicos precisos para cumplir cada paso.

Es como enseñarle a un robot a cocinar no dándole una lista de 1000 instrucciones de "mueve el brazo 2 cm a la izquierda", sino diciéndole: "Primero, corta la cebolla. Luego, saltea". Y el robot, por sí solo, descubre cómo mover sus manos para lograrlo.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning" en español, estructurado según los puntos solicitados:

1. El Problema

El aprendizaje de planes a largo plazo en espacios de estado-acción continuos (típicos en entornos robóticos reales) es un desafío complejo debido a la naturaleza ruidosa, compleja y limitada de los datos robóticos de bajo nivel.

• Brecha de datos: Los grandes modelos de lenguaje (LLMs) tienen capacidades de razonamiento en múltiples dominios gracias a sus datos de entrenamiento (texto), pero carecen de datos robóticos reales para conectar su razonamiento con la ejecución física.
• Limitaciones actuales: Los enfoques existentes a menudo requieren predifiniciones de predicados o acciones, o dependen de grandes cantidades de datos etiquetados, lo cual es difícil de obtener en entornos reales.
• Objetivo: Crear un puente entre agentes virtuales generalistas (como LLMs) y entornos físicos mediante la abstracción de habilidades de bajo nivel (continuas) a símbolos de alto nivel (discretos) aprendidos a partir de pocas demostraciones no etiquetadas.

2. Metodología

La propuesta es una arquitectura de aprendizaje Neuro-Simbólica que integra redes neuronales para el descubrimiento de símbolos y control de bajo nivel, con un pipeline de planificación multinivel. El proceso se divide en cinco etapas principales:

A. Descubrimiento de Habilidades (Modelo Neuronal)

• Arquitectura: Utiliza un Autoencoder Cuantizado Vectorial (VQ-VAE) basado en Conditional Neural Movement Primitives (CNMP).
• Entrada: Trajectorias sensorimotoras (ej. poses del efector final) no etiquetadas.
• Proceso:
  1. La red codifica puntos muestreados de una trayectoria en un vector latente.
  2. Estos vectores se promedian y pasan por un cuello de botella de cuantización vectorial, donde se mapean al vector más cercano en un espacio de habilidades discretas.
  3. El decodificador reconstruye la trayectoria en un paso de tiempo objetivo dado el vector cuantizado y el tiempo.
  4. Resultado: El modelo agrupa automáticamente las demostraciones en "clústeres" (habilidades de alto nivel) y aprende una distribución para las variaciones de bajo nivel de cada habilidad.

B. Aprendizaje Auto-supervisado

• Una vez descubiertas las habilidades (clústeres), se entrena un nuevo modelo desde cero utilizando las etiquetas de clúster descubiertas como supervisión.
• Esto asigna demostraciones específicas a vectores específicos, mejorando significativamente la fiabilidad de la planificación de bajo nivel en comparación con el enfoque puramente no supervisado.

C. Etiquetado Simbólico (LLM Multimodal)

• Dado que las habilidades descubiertas son inicialmente anónimas, se utilizan Modelos de Lenguaje Multimodal (VLMs) como GPT-4.1 y Gemini.
• Se toman instantáneas (snapshots) de la ejecución de las trayectorias generadas por los vectores aprendidos.
• El VLM analiza el entorno y las acciones para asignar etiquetas semánticas (ej. "agarrar", "verter") a los vectores discretos.

D. Planificación de Alto Nivel

• Un agente externo (LLM) recibe el estado del entorno (imagen y lista de objetos detectada por DINO), el objetivo y el repertorio de habilidades etiquetadas.
• El LLM genera una secuencia ordenada de habilidades simbólicas para lograr la tarea.

E. Planificación y Ejecución de Bajo Nivel (Gradiente)

• Para ejecutar cada paso del plan de alto nivel, el sistema utiliza un enfoque basado en gradientes.
• Se toma el vector de la habilidad correspondiente y se ajusta mediante descenso de gradiente para minimizar el error entre la ubicación predicha del objeto (en el momento del contacto) y la ubicación real del objeto.
• Esto permite generar variaciones de bajo nivel específicas para la ubicación exacta del objeto, sin cambiar los parámetros del modelo, solo ajustando el vector de entrada.

3. Contribuciones Clave

1. Método de Descubrimiento de Habilidades: Un modelo neuronal capaz de aprender representaciones de habilidades de alto nivel a partir de demostraciones de trayectorias de bajo nivel no etiquetadas, agrupándolas de manera no supervisada.
2. Pipeline de Planificación Bi-nivel: Un sistema integrado que permite a un agente LLM planificar tareas complejas a largo plazo utilizando símbolos descubiertos, y ejecutarlos mediante control de bajo nivel adaptable.
3. Planificación Adaptativa por Gradiente: Un mecanismo que ajusta los vectores de habilidades aprendidas para adaptarse a ubicaciones de objetos específicas en tiempo de ejecución, permitiendo la generalización a nuevas posiciones.
4. Validación en Entornos Reales y Simulados: Demostración de la capacidad del sistema para manipular objetos en ubicaciones no vistas y realizar tareas de largo alcance en entornos desordenados con pocas demostraciones.

4. Resultados Experimentales

Los experimentos se realizaron en simulación (cocina) y en el mundo real (lavavajillas, cafetera, riego de plantas) utilizando brazos robóticos (UR-10 y XArm 7).

• Descubrimiento de Habilidades:
  • El modelo logró agrupar perfectamente las demostraciones en el 27% de los intentos con un espacio de habilidades de tamaño 5.
  • Se observó que entrenar con espacios de habilidades más grandes y seleccionar los modelos con menor pérdida es una estrategia efectiva para encontrar la agrupación correcta.
• Etiquetado con LLMs:
  • Los VLMs lograron etiquetar correctamente las acciones. GPT-4.1 mostró un rendimiento superior en la identificación de acciones de "agarrar" (59-65%) en comparación con "colocar", aunque la precisión varió según la cantidad de imágenes de entrada.
• Rendimiento de Planificación:
  • Alto Nivel: La combinación de LLMs con detección de objetos (DINO) mejoró drásticamente el éxito de las tareas. Para tareas largas (>7 acciones), el enfoque Gemini+DINO alcanzó un 65.18% de éxito, superando a otros modelos.
  • Bajo Nivel: El modelo entrenado con auto-supervisión superó significativamente al no supervisado.
    • En tareas de un solo objetivo (ej. recoger), la precisión alcanzó el 100% con 2 o más demostraciones por habilidad.
    • En tareas multi-objetivo (ej. hacer café, lavar platos), la precisión fue alta (80-100%) con suficientes demostraciones, demostrando una fuerte capacidad de generalización a nuevas ubicaciones.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cierra la brecha Simbólica-Continúa: Permite que agentes virtuales (LLMs) interactúen con el mundo físico sin necesidad de reentrenar el LLM con datos robóticos, utilizando en su lugar modelos de abstracción pequeños y eficientes.
• Eficiencia de Datos: Demuestra que es posible aprender habilidades generalizables y ejecutar tareas complejas a largo plazo con muy pocas demostraciones (incluso en regiones pequeñas del entorno), lo cual es crucial para la robótica práctica donde la recolección de datos es costosa.
• Flexibilidad: La capacidad de ajustar los vectores de habilidades mediante gradientes permite al robot adaptarse a cambios en el entorno (nuevas ubicaciones de objetos) sin necesidad de re-aprendizaje, manteniendo la estructura simbólica de alto nivel.
• Escalabilidad: Proporciona una arquitectura modular donde el razonamiento (LLM) y el control (Red Neuronal) se separan pero se integran fluidamente, facilitando la aplicación en diversos dominios robóticos.

En conclusión, el artículo presenta un marco robusto para la robótica neuro-simbólica que combina la capacidad de razonamiento de los LLMs con el control preciso de bajo nivel, logrando una planificación y ejecución de tareas complejas en entornos no vistos con una eficiencia de datos sin precedentes.