Compose by Focus: Scene Graph-based Atomic Skills

Este trabajo propone un marco de aprendizaje de habilidades basado en gráficos de escena que combina redes neuronales gráficas con aprendizaje por imitación difusivo y un planificador VLM para mejorar la robustez y la generalización composicional de robots generalistas en tareas de manipulación de largo horizonte.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un robot a hacer la cena. El problema no es que el robot no sepa qué hacer (cortar, freír, servir), sino que se vuelve totalmente confuso cuando la cocina está desordenada o hay muchos objetos alrededor.

Este paper, titulado "Compose by Focus" (Componer por Enfoque), propone una solución brillante para que los robots sean más inteligentes y menos propensos a errores cuando las cosas se complican.

Aquí tienes la explicación sencilla, con analogías:

1. El Problema: El Robot que se distrae con todo

Imagina que entrenaste a un robot para coger una manzana en una mesa perfectamente limpia y vacía. Funciona perfecto.
Pero, ¿qué pasa si le pides que coja la manzana en una mesa llena de platos, vasos, llaves y otros vegetales?

• Los robots actuales (como los que usan imágenes normales) se "ahogan" en tanta información. Ven la manzana, pero también ven el vaso, el plato y la llave. Se confunden, se distraen y a menudo chocan o agarran la cosa equivocada. Es como intentar leer un libro mientras alguien te grita 20 cosas diferentes al mismo tiempo.

2. La Solución: El "Mapa de Tesoros" (Gráfico de Escena)

Los autores dicen: "¡Espera! No necesitas ver todo el caos. Solo necesitas ver lo que importa para la tarea actual".

Para lograrlo, crean algo llamado Gráfico de Escena (Scene Graph).

• La Analogía: Imagina que el robot tiene una lupa mágica o un filtro de realidad aumentada.
  • Cuando la tarea es "coger la zanahoria", el filtro borra todo lo demás de la pantalla.
  • Solo deja visibles: La mano del robot, la zanahoria y la cesta.
  • Además, el robot sabe la relación entre ellos: "La zanahoria está al lado de la cesta" o "La mano debe agarrar la zanahoria".
  • Todo lo demás (distractores, fondos, otros objetos) se vuelve invisible para el cerebro del robot en ese momento.

3. ¿Cómo funciona la magia? (El Proceso)

El sistema tiene tres partes principales que trabajan juntas:

1. El Arquitecto (Modelos de Lenguaje y Visión): Cuando el robot recibe una orden larga (ej: "Recoge todas las verduras"), un cerebro superior (como un ChatGPT) divide la tarea en pasos pequeños: "1. Coger la zanahoria", "2. Coger el maíz".
2. El Filtro (Construcción del Gráfico): Para cada paso, el robot usa cámaras y modelos de IA para crear ese "Mapa de Tesoros" que mencioné antes. Solo dibuja los objetos relevantes y cómo se relacionan entre sí.
3. El Ejecutor (Política de Difusión): El robot aprende a moverse basándose solo en ese mapa limpio, no en la foto desordenada original. Es como si el robot practicara siempre en una mesa vacía, pero en la vida real, su cerebro ignora automáticamente el desorden.

4. El Resultado: Un Chef Maestro

En sus pruebas, hicieron dos cosas:

• Entrenamiento: Enseñaron al robot a hacer tareas simples (coger una cosa) en entornos limpios.
• Prueba: Le pidieron que hiciera tareas complejas (coger 5 cosas diferentes en una mesa llena de basura).

El resultado fue asombroso:

• Los robots antiguos (que miraban todo) fallaban estrepitosamente en la mesa desordenada. Se confundían y tiraban las cosas.
• El robot de este paper (el que usa el "Mapa de Tesoros") tuvo un éxito del 97%. Logró componer las tareas simples en una tarea larga y compleja sin distraerse.

En resumen:

Imagina que tienes que buscar una aguja en un pajar.

• El método antiguo: Mira todo el pajar de golpe, se mareo y no encuentra nada.
• El método de este paper: Usa un imán especial que solo atrae la aguja y hace invisible todo el heno alrededor.

¿Por qué es importante?
Porque para que los robots sean verdaderamente útiles en nuestras casas (cocinando, limpiando, ordenando), no pueden necesitar una habitación perfectamente limpia para funcionar. Necesitan aprender a enfocarse en lo importante y ignorar el ruido, tal como lo hacemos nosotros los humanos. Este paper les da a los robots esa capacidad de "enfoque selectivo".

Resumen técnico

Resumen Técnico: Compose by Focus

1. El Problema: Generalización Composicional y Desplazamiento de Distribución

El objetivo central de la robótica generalista es lograr la generalización composicional: la capacidad de combinar habilidades atómicas (primitivas de manipulación) para resolver tareas complejas de largo horizonte.

• El desafío actual: La mayoría de los trabajos anteriores se centran en sintetizar un planificador de alto nivel que secuencia habilidades preaprendidas. Sin embargo, la ejecución robusta de las habilidades individuales sigue siendo un problema crítico.
• La causa del fallo: Las políticas visuomotoras (que mapean directamente imágenes a acciones) suelen fallar cuando se enfrentan a desplazamientos de distribución (distribution shifts). Si una habilidad se entrena en un entorno limpio (un solo objeto), falla en entornos desordenados con objetos distractores, incluso si el planificador de alto nivel (como un Modelo de Lenguaje Visual, VLM) descompone la tarea correctamente.
• La hipótesis: Para que las habilidades sean composibles, deben ser enfocadas (focused): deben atender solo a los elementos de la escena relevantes para la tarea actual e ignorar el "ruido" visual irrelevante.

2. Metodología: Representación Basada en Grafos de Escena

Los autores proponen un marco de aprendizaje que transforma la entrada visual cruda en una representación estructurada y semántica: Grafos de Escena Dinámicos.

• Construcción del Grafo de Escena:

  • En lugar de usar imágenes RGB o nubes de puntos 3D crudas, el sistema convierte la observación en un grafo semántico 3D.
  • Nodos: Representan objetos relevantes (ej. robot, objeto a manipular, objetivo, obstáculos). Se extraen usando modelos fundacionales de visión (como Grounded-SAM) para segmentación y se codifican en vectores compactos mediante un codificador de nubes de puntos (DP3 Encoder).
  • Aristas: Capturan relaciones dinámicas entre objetos (ej. "agarrar", "junto a", "dentro de", "evitar"). Estas relaciones se infieren utilizando Modelos de Lenguaje Visual (VLMs) como ChatGPT.
  • Enfoque: El grafo se construye específicamente para la sub-tarea actual, filtrando activamente objetos distractores.

• Aprendizaje de la Política (Entrenamiento):

  • Se utiliza una Red de Atención Gráfica (GAT) para procesar el grafo y extraer características estructurales.
  • Estas características se combinan con la descripción de la habilidad (codificada con CLIP) y la pose del robot.
  • La política visuomotoras se entrena mediante Aprendizaje por Imitación basado en Difusión (Diffusion Policy). El modelo aprende a denoizar acciones condicionadas a las características del grafo y la descripción textual.

• Composición en Tiempo de Prueba (Inferencia):

  • Un planificador de alto nivel (VLM) descompone una tarea larga en sub-objetivos.
  • Para cada sub-objetivo, se construye dinámicamente un sub-grafo de escena que solo incluye los objetos y relaciones relevantes para ese paso específico.
  • La política entrenada ejecuta la acción basándose en este contexto enfocado, permitiendo la composición robusta de múltiples habilidades.

3. Contribuciones Clave

1. Codificación de Grafos de Escena Estructurados: Propone usar grafos semánticos 3D como entrada interpretable y generalizable para el aprendizaje de políticas por clonación de comportamiento, construidos con ayuda de VLMs y modelos fundacionales.
2. Integración con Aprendizaje por Difusión: Combina esta representación gráfica con el aprendizaje por imitación basado en difusión, logrando una robustez superior frente a perturbaciones visuales.
3. Marco de "Enfoque" (Focus): Demuestra que ignorar activamente los distractores mediante la construcción de sub-grafos relevantes es crucial para la generalización composicional, superando las limitaciones de los enfoques basados en imágenes crudas.

4. Resultados Experimentales

Los experimentos se realizaron tanto en simulación (ManiSkill2) como en el mundo real (recogida de vegetales y uso de herramientas).

• Simulación:

  • Se evaluaron 5 tareas de largo horizonte que requieren composición de habilidades (ej. apilar bloques, uso de herramientas con evitación de obstáculos).
  • Rendimiento: El método propuesto logró tasas de éxito consistentemente altas (0.78 - 0.93) en tareas compuestas.
  • Comparativa: Las líneas base (Política de Difusión 2D/3D y el modelo fundacional $\pi_0$) sufrieron un colapso drástico en tareas compuestas, con caídas de rendimiento del 50% al 70% (ej. $\pi_0$ cayó a 0.07 en uso de herramientas). Esto demuestra que el escalado de datos por sí solo no resuelve el problema de la composición en entornos desordenados.

• Mundo Real:

  • Recogida de Vegetales: En un escenario desordenado, el método propuesto alcanzó un 97% de éxito en la composición de habilidades (recoger múltiples vegetales), mientras que las líneas base fallaron casi completamente (0% - 20%).
  • Uso de Herramientas: El sistema logró un 90% de éxito en tareas que requerían arrastrar y empujar bloques evitando obstáculos dinámicos, mostrando una capacidad de adaptación a obstáculos no vistos durante el entrenamiento (ej. cambiar de un palo a ladrillos).

• Estudios de Ablación:

  • Se confirmó que la representación 3D es superior a la 2D.
  • La estructura del grafo (nodos y aristas) es superior a simplemente concatenar nubes de puntos.
  • El uso de GNNs para procesar el grafo es esencial para manejar la variabilidad en el número de objetos y las relaciones espaciales.

5. Significado e Impacto

Este trabajo aborda una brecha fundamental en la robótica: la desconexión entre la planificación de alto nivel y la ejecución de bajo nivel en entornos complejos.

• Eficiencia de Datos: Reduce la necesidad exponencial de demostraciones para todas las combinaciones posibles de habilidades. En lugar de entrenar para cada escenario posible, se entrena en habilidades atómicas aisladas y se compone dinámicamente.
• Robustez: Al centrarse en la información semántica relevante (objetos y relaciones) y descartar el ruido visual, las políticas son mucho más resistentes a cambios en el fondo, iluminación y disposición de objetos.
• Interfaz Unificada: Proporciona un puente natural entre la capacidad de razonamiento de los LLMs/VLMs (para la planificación y construcción del grafo) y la ejecución precisa de los robots (a través de políticas de difusión), ofreciendo un marco escalable para robots generalistas.

En resumen, el artículo demuestra que la representación estructurada y enfocada de la escena es más crítica que el simple aumento de la capacidad del modelo o la cantidad de datos para lograr la generalización composicional en robótica.