On the Generalization Capabilities, Design Choices and Limitations of Keypoint Imitation Learning

Resumen Técnico: Sobre las Capacidades de Generalización, las Decisiones de Diseño y las Limitaciones del Aprendizaje por Imitación mediante Puntos Clave

Planteamiento del Problema
La manipulación robótica en entornos no estructurados requiere políticas que puedan generalizar a objetos, poses y variaciones de escena no vistos. Si bien el aprendizaje por imitación es un enfoque prometedor, las políticas basadas en RGB estándar suelen demandar grandes conjuntos de datos para manejar dichas variaciones de manera efectiva. Esto motiva la exploración de representaciones intermedias, como los puntos clave, que ofrecen una codificación semántica compacta y de granularidad fina. Aunque los modelos fundacionales visuales permiten ahora la extracción de puntos clave en un solo intento sin entrenamiento específico para la tarea, sigue sin estar claro cómo integrar óptimamente estas representaciones en las tuberías de aprendizaje por imitación, qué estrategias de extracción son más efectivas y si superan genuinamente a otras representaciones centradas en objetos, como mapas de profundidad o máscaras de segmentación.

Metodología
Los autores proponen una tubería de Aprendizaje por Imitación mediante Puntos Clave (KIL) de tres etapas:

1. Especificación de Puntos Clave: Un operador humano anota manualmente 3–6 puntos clave semánticos en una imagen de referencia para cada categoría de objeto.
2. Extracción de Representación: Utilizando modelos fundacionales visuales, el sistema extrae los puntos clave correspondientes de cada cuadro de observación durante el entrenamiento y la inferencia. Las posiciones 2D se elevan a 3D utilizando las intrínsecas y extrínsecas calibradas de una cámara RGB-D. El artículo investiga tres estrategias de extracción:
   • Emparejamiento de Imágenes (IM): Cálculo de descriptores para los puntos clave de referencia y búsqueda de las mejores coincidencias mediante similitud coseno en los cuadros de observación.
   • Emparejamiento de Instancias (IN): Extensión de IM generando primero máscaras de instancia mediante un detector de vocabulario abierto, y luego restringiendo la búsqueda de descriptores a las máscaras de objetos específicas.
   • Seguimiento (T): Uso de un modelo de seguimiento dedicado, inicializado mediante emparejamiento de instancias, para seguir los puntos clave a lo largo del tiempo.
3. Aprendizaje de la Política: La secuencia resultante de puntos clave 3D es codificada por un codificador transformador y alimentada a una política de difusión (cabeza de acción) para predecir las acciones del robot. La política toma como entrada un historial de observaciones y estados propioceptivos.

Contribuciones Clave

• Directrices de Diseño: El artículo consolida métodos previos de KIL y proporciona directrices prácticas mediante la comparación sistemática de métodos de extracción (IM, IN, T), modelos fundacionales (RADIO, DIFT, DINO) y arquitecturas de políticas (codificadores transformadores frente a concatenación directa).
• Evaluación a Gran Escala: Los autores realizan más de 2.000 despliegues en el mundo real en dos plataformas robóticas y cinco tareas de manipulación distintas (por ejemplo, colocar zapatos/tazas, verter botellas, agarrar bolígrafos).
• Extensión a Múltiples Instancias: El trabajo extiende KIL a tareas que involucran múltiples instancias de la misma categoría de objeto, abordando una limitación en estudios previos de objetos únicos.
• Análisis de Limitaciones: El estudio identifica y cuantifica explícitamente las limitaciones de los modelos fundacionales actuales, particularmente en lo que respecta a la robustez ante grandes cambios de orientación del objeto y oclusiones.

Resultados

• Rendimiento de Generalización: KIL logró una tasa de éxito general del 75% en cinco tareas, superando significativamente a una línea base de difusión basada en RGB estándar (47%). La brecha de rendimiento se amplió dramáticamente bajo variaciones de escena (KIL: 70% vs. RGB: 10%).
• Comparación con Líneas Base Centradas en Objetos: KIL tuvo un rendimiento comparable al de S2-diffusion (73%), una línea base centrada en objetos que utiliza mapas de profundidad y máscaras de segmentación, lo que sugiere que los puntos clave no ofrecen inherentemente una generalización superior sobre otras representaciones intermedias en todos los contextos.
• Métodos de Extracción: El Emparejamiento de Imágenes, el Emparejamiento de Instancias y el Seguimiento arrojaron un rendimiento similar (éxito promedio del 70–75%). El Emparejamiento de Imágenes fue seleccionado como predeterminado debido a su simplicidad y menor costo computacional.
• Modelos Fundacionales: Para el emparejamiento de imágenes, RADIOv2.5-B (85% en tareas específicas) superó a DINOv3-B y DIFT. Sin embargo, DIFT mostró mayor robustez cuando se combinó con emparejamiento de instancias o seguimiento.
• Diseño del Codificador: Un codificador transformador dedicado tuvo un rendimiento comparable a un enfoque de concatenación simple (85% de éxito), pero superó significativamente a una variante que añadía puntuaciones de similitud coseno a las posiciones 3D (la cual degradó al 7% debido al sobreajuste en las puntuaciones de similitud).
• Tareas Multiobjeto: En tareas que requieren la manipulación de dos objetos, KIL logró una tasa de finalización de tareas del 61–63%, superando a la línea base RGB (48%) y igualando a S2-diffusion (58%).
• Robustez a la Orientación: Un hallazgo crítico fue la sensibilidad de KIL a la orientación del objeto. Cuando las poses de los objetos abarcaban un rango completo de ±180°, el rendimiento de KIL cayó un 55% (Emparejamiento de Imágenes) y un 28% (Seguimiento). En contraste, las líneas base RGB y S2 cayeron solo un 10% y un 9% respectivamente, lo que indica que los modelos fundacionales actuales carecen de robustez ante grandes cambios de orientación.

Significado y Afirmaciones
El artículo concluye que KIL es un enfoque eficiente en datos que ofrece beneficios significativos de generalización sobre las políticas RGB crudas, particularmente en escenas con distractores o variaciones de fondo. Sin embargo, los autores afirmodestamente que KIL no supera universalmente a representaciones alternativas centradas en objetos como S2-diffusion. El rendimiento de KIL depende en gran medida de las capacidades de los modelos fundacionales subyacentes utilizados para la extracción; específicamente, KIL hereda las limitaciones de estos modelos en cuanto al manejo de oclusiones y la invariancia a la orientación. El trabajo aclara que, aunque los puntos clave proporcionan una representación compacta, su utilidad está limitada por la robustez de la tubería de extracción, lo que sugiere que las mejoras futuras podrían requerir un ajuste fino de extremo a extremo de los modelos de extracción o representaciones híbridas.