Resumen Técnico: Más allá de la mayoría: Aprendizaje por imitación de cola larga para la manipulación robótica

1. Planteamiento del problema

Las políticas robóticas generalistas, entrenadas mediante aprendizaje por imitación a gran escala, han demostrado una promesa significativa en la adquisición de diversas habilidades de manipulación. Sin embargo, su aplicabilidad en el mundo real se ve obstaculizada por la distribución de cola larga de las demostraciones de entrenamiento. En los conjuntos de datos robóticos a gran escala, un pequeño número de tareas "cabecera" (por ejemplo, recoger un cuenco) están representadas por abundantes datos, mientras que la gran mayoría de las tareas de "cola" (por ejemplo, colocar una botella de vino en un estante) sufren de una severa escasez de datos.

Las políticas entrenadas en estos datos desequilibrados exhiben una pobre generalización en las tareas de cola. Los autores identifican que las estrategias convencionales de aprendizaje de cola larga de la visión por computador, tales como el re-muestreo (sobremuestreo de clases de cola) y el aumento de datos estándar (por ejemplo, mixup), son en gran medida ineficaces para el control robótico. El re-muestreo simplemente duplica los datos existentes sin añadir la diversidad variacional necesaria, mientras que la interpolación lineal de estados y acciones (mixup) a menudo resulta en trayectorias cinemáticamente inviables o físicamente inválidas que violan la dinámica subyacente.

Las preguntas fundamentales de investigación abordadas son:

1. ¿Cuál es la razón fundamental de la degradación del rendimiento de las políticas entrenadas en demostraciones de cola larga?
2. ¿Cómo se puede resolver este problema sin depender de datos de demostración externos?

2. Metodología: Diagnóstico del modo de fallo

Para investigar la causa raíz, los autores construyeron un benchmark de aprendizaje por imitación de cola larga (LIBERO-Core-LT) basado en el entorno LIBERO, que comprende 10 tareas de manipulación diversas con un número de demostraciones distribuido según una ley de Pareto (el 30% superior como tareas de cabecera, el 70% inferior como tareas de cola).

A través de un análisis de fallo por fases, los autores desacoplaron las trayectorias de las tareas en dos fases secuenciales:

1. Fase de Aproximación al Objetivo: Acciones hasta que el efector final alcanza las inmediaciones del objeto primario.
2. Fase de Ejecución Subsecuente: Acciones tras un aproximación exitosa para completar la tarea.

Hallazgo clave: El análisis reveló que las políticas entrenadas en datos de cola larga fallan principalmente durante la Fase de Aproximación al Objetivo. Se encontró que el riesgo relativo de fallo en esta fase para las tareas de cola era aproximadamente 400% mayor en comparación con las políticas entrenadas con datos equilibrados, mientras que la fase de ejecución mostró un aumento del riesgo relativo mucho menor (~164%). Esto indica que la escasez de datos perjudica directamente la capacidad de razonamiento espacial de la política, impidiendo que el robot aprenda las relaciones espaciales precisas requeridas para aproximarse a los objetos en las tareas de cola, incluso si ha captado el concepto general de las tareas de cabecera.

3. Solución propuesta: Aumento de la Fase de Aproximación (APA)

Motivados por el hallazgo de que el razonamiento espacial en la fase de aproximación es el cuello de botella, los autores proponen el Aumento de la Fase de Aproximación (APA). Este es un método autónomo que transfiere el conocimiento de las tareas de cabera ricas en datos a las tareas de cola con escasez de datos sin requerir demostraciones externas.

El flujo de trabajo de APA consta de tres pasos:

1. Segmentación de la trayectoria de la tarea de cabecera: Las trayectorias exitosas de las tareas de cabecera se segmentan para aislar la Fase de Aproximación al Objetivo.
2. Injerto de objeto de Cola a Cabecera: El objeto en la trayectoria segmentada de la cabecera se reemplaza con un objeto de una tarea de cola.
   • En Simulación: El asset del objeto se reemplaza directamente, heredando la posición de la trayectoria de origen pero adoptando la orientación del objeto objetivo.
   • En el Mundo Real: El objeto se identifica (por ejemplo, mediante YOLOv8) y se reemplaza vía inpainting de imagen.
   • Esto genera nuevos ejemplos de entrenamiento de alta calidad para la fase de aproximación de las tareas de cola.
3. Formateo de Instrucciones y Co-entrenamiento: Para asegurar la consistencia lingüística, las instrucciones de lenguaje se reformatean. Las demostraciones originales se modifican a un formato de dos fases ("aproximarse a [objeto] y luego [ejecutar"), mientras que las trayectorias aumentadas (que contienen solo la aproximación) se formatean como "aproximarse a [objeto]". La política se entrena entonces de forma conjunta (co-training) en este conjunto de datos combinado.

El método está diseñado para ser eficiente al dirigirse únicamente al cuello de botella crítico (razonamiento espacial en la fase de aproximación) en lugar de intentar generar secuencias de manipulación completas y físicamente plausibles.

4. Resultados Experimentales

Los autores evaluaron APA tanto en entornos de simulación como en el mundo real utilizando los modelos miniVLA (simulación) y $\pi_0$ (mundo real).

• Simulación (LIBERO-Core-LT):

  • El modelo base (ajustado con datos desequilibrados) logró una tasa de éxito promedio del 26.5%.
  • El método APA mejoró la tasa de éxito promedio al 36.1%, una mejora relativa del 36.2%.
  • Crucialmente, el rendimiento mejoró tanto en las tareas de cola como en las de cabecera, lo que sugiere un resultado de suma positiva donde los datos de las tareas de cabecera refuerzan el aprendizaje de las tareas de cola.
  • Los estudios de ablación confirmaron que tanto el Formateo de Instrucciones como el Aumento de Trayectoria son esenciales; ninguno de los componentes por sí solo produjo ganancias significativas, lo que indica una relación codependiente.

• Mundo Real (Real-World-LT):

  • Evaluado en un brazo robótico AGILEX PIPER de 6 grados de libertad con 6 tareas de manipulación.
  • El modelo base logró una tasa de éxito del 39.1%.
  • APA logró una tasa de éxito del 54.1%, una ganancia relativa del 38.4%.
  • Los resultados confirmaron que la degradación del rendimiento en las tareas de cola está desproporcionadamente concentrada en la fase inicial de aproximación al objeto, y APA mitiga esto eficazmente.

5. Significación y Reivindicaciones

El artículo reivindica tres contribuciones principales:

1. Benchmark y Diagnóstico: La construcción de un benchmark de aprendizaje por imitación de cola larga y la identificación de que la escasez de datos perjudica directamente las capacidades de razonamiento espacial en las tareas de cola, en lugar del aprendizaje de la política general.
2. Método Novedoso: La introducción de APA, un esquema simple pero efectivo que mejora el razonamiento espacial transfiriendo conocimiento de cabecera a cola mediante el injerto de objetos, sin requerir datos externos.
3. Validación: Validación extensiva tanto en entornos de simulación como en el mundo real demostrando que APA aumenta significativamente el rendimiento en tareas con escasez de datos sin comprometer el rendimiento en las tareas con abundancia de datos.

Los autores enfatizan que su enfoque ofrece una solución práctica al desafío de la cola larga en la manipulación robótica al dirigirse al modo de fallo específico (razonamiento espacial en la fase de aproximación) en lugar de aplicar técnicas genéricas de equilibrio de datos que no tienen en cuenta la dinámica robótica.