Resumen Técnico: HALO – Política Visuomotora Consciente de la Historia para el Aprendizaje de Imitación Robótica de Largo Horizonte

1. Planteamiento del Problema

Los robots de propósito general que operan en entornos parcialmente observables (por ejemplo, hogares) deben realizar tareas de manipulación de largo horizonte que requieren recordar información que ya no está presente en las entradas sensoriales actuales. Los ejemplos incluyen recordar la ubicación de objetos, rastrear recuentos numéricos, recordar la cronología de eventos o comprender cambios relacionales entre objetos.

Las políticas visuomotoras reactivas estándar fallan en estos escenarios porque carecen de memoria. Si bien los enfoques existentes intentan abordar esto a través de representaciones de memoria diseñadas a mano, reglas de recuperación específicas de la modalidad o compresión aprendida (por ejemplo, resúmenes de estado latente), a menudo tienen dificultades con la generalización. Dependen de supuestos específicos de la tarea que limitan la escalabilidad en diversas tareas de manipulación.

La aplicación directa de la recuperación de memoria basada en la atención (por ejemplo, Transformers) al aprendizaje de imitación offline introduce dos desafíos fundamentales:

1. Correlaciones Espurias: La política puede aprender a atender a observaciones pasadas que se correlacionan con el comportamiento experto en los datos de entrenamiento pero que no son causalmente relevantes para la ejecución de la tarea, lo que conduce a una mala generalización en el tiempo de prueba.
2. Acumulación de Errores y Deriva del Modelo: En la ejecución de bucle cerrado, los pequeños errores de predicción se acumulan con el tiempo. Condicionar la política a grandes cantidades de información histórica ruidosa puede amplificar estos errores, provocando fallos en cascada y la deriva del modelo a lo largo de horizontes extensos.

2. Metodología: HALO

Los autores proponen HALO (Política visuomotora para LOng-horizon consciente de la historia para el aprendizaje de imitación robótica), un marco diseñado para permitir la ejecución de extremo a extremo de tareas que abarcan hasta ocho minutos mediante la recuperación de información relevante de la historia. La idea central es que, si bien la atención proporciona un mecanismo general de recuperación, esta debe ser guiada hacia la información relevante para la tarea y restringida para evitar condicionarse a una historia irrelevante o ruidosa.

A. Descripción General de la Arquitectura

HALO parametriza una política visuomotora $\pi_\theta(a_t | \tau_t, l)$ con tres componentes principales:

1. Codificadores (Encoders): Codificadores específicos de la modalidad ($g_{obs}$, $g_{act}$) que mapean entradas heterogéneas (RGB, propiocepción, acciones pasadas) en un espacio latente común.
2. Columna Vertebral de la Política (Policy Backbone): Una columna vertebral basada en Transformer ($f_\theta$) que realiza la recuperación de memoria sobre la historia codificada $M_t$ y procesa la información.
3. Cabezales de Predicción (Prediction Heads): Un cabezal de acción específico de la tarea ($h_{act}$) predice comandos de control de bajo nivel, y un cabezal de predicción de texto ($h_{text}$) proporciona supervisión auxiliar.

B. Mecanismos Clave

1. Destilación de Priores de VLM mediante Video Question-Answering (VQA)

Para mitigar las correlaciones espurias, HALO aprovecha los modelos de lenguaje visual (VLMs) para destilar los priors sobre qué información histórica es relevante para la tarea.

• Mecanismo: La política es co-entrenada tanto para imitar acciones expertas como para responder preguntas sobre la trayectoria de la historia.
• Generación de VQA: Un flujo de trabajo de múltiples etapas genera pares de VQA de alta calidad a partir de trayectorias de largo horizonte. Esto implica:
  1. Resumen de trayectoria a texto: Combinación de detectores de objetos y VLMs para crear descripciones textuales de elementos de la escena y actividades.
  2. Síntesis de preguntas: Un LLM genera preguntas que indagan en requisitos de memoria específicos (por ejemplo, ubicaciones de objetos, orden de eventos) vinculados a fotogramas específicos.
  3. Verificación: Un verificador LLM filtra los pares incorrectos o débilmente relevantes.
• Objetivo de Entrenamiento: La política minimiza una pérdida conjunta: $L(\theta) = L_{IL}(\theta) + \lambda L_{VQA}(\theta)$. El objetivo de VQA obliga al módulo de recuperación a atender a partes específicas de la historia donde ocurrieron eventos relevantes para la tarea, proporcionando una supervisión directa sobre qué recuperar.

2. Dispersión de Atención Top-k (Top-k Attention Sparsification)

Para reducir el impacto de los errores acumulados durante el control de bucle cerrado, HALO restringe la política para que se condicione solo a un subconjendo disperso de la información almacenada.

• Mecanismo: En lugar de atender a toda la historia, la política calcula similitudes de consulta-clave (query-key) y selecciona solo los $k$ elementos más relevantes.
• Entrenamiento: Se utiliza un estimador de paso directo (straight-through estimator) para manejar la operación top-k no diferenciable. Los gradientes refuerzan la selección de entradas que mejoran la predicción de acciones o la precisión de VQA, mientras que penalizan las entradas irrelevantes.
• Beneficio: Esto limita la influencia de la información ruidosa, reduciendo la deriva del modelo y mitigando los fallos en cascada.

3. Contribuciones Clave

• Recuperación de Memoria General: Introduce un mecanismo de recuperación de memoria aprendido y de extremo a extremo que evita supuestos específicos de la tarea o reglas diseñadas a mano.
• Recuperación Guiada por VQA: Propone el uso de supervisión de Video Question-Answering generada automáticamente para dirigir la atención hacia la información relevante para la tarea, transfiriendo eficazmente los priors de los VLM a la política visuomotora.
• Atención Dispersa para la Robustez: Demuestra que la dispersión top-k es efectiva para reducir la deriva del modelo en el control de bucle cerrado de largo horizonte al filtrar el ruido acumulado.
• Evaluación Exhaustiva: Valida el enfoque en el benchmark REMEMBENCH y en cinco tareas del mundo real a través de dos plataformas robóticas (manipuladores con base fija y móviles).

4. Resultados Experimentales

Simulación (REMEMBENCH)

Evaluado en tareas que requieren memoria espacial, relacional, numérica y de tiempo de eventos:

• Rendimiento General: HALO alcanzó una tasa de éxito promedio del 41%, superando al Transformer Estándar (22%), SAM2Act++ (20%), ReMemBer (18%) y las Características Diseñadas a Mano (29%).
• Estudios de Ablación:
  • Eliminar la supervisión de VQA redujo el éxito promedio en un 10% (al 31%), resaltando la importancia de los priors de VLM para identificar la historia relevante.
  • Eliminar la dispersión top-k (usando atención completa) redujo el rendimiento en un 9%, confirmando su papel en la reducción de la deriva.
  • El co-entrenamiento de VQA y la predicción de acciones superó un enfoque de preentrenamiento seguido de ajuste fino (pretrain-then-finetune) por un 20% (64% vs. 44%), sugiriendo que el entrenamiento conjunto es crucial para dar forma a la recuperación de manera efectiva.
• Comparaciones: HALO superó otros métodos de dispersión (ventana, estirado, jerárquico y atención con compuerta) y modelos de memoria no asociativos (LSTM, Mamba, Transformer-XL).

Evaluación en el Mundo Real

Evaluado en cinco tareas del mundo real (incluyendo la colaboración humano-robot):

• HALO alcanzó una tasa de éxito promedio del 55%, comparado con el 36% de la línea base del Transformer Estándar.
• Se observaron mejoras notables en tareas desafiantes de largo horizonte, como calentar una estufa durante hasta ocho minutos y almacenar múltiples objetos.
• El análisis de la tarea "Recuperar Objeto" mostró que HALO redujo los fallos de manipulación en un 8% y los fallos de memoria en un 25% en comparación con la línea base.

5. Significado y Reivindicaciones

El artículo afirma que HALO proporciona una solución general para el control de largo horizonte en entornos parcialmente observables al aprender a recuperar información relevante para la tarea directamente de los datos.

• Versatilidad: A diferencia de métodos previos que dependen de representaciones fijas (por ejemplo, centradas en objetos) o resúmenes de texto, HALO se adapta a diversos tipos de información (espacial, numérica, temporal) sin ingeniería manual.
• Necesidad de Anclaje (Grounding): Los autores enfatizan que, si bien los priors de VLM son útiles para seleccionar información relevante, no son suficientes por sí solos para el control de bajo nivel (logrando solo un 18% de éxito sin anclaje de acción). La combinación de la recuperación guiada por VLM y la imitación anclada en acciones es crítica.
• Robustez: El trabajo demuestra que la recuperación selectiva mediante la dispersión top-k es una estrategia práctica y efectiva para mitigar los errores compuestos inherentes a la ejecución de bucle cerrado de largo horizonte.

Los autores concluyen que su enfoque permite un control fiable sobre horizontes temporales extendidos (hasta ocho minutos) al equilibrar la necesidad de un contexto histórico rico con la necesidad de filtrar el ruido y las correlaciones irrelevantes. Se propone como trabajo futuro explorar estrategias de consulta activa y el aprendizaje de memoria trans-episódica.