From Action Labels to Sets: Rethinking Action Supervision for Imitation Learning from Corrective Feedback

Aquí se presenta un resumen técnico detallado del artículo "De Etiquetas de Acción a Conjuntos: Repensando la Supervisión de Acción para el Aprendizaje por Imitación a partir de Retroalimentación Correctiva."

1. Planteamiento del Problema

El artículo aborda una limitación fundamental en el Aprendizaje por Imitación Interactivo (IIL) y la Clonación de Comportamiento (BC): la fragilidad de la supervisión punto a punto.

• El Problema: La BC tradicional trata las demostraciones humanas o la retroalimentación correctiva como objetivos de acción exactos y punto a punto ($a^*$). Aunque es efectiva con datos perfectos, este enfoque falla cuando la retroalimentación humana es ruidosa, subóptima o relativa (indicando dirección pero no magnitud).
• La Consecuencia: Al utilizar clases de políticas expresivas (por ejemplo, Modelos Basados en Energía (EBM) o Modelos de Difusión), la supervisión punto a punto hace que la política sobreajuste a etiquetas específicas y potencialmente ruidosas. Esto crea mínimos locales agudos alrededor de las acciones proporcionadas, desviando la política del comportamiento óptimo subyacente real.
• Limitaciones de las Alternativas:
  • Aprendizaje de Preferencias Parejas: Aunque es más robusto que las etiquetas punto a punto, las comparaciones pareadas (por ejemplo, "La Acción A es mejor que la Acción B") solo restringen el orden relativo de dos acciones. En espacios continuos de alta dimensión, esto deja el resto del espacio de acciones mayormente sin restricciones, permitiendo que la política asigne alta probabilidad a regiones subóptimas mientras aún satisface la restricción de preferencia.
• La Brecha: Existe una necesidad de un objetivo de supervisión que sea más robusto que la BC punto a punto (para manejar ruido/suboptimalidad) pero más informativo que las comparaciones pareadas (para restringir el espacio de acciones de manera efectiva).

2. Metodología: CLIC

Los autores proponen CLIC (Aprendizaje de Políticas Contrastivo a partir de Correcciones Interactivas), un marco que cambia de etiquetas punto a punto a supervisión basada en conjuntos.

Concepto Central: Conjuntos de Acción Deseados

En lugar de tratar una corrección humana como una única acción objetivo, CLIC la interpreta como la definición de un Conjunto de Acción Deseado ($\hat{A}$). Este conjunto contiene todas las acciones consistentes con la retroalimentación, excluyendo la acción ejecutada (subóptima).

• Correcciones Absolutas: Si un humano proporciona una nueva acción $a_h$, el conjunto deseado es una región alrededor de $a_h$ (por ejemplo, una bola o un poliedro).
• Correcciones Relativas: Si un humano proporciona una dirección $h$ para mejorar la acción actual $a_r$, el conjunto deseado es un cono o un semiespacio en esa dirección, sin comprometerse con una magnitud específica.

Componentes Clave

A. Construcción de Conjuntos de Acción Deseados
El artículo define dos construcciones geométricas específicas para estos conjuntos:

1. Conjuntos Poliedros (CLIC-Half): Construidos intersectando múltiples restricciones de "semiespacio" derivadas de la augmentación de datos.
   • Una sola corrección $(a_r, a_h)$ se augmenta en múltiples pares contrastivos $(a^-_i, a^+_i)$.
   • Cada par define un semiespacio donde las acciones más cercanas a $a^+_i$ son preferidas.
   • La intersección de estos semiespacios forma un poliedro (acercándose a un cono).
   • Parámetros: La certeza direccional ($\alpha$) y la certeza de magnitud ($\epsilon$) controlan la forma y el tamaño del conjunto.
2. Conjuntos Circulares (CLIC-Circular): Específicamente para correcciones absolutas.
   • Define una bola centrada en la acción humana $a_h$ con un radio proporcional a la distancia entre la acción del robot y la acción humana.
   • Esto captura la intuición de que la acción óptima se encuentra dentro de un vecindario de la corrección.

B. Agregación y Convergencia

• Refinamiento Iterativo: Una sola corrección a menudo es insuficiente para identificar la acción óptima. CLIC agrega múltiples correcciones a lo largo del tiempo.
• Intersección: El conjunto de acción deseado general para un estado es la intersección de todos los conjuntos individuales derivados del búfer de retroalimentación ($\hat{A}_{D_s} = \bigcap \hat{A}_i$).
• Convergencia: Teóricamente, a medida que se agrega más retroalimentación, la intersección de estos conjuntos converge al conjunto de acciones óptimas ($A^*_s$), siempre que el instructor proporcione retroalimentación sobre acciones subóptimas y los conjuntos siempre incluyan al menos una acción óptima.

C. Objetivo de Moldeado de la Política
Para entrenar la política $\pi_\theta$ para que se alinee con estos conjuntos, CLIC minimiza la divergencia KL entre la política actual y una distribución objetivo ($\pi_{target}$):
$$\ell_{KL} = \mathbb{E} [ KL(\pi_{target}(\cdot|s) \parallel \pi_\theta(\cdot|s)) ]$$

• Distribución Objetivo: Definida mediante la regla de Bayes utilizando un modelo de observación.
  • Modelo de Observación: Una función de membresía suave (sigmoide) que asigna alta probabilidad a las acciones dentro del conjunto deseado y baja probabilidad a las que están fuera.
  • Prior: Utiliza la política actual como prior ($\pi_\theta$) en lugar de un prior uniforme. Esto crea una "pérdida Bayesiana ponderada por política", asegurando que las actualizaciones sean conservadoras e incrementales, evitando que la política se desvíe demasiado de los comportamientos aprendidos previamente.
• Implícito vs. Explícito:
  • Implícito (EBM): La pérdida se optimiza utilizando muestreo contrastivo (estilo InfoNCE), donde la distribución objetivo pondera las muestras basándose en su membresía en el conjunto.
  • Explícito (Gaussiano): Para tareas unimodales, el método se simplifica a una pérdida de bisagra que asegura que la media de la política se encuentre dentro del poliedro.

3. Contribuciones Clave

1. Perspectiva de Supervisión Basada en Conjuntos: Propone una formulación novedosa donde la retroalimentación correctiva define una región de acciones aceptables en lugar de un único punto, cerrando la brecha entre la BC punto a punto y el aprendizaje de preferencias pareadas.
2. Marco CLIC: Introduce un algoritmo práctico que construye y agrega estos conjuntos para refinar iterativamente la política. Soporta tanto retroalimentación absoluta como relativa y maneja comportamientos multimodales de forma natural mediante políticas implícitas (EBMs).
3. Análisis Teórico: Proporciona condiciones de convergencia que muestran que la retroalimentación agregada basada en conjuntos puede recuperar el conjunto de acciones óptimas, incluso cuando las señales de retroalimentación individuales son ruidosas o relativas.
4. Evaluación Exhaustiva: Validación extensa en simulación y en robots reales (KUKA iiwa) que demuestra robustez a través de diversos tipos de retroalimentación.

4. Resultados Experimentales

Experimentos de Simulación:

• Retroalimentación Precisa: CLIC se desempeña de manera competitiva con métodos del estado del arte (SOTA) (por ejemplo, Política de Difusión, IBC), demostrando que la supervisión basada en conjuntos no sacrifica el rendimiento cuando los datos son perfectos.
• Retroalimentación Ruidosa: CLIC supera significativamente a las líneas base (IBC, Política de Difusión, PVP). Mientras que los métodos de BC punto a punto sobreajustan al ruido y fallan en converger, el enfoque basado en conjuntos de CLIC absorbe el ruido, manteniendo altas tasas de éxito.
• Retroalimentación Relativa y Parcial:
  • Correcciones Relativas: CLIC-Half y CLIC-Explicit aprenden con éxito a partir de retroalimentación direccional donde los métodos de BC punto a punto fallan completamente (debido al problema "on-policy" donde las correcciones pasadas se vuelven subóptimas).
  • Retroalimentación Parcial: En tareas multi-robot donde los humanos solo corrigen un brazo, CLIC-Half destaca al restringir solo las dimensiones corregidas, mientras que las líneas base que intentan imitar el vector de acción completo (parcialmente subóptimo) fallan.

Experimentos en Robots Reales:

• Insert-T (Multimodal): CLIC-Half logró un 80% de éxito en tareas difíciles, superando significativamente a la Política de Difusión (30%) y a IBC (10%). Esto resalta la capacidad de CLIC para manejar la toma de decisiones compleja y multimodal sin sobreajuste.
• Atrapar Bola (Dinámico/Parcial): Aprendió con éxito una tarea de alta frecuencia utilizando retroalimentación relativa y parcial, logrando una tasa de éxito del 100% en dos intentos.
• Verter Agua (Precisión): Demostró la capacidad de cambiar entre correcciones absolutas y relativas durante el entrenamiento, refinando la política desde un control grueso hasta uno fino.

Estudios de Ablación:

• Confirmaron que el prior ponderado por política es crucial para la estabilidad.
• Mostraron que los hiperparámetros que controlan la geometría del conjunto ($\alpha, \epsilon$) deben ajustarse para coincidir con la incertidumbre de la señal de retroalimentación.
• Visualizaron que a medida que el radio del conjunto se encoge a cero, CLIC degenera en un IBC sobreajustado, validando la necesidad de la formulación de "conjunto".

5. Significado e Impacto

• Robustez ante Errores Humanos: El significado principal es hacer que el aprendizaje por imitación sea robusto ante las imperfecciones inherentes de los instructores humanos (fatiga, límites de teleoperación, carga cognitiva).
• Marco Unificado: CLIC unifica el aprendizaje a partir de demostraciones absolutas, correcciones relativas y retroalimentación parcial bajo un único marco matemático.
• Escalabilidad a Tareas Complejas: Al evitar el sobreajuste de modelos expresivos a etiquetas ruidosas, CLIC permite el uso de políticas implícitas potentes (EBMs) en entornos interactivos del mundo real donde los datos rara vez son perfectos.
• Aplicabilidad Práctica: El método reduce la carga cognitiva sobre los instructores humanos (quienes pueden proporcionar direcciones aproximadas en lugar de trayectorias exactas) y acelera el proceso de aprendizaje para tareas robóticas complejas.

En resumen, CLIC repensa la unidad fundamental de supervisión en el aprendizaje por imitación, pasando de un único punto a un conjunto, proporcionando una solución matemáticamente sólida y empíricamente robusta para aprender a partir de retroalimentación humana imperfecta.