Resumen Técnico: Alineación Representacional Maestro-Alumno para Aprendizaje por Imitación Impulsado por Aprendizaje por Refuerzo

Declaración del Problema

El Aprendizaje por Imitación (IL) se emplea frecuentemente para superar la complejidad de muestras y la "maldición de la dimensionalidad" asociadas con el Aprendizaje por Refuerzo (RL) en espacios de observación de alta dimensión, como los encontrados en robótica. Un paradigma común implica entrenar un "maestro" basado en RL sobre representaciones de estado analíticas de baja dimensión y luego destilar este comportamiento en una política "alumno" que opera sobre observaciones de alta dimensión (por ejemplo, imágenes).

Sin embargo, surge un desafío significativo cuando el maestro y el alumno se entrenan de forma aislada. El maestro a menudo depende de "información privilegiada" (variables de estado disponibles para el maestro pero no inferibles desde las observaciones del alumno, como coordenadas exactas del objetivo o ubicaciones de objetos ocultas). Esto crea una brecha de imitación irreducible: el maestro aprende una política que es óptima para su vista privilegiada pero imposible de imitar para el alumno porque la información necesaria falta en la entrada del alumno.

Tradicionalmente, esta brecha se aborda añadiendo una fase de ajuste fino (fine-tuning) con RL al alumno después del IL. Sin embargo, esto reintroduce la alta complejidad de muestras y la inestabilidad del entrenamiento del RL. Alternativamente, algunos métodos modifican la función de recompensa del maestro o el espacio de acciones para forzar la imitabilidad, pero estos enfoques a menudo requieren una ingeniería de características pesada, introducen hiperparámetros difíciles de ajustar o degradan el rendimiento del maestro en la tarea.

Metodología

Los autores proponen un algoritmo novedoso y agnóstico a la tarea que aprende un espacio de incrustación compartido para cerrar la brecha de imitación por construcción. En lugar de modificar recompensas o ajustar finamente al alumno post-hoc, el método asegura que el maestro aprenda una política que sea inherentemente imitable por el alumno.

Arquitectura Central

El enfoque utiliza un marco de aprendizaje de representaciones multi-vista donde el maestro y el alumno observan el mismo estado subyacente del entorno $s_t$ a través de diferentes modalidades ($o_T$ y $o_S$). Estas observaciones se modelan como conteniendo:

1. Componentes comunes ($c_t$): Información compartida por ambos agentes (por ejemplo, posiciones relativas de obstáculos).
2. Componentes privados ($p_T, p_S$): Información específica del agente (por ejemplo, coordenadas exactas del objetivo para el maestro).

El objetivo es aprender un codificador que mapee tanto $o_T$ como $o_S$ a un espacio latente que contenga solo $c_t$, ocultando efectivamente la información privada del maestro durante su entrenamiento con RL.

Fases de Entrenamiento

El sistema opera en fases alternas que involucran dos módulos:

1. Aprendizaje de Representación Contrastiva (Módulo de Incrustación):

   • Objetivo: Aprender un mapeo desde las observaciones del maestro y del alumno a un espacio latente común.
   • Mecanismo: Utiliza la pérdida contrastiva InfoNCE. Las observaciones emparejadas $(o_T, o_S)$ del mismo paso de tiempo se tratan como pares positivos, mientras que las observaciones no emparejadas en el lote sirven como negativos.
   • Pérdida de Alineación ($L_{alignment}$): Maximiza explícitamente la similitud entre las incrustaciones emparejadas para asegurar que la red de políticas vea representaciones consistentes para ambos agentes.
   • Pérdida de Estabilidad ($L_{stability}$): Previene desviaciones grandes en el espacio latente durante el entrenamiento penalizando los desplazamientos en los logits crudos de la red de políticas con respecto a estados anteriores. Esto es crucial porque las políticas de RL son sensibles a pequeños desplazamientos en las incrustaciones.
   • Aislamiento de Gradientes: Crucialmente, los gradientes de la política de RL (Fase 2) no se retropropagan a través de las redes de codificador. Esto evita que la política "haga trampa" aprendiendo a extraer información privada de las observaciones crudas del maestro para maximizar las recompensas.

2. Aprendizaje por Refuerzo (Módulo de Política):

   • La política del maestro ($\pi_T$) se entrena utilizando Optimización de Política Próxima (PPO) para maximizar la recompensa de la tarea.
   • Sin embargo, la política opera solo sobre las incrustaciones latentes aprendidas, no sobre las observaciones crudas.
   • Debido a que las incrustaciones carecen de información privada, el maestro se ve obligado a maximizar la recompensa explotando solo la información compartida disponible para el alumno.

Distinciones Clave con Trabajos Previos

• A diferencia de SITT [8], que penaliza al maestro por visitar estados no imitables mediante un término de divergencia KL en la recompensa, este método no modifica la función de recompensa ni introduce coeficientes de compensación ($\alpha$).
• A diferencia de métodos que requieren conocimiento del dominio para seleccionar pares contrastivos, este enfoque es completamente agnóstico a la tarea y depende de la alineación temporal de las trayectorias maestro-alumno.

Resultados Experimentales

El método fue evaluado en dos entornos de simulación diseñados para resaltar la brecha de imitación:

1. CollectHealth: Una tarea de navegación 3D donde el maestro conoce las ubicaciones exactas de las cajas, mientras que el alumno tiene un Campo de Visión (FOV) limitado y debe reorientarse para encontrar objetivos.
2. TunnelVision: Una tarea de navegación en un mundo de cuadrícula donde el maestro ve todas las celdas circundantes, mientras que el alumno ve solo tres celdas en su dirección frontal.

Métricas de Rendimiento

El estudio comparó el método propuesto contra:

• Clonación de Comportamiento (BC): IL estándar utilizando un maestro entrenado de forma aislada.
• SITT: La línea base del estado del arte que penaliza los comportamientos del maestro no imitables.

Hallazgos Clave:

• Reducción de la Brecha de Imitación: El método propuesto logró una brecha de imitación cercana a cero ($\Delta \approx 0.00$ a $0.01$) en ambos entornos, superando significativamente a BC (brecha $\approx 0.53-0.81$) y a SITT (brecha $\approx 0.19-0.43$).
• Rendimiento del Alumno: Las políticas de alumno destiladas lograron tasas de éxito de 1.00 (TunnelVision) y 0.98 (CollectHealth), igualando o superando el rendimiento del maestro sin requerir ajuste fino con RL.
• Rendimiento del Maestro: A diferencia de SITT, que sufrió una caída en el rendimiento del maestro debido a la modificación de la recompensa, el método propuesto mantuvo un alto rendimiento del maestro (1.00 y 0.99) porque la función de recompensa original permaneció intacta.
• Estudios de Ablación:
  • Eliminar la pérdida de alineación causó una caída notable en el rendimiento del alumno, particularmente en CollectHealth, confirmando la necesidad de una similitud explícita en las incrustaciones.
  • Eliminar la pérdida de estabilidad causó una caída significativa en TunnelVision (un entorno de alta sensibilidad), demostrando que las incrustaciones estables son críticas para prevenir el colapso de la política en configuraciones sensibles.

Significado y Contribuciones

El artículo afirma las siguientes contribuciones:

1. Método Agnóstico a la Tarea Novel: Introduce un enfoque plug-and-play para cerrar la brecha de imitación aprendiendo una representación latente compartida, eliminando la necesidad de modificaciones en la función de recompensa o ingeniería de características compleja.
2. Construcción de Imitabilidad: Al restringir al maestro a operar en un espacio de incrustación compartido mediante aprendizaje contrastivo, el método asegura que el maestro aprenda comportamientos que son inherentemente reproducibles por el alumno, evitando la brecha irreducible causada por la información privilegiada.
3. Rendimiento Empírico Superior: El enfoque supera consistentemente a líneas base fuertes (BC y SITT) en términos de tasas de éxito del alumno y reducción de la brecha de imitación, preservando al mismo tiempo el rendimiento óptimo de la tarea del maestro.
4. Mecanismos de Estabilidad: La introducción de pérdidas explícitas de alineación y estabilidad aborda la sensibilidad de las políticas de RL a los desplazamientos de representación, permitiendo un entrenamiento robusto sin ajuste fino post-hoc.

Los autores concluyen que este método ofrece una solución robusta para destilar políticas de alta dimensión de maestros privilegiados, haciéndolo adecuado para la integración en marcos de IL existentes sin alterar la estructura fundamental de recompensa de la tarea.