Resumen Técnico: Regularización de Manipulación de Retroalimentación (FMR)

Declaración del Problema

El Aprendizaje por Refuerzo (RL) enfrenta un desafío dual: aptitud (aprender a resolver una tarea) y alineación (aprender a resolverla de acuerdo con los valores humanos). Aunque las demostraciones y la retroalimentación humana son críticas para la alineación, los enfoques actuales dependen predominantemente de procesos de múltiples etapas diseñados para el encuadre de bandidos contextuales del lenguaje (por ejemplo, RLHF). Estos métodos tienen dificultades para trasladarse a entornos de toma de decisiones plenamente secuenciales.

Además, los métodos actuales de aprendizaje basado en preferencias sufren limitaciones fundamentales en entornos secuenciales:

1. Ambigüedad Relacional: Las preferencias son relativas ("¿cuál es mejor?") en lugar de absolutas ("¿es esto bueno?"). Un comportamiento preferido no es necesariamente un comportamiento alineado, especialmente si ambas opciones en un par de comparación están desalineadas.
2. Limitaciones de Muestreo: El muestreo aleatorio de pares de comparación dificulta el direccionamiento hacia comportamientos específicos sin una curación explícita.
3. Escasez de Datos: En entornos offline con datos limitados, particularmente donde las demostraciones de expertos son escasas e imperfectas y las demostraciones ruidosas contienen comportamientos desalineados, los algoritmos existentes suelen fallar en mantener la alineación.

El artículo aborda la necesidad de un método de una sola etapa, offline, que combine eficazmente demostraciones y retroalimentación evaluativa para alinear políticas en entornos plenamente secuenciales, incluso bajo regímenes de datos limitados.

Metodología: Regularización de Manipulación de Retroalimentación (FMR)

Los autores proponen la Regularización de Manipulación de Retroalimentación (FMR), un marco agnóstico al algoritmo que integra la retroalimentación evaluativa en el aprendizaje por imitación. A diferencia de los métodos que tratan la retroalimentación como una señal de recompensa o una puntuación de preferencia, FMR utiliza la retroalimentación para manipular directamente la distribución de probabilidad de la política.

Mecanismo Central

FMR opera tratando la retroalimentación humana $h(s, a) \in \{-1, 0, 1\}$ como una señal correctiva que moldea la política aprendida $\pi_\theta$ hacia una política humana latente alineada $\pi_h$.

1. Temperatura Adaptativa a la Retroalimentación:
   El método introduce un parámetro de temperatura $\tau(s, a)$ derivado de la retroalimentación.

   • Retroalimentación negativa ($h < 0$) implica $\tau > 1$, desalentando la acción seleccionada.
   • Retroalimentación positiva ($h > 0$) implica $\tau < 1$ para las acciones no seleccionadas (fomentando efectivamente la acción seleccionada en relación con otras).
   • Sin retroalimentación ($h = 0$) resulta en $\tau = 1$, sin impacto alguno.
     La temperatura se calcula mediante un mapa exponencial: $\tau_j = \beta^{-h}$ (para retroalimentación negativa en la acción seleccionada) o $\beta^h$ (para retroalimentación positiva en las acciones no seleccionadas), donde $\beta > 1$.

2. Remodelación de la Política (Policy Reshaping):
   La política alineada con el humano se aproxima aplicando el escalado de temperatura a la política actual en el espacio de probabilidad:
   $$\pi_\tau(a_j | s) := \frac{\pi_\theta(a_j | s) \tau_j^{-1}}{Z_\theta(s)}$$
   donde $Z_\theta(s)$ es la constante de normalización. Esta operación redistribuye la masa de probabilidad, suprimiendo comportamientos desalineados y fomentando los alineados sin requerir un modelado de recompensa explícito.

3. Objetivo de Regularización:
   FMR formula la alineación como un problema de emparejamiento de distribuciones utilizando la divergencia Kullback-Leibler inversa entre la política aprendida $\pi_\theta$ y la contraparte temperada por retroalimentación $\pi_\tau$. Esto produce un término de regularización:
   $$R_{FMR}(\theta) := \mathbb{E}_{s \sim D_U} \mathbb{E}_{a \sim \pi_\theta(\cdot|s)} [\log \tau(s, a)]$$
   El objetivo final combina la pérdida estándar de aprendizaje por imitación ($L_{IL}$) con este regularizador:
   $$L(\theta) = L_{IL}(\theta) + \alpha R_{FMR}(\theta)$$
   donde $\alpha$ controla la fuerza de la alineación.

Manejo de Datos

El método está diseñado para el Aprendizaje de Demostraciones Ruidosas (LfND), manejando conjuntos de datos $D_U = D_E \cup D_I$ donde $D_E$ contiene datos de expertos alineados y $D_I$ contiene datos imperfectos (ruidosos). FMR aprovecha la retroalimentación evaluativa para distinguir y suprimir sub-trayectorias desalineadas dentro de $D_I$.

Contribuciones Clave

1. Marco Agnóstico al Algoritmo: FMR puede aplicarse a cualquier algoritmo de aprendizaje por imitación (por ejemplo, Behavioral Cloning, IQL, DemoDICE, ReCOIL) como un término de regularización.
2. Entrenamiento Offline de Una Sola Etapa: A diferencia de los procesos de múltiples etapas de RLHF, FMR opera en una sola etapa, lo que lo hace adecuado para entornos de toma de decisiones plenamente secuenciales donde el acceso al entorno está restringido.
3. Robustez en Datos Limitados: El método demuestra robustez incluso cuando la proporción de datos de experto a datos imperfectos es baja (por ejemplo, 1:50) y cuando los datos imperfectos contienen poca o ninguna conducta útil.
4. Evaluación Principista: Los autores adaptan los entornos de Safety Gymnasium para que sirvan como banco de pruebas, utilizando señales de costo para proporcionar una medida de desalineación distinta del retorno total.

Resultados Experimentales

Los autores evaluaron FMR a través de tareas de navegación 3D y locomoción con restricciones de velocidad (Hopper, Swimmer, Walker2D) utilizando varios algoritmos base de aprendizaje por imitación.

• Mejora de la Alineación: FMR redujo consistentemente la desalineación en todos los algoritmos probados. En la tarea de navegación PathM, FMR logró una reducción de hasta un 92% en la desalineación para ReCOIL. En las tareas de velocidad, se observaron reducciones de hasta un 98%.
• Preservación de la Aptitud: Crucialmente, la reducción en la desalineación no se produjo a expensas del rendimiento de la tarea (aptitud). FMR mantuvo o mejoró las tasas de éxito y los retornos normalizados en comparación con los modelos base.
• Comparación con Alternativas:
  • vs. DVL (Dual Value Learning): DVL, que sustituye la retroalimentación por recompensa, tuvo un desempeño pobre, confirmando que interpretar la retroalimentación ingenuamente como una señal de recompensa es ineficaz.
  • vs. CPL (Contrastive Preference Learning): CPL, que utiliza la retroalimentación para la puntuación por pares, se degradó significamente a medida que las proporciones de datos disminuían, mientras que FMR se mantuvo estable.
• Solapamiento de Datos: FMR funcionó mejor cuando las demostraciones imperfectas contenían algunas sub-trayectorias relevantes (alto solapamiento). Sin embargo, también proporcionó mejoras significativas en escenarios de bajo solapamiento donde los modelos base fallaron completamente.
• Eficiencia de la Retroalimentación: Los experimentos mostraron que FMR aprende eficazmente a partir de la retroalimentación negativa únicamente, la cual sirve como el principal motor para corregir desviaciones.

Significado y Reivindicaciones

El artículo afirma que FMR representa un paso significativo hacia la alineación de agentes offline al:

1. Unir Modalidades: Integrar con éxito la retroalimentación evaluativa y las demostraciones como una señal interconectada para la toma de decisiones secuenciales, yendo más allá de las limitaciones de los juicios relativos basados en preferencias.
2. Abordar el Compromiso "Alineación-Aptitud": Demostrar que es posible reducir drásticamente la desalineación (hasta un 98%) sin sacrificar la capacidad del agente para completar la tarea.
3. Manejar la Escasez de Datos: Proporcionar una solución viable para escenarios donde los datos alineados de alta calidad son escasos y los datos ruidosos son abundantes, una restricción común en el mundo real.
4. Modularidad: Ofrecer un término de regularización "plug-and-play" que mejora los algoritmos de aprendizaje por imitación existentes sin requerir cambios arquitectónicos o procesos de entrenamiento de múltiples etapas.

Los autores concluyen que FMR aprovecha eficazmente la rica información de la retroalimentación para modular la entropía de la política, desalentando acciones indeseables y reforzando los comportamientos preferidos, permitiendo así un aprendizaje offline más robusto y alineado.