Resumen Técnico: PB² – Exploración del Espacio de Preferencias mediante Métodos Basados en Poblaciones

Planteamiento del Problema

El Aprendizaje por Refuerzo basado en Preferencias (PbRL) permite que los agentes aprendan comportamientos a partir de la retroalimentación humana mediante comparaciones de trayectorias, evitando la necesidad de funciones de recompensa diseñadas manualmente. Sin embargo, los métodos de PbRL existentes sufren un problema crítico de exploración de preferencias. Los enfoques actuales, que típicamente operan dentro de un marco de un solo agente, tienden a converger prematuramente hacia políticas subóptimas que capturan solo un subconjunto estrecho de las preferencias humanas.

Esta limitación se manifiesta de dos formas principales:

1. Ambigüedad de la Consulta: Las políticas optimizadas para el modelo de recompensa actual generan pares de trayectorias altamente similares para la evaluación humana. Cuando las trayectorias son demasiado similares, los evaluadores humanos suelen proporcionar retroalimentación inconsistente o ruidosa, degradando la señal de aprendizaje.
2. Trampas de Óptimos Locales: Los métodos de un solo agente a menudo quedan atrapados en óptimos locales dentro del espacio de preferencias. Incluso con estrategias avanzadas de selección de consultas (por ejemplo, basadas en la incertidumbre o alineadas con la política), la falta de diversidad conductual impide que el agente descubra comportamientos alternativos y potencialmente superiores, especialmente en entornos con estructuras de recompensa complejas.

Además, el artículo identifica que el modelado de recompensa mediante ensambles neuronales estándar, utilizado frecuentemente para capturar la incertidumbre de la preferencia, no logra inducir una diversidad conductual suficiente en la práctica. Los miembros del ensamble convergen rápidamente hacia políticas similares, lo que hace que las estimaciones de incertidumbre sean ineficaces para la exploración.

Metodología: PB²

Los autores proponen PB² (Population-Based Preference-Based RL), un marco que mantiene una población diversa de agentes para explorar el espacio de preferencias de manera más efectiva, permaneciendo al mismo tiempo alineado con la intención humana. El mecanismo central consiste en entrenar múltiples políticas distintas simultáneamente, guiadas por un bono de diversidad explícito.

Componentes Principales

1. Estructura de la Población:

   • Política de Anclaje ($\pi_{ref}$): Un agente de referencia entrenado para maximizar puramente el modelo de recompensa aprendido actualmente ($r_\phi$). Establece una línea base de rendimiento ($R_{ref}$) y asegura que la población no derive hacia comportamientos ineficaces.
   • Políticas Diversas ($\{\pi_i\}$): Un conjunto de agentes entrenados para maximizar una combinación de la recompensa aprendida y un bono de diversidad.

2. Diversidad Restringida por Rendimiento:
   A diferencia de los métodos de diversidad previos que requieren políticas expertas u objetivos fijos, PB² adapta el concepto de diversidad restringida por rendimiento (inspirado en SMERL) al entorno no estacionario de PbRL. Un agente diverso $\pi_i$ recibe un bono de diversidad solo si su retorno esperado ($R_i$) cumple con un umbral relativo al ancla:
   $$\pi_i^* \in \arg\max_{\pi_i} \mathbb{E}_{s,a \sim \pi_i} \left[ r_\phi(s, a) + \lambda \cdot \mathbb{1}[R_i \ge \alpha \cdot R_{ref}] \cdot \log q_\psi(i|s) \right]$$
   Aquí, $\lambda$ controla el compromiso, $\alpha$ es el umbral de rendimiento y $q_\psi$ es un discriminador.

3. Discriminador Adaptativo:
   Un discriminador $q_\psi$ es entrenado para predecir qué agente generó un estado $s$ dado. Esto maximiza la información mutua entre las políticas y sus distribuciones de estado, fomentando que los agentes exploren regiones distintas del espacio de estados. Crucialmente, el discriminador se adapta continuamente a medida que el modelo de recompensa $r_\phi$ evoluciona con la nueva retroalimentación humana.

4. Mecanismos de Estabilidad:

   • Herencia de Políticas: Tras las actualizaciones del modelo de recompensa, las redes del crítico y del actor del ancla se transfieren a todos los agentes diversos. Esto asegura que la población se adapte rápidamente a las nuevas señales de preferencia antes de reenganchar los incentivos de diversidad.
   • Suspensión Temporal: Inmediatamente después de una actualización del modelo de recompensa, el bono de diversidad se desactiva temporalmente para permitir que los agentes se estabilicen en el nuevo objetivo antes de explorar.

5. Generación de Consultas:
   La población genera segmentos de trayectoria a través de diversas políticas. La retroalimentación humana se recolecta sobre pares de estos segmentos. Debido a que la población mantiene comportamientos distintos, las consultas resultantes son más distinguibles, reduciendo la ambigüedad para el evaluador humano.

Contribuciones Clave

El artículo reclama cuatro contribuciones primarias:

1. Identificación del Problema de Exploración de Preferencias: Los autores demuestran empíricamente que los métodos de PbRL de un solo agente convergen a mínimos locales en el espacio de preferencias, fallando en la exploración de todo el rango de preferencias humanas.
2. Propuesta de PB²: Un marco basado en poblaciones que mantiene la diversidad de las políticas mediante un bono de diversidad explícito y un mecanismo restringido por rendimiento, ampliando la cobertura del espacio de preferencias sin requerir políticas expertas.
3. Evidencia Empírica sobre las Limitaciones de los Ensambles: Los autores muestran que el modelado de recompensa mediante ensambles neuronales (común en PbRL) induce poca diversidad conductual en la práctica, desempeñándose de manera similar a los métodos de un solo agente y fallando en representar efectivamente la posterior de la recompensa.
4. Demostración de Robustez y Eficiencia: Los resultados experimentales muestran que PB² genera consultas más distinguibles, lo que conduce a un aprendizaje de recompensa más eficiente y una mayor robustez ante la retroalimentación inconsistente (simulada mediante umbrales de similitud) en comparación con los estados del arte.

Resultados Experimentales

Los autores evaluaron PB² en tres configuraciones experimentales:

1. Escapar de Óptimos Locales (Tareas de Navegación):
   En entornos de Navegación 2D y PointMaze con presupuestos de retroalimentación limitados (N=4 a N=20), PB² logró escapar de los óptimos locales donde las líneas base de un solo agente (QPA, PEBBLE, RUNE) permanecieron atrapadas. PB² superó a QPA hasta en un 50% en escenarios de baja retroalimentación, demostrando una eficiencia de exploración superior.

2. Robustez ante Retroalimentación Inconsistente (DMControl):
   Utilizando tareas de locomoción de DMControl (Cheetah_run, Walker, Quadruped), los autores simularon la inconsistencia humana introduciendo un umbral de similitud ($\epsilon$) donde la retroalimentación se vuelve aleatoria para trayectorias similares.

   • A medida que $\epsilon$ aumentaba (simulando evaluadores más ruidosos), los métodos de un solo agente y una línea base de Muestreo de Posterior Duelista (TS) se degradaron significativamente.
   • PB² mantuvo un rendimiento robusto, particularmente en tareas complejas como Quadruped_walk y Walker_walk, logrando retornos significativamente más altos que las líneas base bajo condiciones ruidosas.

3. Distinguibilidad y Diversidad:
   Las visualizaciones confirmaron que la población de PB² generó trayectorias cubriendo un área más amplia del espacio de estados en comparación con los métodos de un solo agente. Se demostró que el bono de diversidad es esencial; sin él, la población colapsó en comportamientos similares, parecidos al QPA puramente explotativo.

Significado y Reivindicaciones

El artículo posiciona a PB² como una solución práctica para escenarios donde la retroalimentación humana es costosa, limitada y potencialmente inconsistente. Al cambiar de un paradigma de un solo agente a uno basado en poblaciones, PB² aborda la limitación fundamental de la "exploración del espacio de preferencias" en PbRL.

Los autores afirman que su enfoque:

• Reduce la Ambigüedad: Al generar comportamientos claramente distinguibles, minimiza la carga cognitiva de los evaluadores humanos y reduce el impacto de los errores de etiquetado.
• Mejora la Eficiencia de Muestreo: Logra un mejor rendimiento con menos consultas de retroalimentación, lo que lo hace adecuado para aplicaciones del mundo real con humanos en el bucle.
• Supera los Óptimos Locales: Proporciona un mecanismo para escapar de las políticas subóptimas que atrapan a los métodos tradicionales de PbRL de un solo agente.

El trabajo sugiere que mantener una diversidad conductual explícita no es meramente un objetivo auxiliar, sino una condición necesaria para un aprendizaje de preferencias efectivo en entornos complejos, desafiando la suposición de que los métodos de ensamble estándar son suficientes para la exploración.