PAWS: Preference Learning with Advantage-Weighted Segments

Resumen Técnico: PAWS (Preference Learning with Advantage-Weighted Segments)

Planteamiento del Problema
El Aprendizaje por Refuerzo basado en Preferencias (PbRL) busca aprender políticas a partir de comparaciones de trayectoria de nivel humano en lugar de funciones de recompensa explícitas. Sin embargo, los métodos existentes sufren un desplazamiento de distribución entre el entrenamiento y la inferencia. Típicamente, los métodos de PbRL entrenan una función de utilidad (por ejemplo, un modelo de recompensa o de ventaja) sobre preferencias a nivel de segmento o de trayectoria. No obstante, durante la optimización de la política, estos modelos son consultados sobre pares de estado-acción individuales para computar señales de aprendizaje por paso.

Este desajuste crea un problema de asignación de crédito temporal. Como ilustra el artículo, muchos repartos distintos de ventaja por paso pueden sumar la misma etiqueta de preferencia a nivel de segmento. En consecuencia, el modelo de utilidad queda sub-determinado al nivel de paso individual. Cuando el optimizador de la política consulta este modelo en pasos únicos (inferencia) a pesar de haber sido entrenado en segmentos, las señales de aprendizaje resultantes son ambiguas e insuficientes, lo que degrada severamente el aprendizaje de la política, particularmente en regímenes de bajos datos.

Metodología: PAWS
Los autores proponen PAWS (Preference Learning with Advantage-Weighted Segments) para resolver este desplazamiento de distribución alineando el entrenamiento de la utilidad con la optimización de la política al nivel de segmento.

1. Aprendizaje de Ventaja:

   • En lugar de aprender una función de recompensa, PAWS aprende directamente una función de ventaja $A_\phi$ a partir de pares de preferencia a nivel de segmento $(\tau^+, \tau^-)$.
   • La verosimilitud de la preferencia se modela utilizando una formulación de Bradley-Terry basada en la suma de las ventajas dentro de un segmento: $P_{A_\phi}[\tau^+ \succ \tau^-] = \frac{\exp(A_\phi(\tau^+))}{\exp(A_\phi(\tau^+)) + \exp(A_\phi(\tau^-))}$.
   • El modelo puede implementarse utilizando un codificador Transformer o un Perceptrón Multicapa (MLP).

2. Optimización de Política Basada en Segmentos:

   • En lugar de inferir utilidades por paso, PAWS realiza actualizaciones de la política directamente sobre segmentos de trayectoria.
   • El método formula un problema de optimización restringida para encontrar una distribución de segmentos óptima $p^*(\tau)$ que maximice la ventaja esperada mientras se mantiene dentro de una región de confianza (límite de divergencia KL $\epsilon$) de la distribución de datos original $p_D(\tau)$.
   • La solución produce una distribución de segmentos reponderada: $p^*(\tau) \propto p_D(\tau) \exp(\frac{1}{\lambda} A_\phi(\tau))$.
   • La política $\pi_\theta$ se actualiza entonces maximizando un objetivo de máxima verosimilitud ponderado, donde los pesos son el exponencial de las ventajas del segmento:
     $$\mathcal{L}(\theta) = \sum_{\tau \in D} \sum_{(s_t, a_t) \in \tau} \exp\left(\frac{A_\phi(\tau)}{\lambda}\right) \log \pi_\theta(a_t|s_t)$$
   • Crucialmente, el peso de importancia se aplica a todo el segmento, asegurando que la actualización de la política respete la información de preferencia a nivel de segmento.

3. Control de Hiperparámetros mediante el Tamaño de Muestra Efectivo:

   • Para evitar el ajuste manual del límite KL $\epsilon$ (que depende de la dimensionalidad de la acción y del tamaño del conjunto de datos), PAWS introduce una estrategia basada en datos para controlar el multiplicador de Lagrange $\lambda$.
   • Los autores proponen establecer $\lambda$ para lograr un tamaño de muestra efectivo ($n_{eff}$) deseado, calculado a partir de los pesos de importancia. Esto permite un control intuitivo sobre cuántos segmentos contribuyen significativamente a la actualización, equilibrando la explotación de segmentos de alta ventaja con la estabilidad.

Contribuciones Clave

• Análisis del Desplazamiento de Distribución: El artículo identifica el desajuste entre el entrenamiento de la utilidad a nivel de segmento y la inferencia a nivel de paso como una limitación central de los métodos de PbRL existentes, lo que causa una asignación de crédito temporal ambigua.
• Algoritmo PAWS: Un nuevo método de aprendizaje de preferencias basado en segmentos que realiza actualizaciones de política utilizando segmentos ponderados por ventaja, preservando la información de preferencia a nivel de trayectoria y evitando señales por paso poco fiables.
• Ajuste de Hiperparámetros Basado en Datos: Una estrategia intuitiva para establecer los hiperparámetros de optimización de la política basados en el tamaño de muestra efectivo de los datos ponderados por preferencia, reduciendo la dependencia del ajuste manual.
• Validación Empírica: Evaluación exhaustiva en tareas de manipulación robótica simulada (Meta-World) y locomoción (D4RL), demostrando mejoras consistentes sobre las líneas base establecidas.

Resultados Experimentales
Los autores evaluaron PAWS en 10 tareas de manipulación de Meta-World y 4 tareas de locomoción de D4RL bajo dos presupuestos de preferencia (50 y 500 pares).

• Rendimiento: PAWS (tanto las variantes Transformer como MLP) superó consistentemente a las líneas base, incluyendo Behavior Cloning (BC), P-IQL, CPL, CPL+KL, Preference Transformer e IPL.
• Régimen de Bajos Datos: En la configuración de 50 preferencias, muchas líneas base se degradaron hasta rendir peor que Behavior Cloning, mientras que PAWS mantuvo un rendimiento robusto, destacando su eficiencia en escenarios de escasez de datos.
• Estudios de Ablación:
  • Granularidad de Actualización: Reemplazar las actualizaciones de nivel de segmento de PAWS con actualizaciones a nivel de estado-acción (usando la misma función de ventaja aprendida) resultó en una caída significativa del rendimiento, confirmando que el desplazamiento de distribución es la causa principal del fallo en los enfoques estándar.
  • Longitud del Segmento: Aumentar la longitud del segmento exacerbó la degradación del rendimiento para las actualizaciones basadas en estado-acción, pero tuvo un impacto negativo mínimo en PAWS, que opera nativamente a nivel de segmento.
  • Retroalimentación Humana: Al probarse con preferencias recolectadas de 10 etiquetadores humanos no autores, PAWS alcanzó las tasas de éxito más altas en las tareas de "Presionar Botón" y "Abrir Puerta", validando su robustez ante el ruido humano real.
  • Asignación de Crédito: PAWS demostró una mayor correlación de rango de Spearman con las clasificaciones de expertos en comparación con las actualizaciones por paso, indicando una preservación superior de las estructuras de preferencia temporal.

Significancia y Reivindicaciones
El artículo afirma que las ganancias de rendimiento de PAWS provienen principalmente de alinear las distribuciones de entrenamiento e inferencia de la función de utilidad aprendida, en lugar de de elecciones arquitectónicas específicas (ya que tanto la variante MLP como la Transformer superaron a sus contrapartes de nivel de paso).

Los autores enfatizan que PAWS ofrece una solución fundamentada al problema de la asignación de crédito temporal en PbRL al evitar las "señales de aprendizaje por paso poco fiables" inherentes a los métodos que entrenan en segmentos pero infieren en pasos. El método se presenta como particularmente efectivo en regímenes de bajos datos, donde las estimaciones de utilidad por paso son más ruidosas. Aunque la evaluación se limita a tareas robóticas simuladas con datos de oráculo y de pequeña escala, los autores sugieren que la perspectiva de nivel de segmento es directamente aplicable al ajuste fino de preferencias de grandes modelos generativos (por ejemplo, RLHF), donde las comparaciones se realizan típicamente sobre respuestas completas en lugar de tokens individuales.

Limitaciones
Los autores reconocen que PAWS asigna pesos de importancia uniformes a todos los pares estado-acción dentro de un segmento, lo cual puede ser subóptimo si un segmento contiene una mezcla de acciones de alta y baja calidad. Además, la elección del tamaño de muestra efectivo ($n_{eff}$) requiere una selección, aunque se señala que es más intuitiva que el ajuste directo del límite KL. Finalmente, la evaluación actual se limita a la simulación y aún no aborda la retroalimentación humana a gran escala y con ruido.