Best Policy Learning from Trajectory Preference Feedback

1. Introducción y Definición del Problema

El artículo aborda el desafío de alinear modelos generativos (como LLMs o modelos de difusión) con las intenciones humanas utilizando Aprendizaje por Refuerzo Basado en Preferencias (PbRL).

• Contexto: El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) estándar depende de modelos de recompensa aprendidos, lo que los hace vulnerables a la mala especificación y al "hacking de recompensas". PbRL ofrece una alternativa más robusta utilizando comparaciones binarias (preferencias) sobre trayectorias completas en lugar de recompensas escalares absolutas.
• El Problema: La mayoría de los enfoques prácticos comienzan con un conjunto de datos offline de preferencias (a menudo sesgado, fuera de distribución o generado por evaluadores con "competencia" subóptima). El objetivo es identificar la Mejor Política (Best Policy Identification - BPI) minimizando el simple regret (la diferencia de recompensa entre la política óptima y la política aprendida al final del proceso), en lugar de minimizar el cumulative regret (pérdida acumulada durante el entrenamiento).
• Desafío Clave: ¿Cómo combinar sistemáticamente un conjunto de datos offline de baja calidad con una exploración online pura para maximizar la eficiencia del aprendizaje bajo un presupuesto limitado de interacciones?

2. Metodología: Algoritmo PSPL

Los autores proponen PSPL (Posterior Sampling for Preference Learning), un algoritmo inspirado en el Top-Two Thompson Sampling.

A. Marco Teórico y Modelado

• Entorno: Se modela como un Proceso de Decisión de Markov (MDP) episódico con horizonte $H$, donde tanto la dinámica de transición ($\eta$) como la función de recompensa ($\theta$) son desconocidas.
• Modelo de Preferencia: Se utiliza el modelo Bradley-Terry. Un evaluador (rater) con competencia $(\lambda, \beta)$ compara dos trayectorias $\tau_0$ y $\tau_1$.
  • $\beta$: Mide la deliberación o certeza del evaluador (cuán "greedy" es su decisión).
  • $\lambda$: Mide el conocimiento del evaluador sobre la verdadera recompensa ambiental $\theta$ (si $\lambda \to \infty$, el evaluador es un experto).
  • La probabilidad de preferencia sigue una función logística: $P(Y=0) = \sigma(\beta \langle \phi(\tau_0) - \phi(\tau_1), \vartheta \rangle)$, donde $\vartheta$ es la estimación del evaluador de $\theta$.

B. El Algoritmo PSPL (Paso a Paso)

El algoritmo opera en dos fases:

1. Fase Offline (Inicialización Informada):

   • Se construyen priors informados sobre los parámetros de recompensa ($\theta$) y transición ($\eta$) utilizando el conjunto de datos offline $D_0$.
   • A diferencia de métodos que ignoran la calidad de los datos, PSPL incorpora explícitamente la competencia del evaluador $(\lambda, \beta)$ y el tamaño del dataset $N$ para ajustar la distribución posterior inicial. Esto permite "calentar" (warm-start) el proceso de aprendizaje.

2. Fase Online (Exploración Pura):

   • En cada episodio $k$, el algoritmo muestrea dos pares de parámetros $(\theta^{(i)}, \eta^{(i)})$ de las distribuciones posteriores actuales.
   • Calcula dos políticas óptimas $\pi^{(0)}_k$ y $\pi^{(1)}_k$ basadas en estos parámetros muestreados.
   • Ejecuta ambas políticas para generar dos trayectorias $\tau^{(0)}_k$ y $\tau^{(1)}_k$.
   • Obtiene retroalimentación binaria $Y_k$ de un evaluador y actualiza las distribuciones posteriores.
   • Salida Final: Al terminar los $K$ episodios, se calcula la política final utilizando la estimación de Máxima A Posteriori (MAP) de los parámetros aprendidos.

C. Aproximación Práctica (Bootstrapped PSPL)

Dado que la actualización exacta de la posterior (ecuaciones 4 y 5) es intratable debido a la pérdida de conjugación, los autores proponen una versión aproximada utilizando Bootstrapping Bayesiano:

• Se perturba la función de pérdida de Máxima Verosimilitud (MAP) con pesos aleatorios (para datos online y offline) y muestras del prior.
• Esto genera muestras aproximadas de la posterior sin necesidad de inferencia bayesiana costosa, haciendo el algoritmo computacionalmente viable.

3. Contribuciones Clave

1. Marco Formal Unificado: Presentan el primer marco teórico para el aprendizaje de la mejor política en MDPs desconocidos utilizando retroalimentación de preferencias a nivel de trayectoria, combinando datos offline y online.
2. Algoritmo PSPL: Introducen el primer algoritmo de aprendizaje de mejor política basado en muestreo posterior para este escenario, capaz de manejar evaluadores con competencia variable.
3. Garantías Teóricas (Regret):
   • Proporcionan los primeros límites de simple regret bayesiano para PbRL.
   • Demuestran que el regret disminuye exponencialmente a medida que aumenta el tamaño del dataset offline ($N$) y la competencia del evaluador ($\lambda, \beta$).
   • El límite de regret es del orden $\tilde{O}(\sqrt{S^2 A H^3 / K})$, donde $S$ es el espacio de estados, $A$ el de acciones, y $K$ los episodios online.
4. Validación Empírica: Validan el algoritmo en entornos de control clásicos (MountainCar, RiverSwim) y en una tarea compleja de generación de imágenes (usando el dataset Pick-a-Pic), superando a las líneas base actuales.

4. Resultados Experimentales

Los experimentos comparan PSPL (y su versión Bootstrapped) contra:

• LPbRL: Aprendizaje por refuerzo basado en preferencias logísticas (sin uso de datos offline).
• DPS (Dueling Posterior Sampling): Un método existente que usa datos offline solo para inicializar modelos, sin ajustar la competencia del evaluador.
• DPO / IPO: Métodos de optimización directa de preferencias (usados como referencia en la introducción).

Hallazgos principales:

• Valor de los Datos Offline: Incorporar datos offline reduce significativamente el simple regret en comparación con empezar desde cero.
• Importancia de la Competencia: PSPL aprovecha explícitamente los parámetros de competencia $(\lambda, \beta)$. Cuando el evaluador es más experto (mayor $\lambda$ y $\beta$), el regret cae drásticamente.
• Robustez: El algoritmo es robusto a la mala especificación de los parámetros de competencia del evaluador. Incluso si se asume un evaluador menos competente de lo que realmente es, PSPL sigue superando a las líneas base.
• Generación de Imágenes: En la tarea de text-to-image, PSPL logra una mayor recompensa final (mejor calidad de imagen) con menos episodios de ajuste fino online en comparación con DPS.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

1. Puente entre Offline y Online: Resuelve la brecha teórica y práctica entre el uso de grandes conjuntos de datos de preferencias estáticos (comunes en la industria) y la necesidad de exploración online activa para refinar políticas.
2. Enfoque en BPI vs. Cumulative Regret: Al centrarse en la identificación de la mejor política final (BPI) en lugar de la minimización de la pérdida acumulada, el método se alinea mejor con los procesos de evaluación humana en la alineación de LLMs, donde lo que importa es el rendimiento final del sistema, no el comportamiento durante el entrenamiento.
3. Manejo de Evaluadores Imperfectos: A diferencia de muchos trabajos que asumen evaluadores expertos, PSPL modela explícitamente la incertidumbre y la competencia del evaluador, lo que lo hace más aplicable a escenarios del mundo real donde los datos de preferencia pueden ser ruidosos o provenir de usuarios no expertos.
4. Escalabilidad: La versión Bootstrapped demuestra que los métodos bayesianos avanzados pueden ser implementados de manera eficiente en tareas de alta dimensión como la generación de imágenes, ofreciendo una alternativa viable a los métodos de optimización directa (como DPO) que a veces carecen de mecanismos de exploración robustos.

En resumen, el artículo establece una nueva base sólida para el PbRL, demostrando que el muestreo posterior informado por datos offline y la competencia del evaluador es una estrategia superior para alinear modelos generativos de manera eficiente y robusta.