DRIFT: Learning from Abundant User Dissatisfaction in Real-World Preference Learning

Resumen Técnico: DRIFT – Aprendizaje a partir de la Abundante Insatisfacción del Usuario en el Aprendizaje de Preferencias del Mundo Real

Planteamiento del Problema
El alineamiento actual de los Grandes Modelos de Lenguaje (LLM) depende fuertemente del Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) y la Optimización de Preferencias Directas (DPO). Sin embargo, estos métodos enfrentan desafíos significativos de escalabilidad en el despliegue del mundo real. Dependen típicamente de anotaciones humanas curadas y costosas o asumen la disponibilidad de abundante retroalimentación positiva (satisfacción, SAT). En contraste, los datos de interacción en el mundo real se caracterizan por una escasez de señales explícitas de satisfacción (solo el 1–3% de los usuarios proporciona retroalimentación) y una abundancia de señales implícitas de insatisfacción (insatisfacción, DSAT). Los usuarios expresan la insatisfacción de forma natural mediante correcciones, refinamientos y preguntas de seguimiento; sin embargo, los enfoques existentes de aprendizaje de preferencias están mal alineados con este perfil de datos, fallando a menudo en el aprovechamiento de las ricas señales negativas implícitas disponibles en la naturaleza.

Metodología: DRIFT
Los autores proponen DRIFT (Dissatisfaction-Refined Iterative preFerance Training), un marco diseñado para anclar el entrenamiento en las señales de DSAT del mundo real mientras se muestrean dinámicamente las respuestas positivas.

• Mecanismo Central: A diferencia de los métodos que tratan las respuestas de verdad fundamental fijas como positivas (por ejemplo, SPIN) o que dependen de pares autogenerados que pueden sufrir colapso en su calidad, DRIFT construye pares de preferencia donde:
  • Respuesta Rechazada ($y^-$): Una señal genuina de insatisfacción del usuario del mundo real extraída de registros de conversación auténticos (por ejemplo, un usuario corrigiendo un error del modelo).
  • Respuesta Elegida ($y^+$): Una respuesta fresca muestreada de la política actual ($\pi_\theta$) en evolución para el mismo prompt.
• Proceso Iterativo: El entrenamiento procede en ciclos. El modelo filtra un conjunto de datos salvaje (por ejemplo, WildFeedback) para identificar casos de DSAT. Para cada prompt asociado con una señal de DSAT, el modelo actual genera una nueva respuesta candidata. El modelo se actualiza mediante la pérdida DPO para maximizar la verosimilitud de la respuesta positiva generada en relación con la respuesta negativa del mundo real.
• Perspectiva de Diseño Clave: Al anclarse en negativos de DSAT auténticos y muestrear positivos de la política en evolución, DRIFT mantiene un margen de preferencia no evanescente. Esto evita el "colapso de gradiente" observado en otros métodos de auto-mejora donde las respuestas elegidas y rechazadas se vuelven demasiado similares con el tiempo.

Contribuciones Clave

1. Validación Empírica: DRIFT supera consistentemente a los fuertes baselines iterativos (SPIN e Iterative DPO) en evaluaciones del mundo real.
2. Exploración Mejorada: El método preserva la capacidad exploratoria, generando soluciones diversas de alto rendimiento en lugar de colapsar en subconjuntos estrechos del espacio de respuestas.
3. Análisis Teórico: Los autores proporcionan una prueba teórica de que DRIFT mantiene un margen de preferencia esperado no evanescente y evita la degeneración del gradiente, una limitación crítica en los modelos de auto-mejora existentes que dependen de conjuntos positivos fijos.

Resultados Experimentales
Los autores evaluaron DRIFT en los modelos Qwen2.5-7B y Qwen2.5-14B utilizando dos conjuntos de datos: WildFeedback (mundo real, etiquetado por usuarios) y UltraFeedback (sintético, etiquetado por LLM).

• WildFeedback (Mundo Real):
  • DRIFT logró una mejora de hasta un +6.23% (7B) y +7.61% (14B) en la puntuación de tareas de WildBench sobre los modelos base.
  • Logró una mejora de hasta un +8.95% (7B) y +12.29% (14B) en la tasa de victoria de AlpacaEval2.
  • En la escala de 14B, los modelos entrenados con DRIFT superaron a GPT-4o-mini en WildBench.
  • DRIFT demostró una estabilidad superior a lo largo de múltiples iteraciones (hasta 5), mientras que SPIN e IterDPO mostraron degradación de rendimiento o estancamiento temprano.
• UltraFeedback (Sintético):
  • DRIFT mantuvo su superioridad, superando a SPIN e IterDPO incluso en datos sintéticos, con ganancias de +7.61% (14B) en la puntuación de tareas de WildBench y +12.29% en la tasa de victoria de AlpacaEval2.
• Análisis de Exploración: Utilizando topografía de recompensa semántica (UMAP + KDE), los autores mostraron que DRIFT cubre una porción significativamente mayor de la región global de alta recompensa en comparación con los baselines, lo que indica mejor diversidad y evita el colapso de modo.

Significancia y Reivindicaciones
El artículo afirma que DRIFT ofrece una receta escalable y efectiva para el post-entrenamiento en el mundo real al aprovechar la señal más abundante e informativa disponible: la insatisfacción del usuario.

• Escalabilidad: Transforma el "problema" de la abundante retroalimentación negativa en un activo de entrenamiento, eliminando el cuello de botella de necesitar anotaciones positivas escasas.
• Estabilidad: Al evitar la dependencia de un conjunto fijo de positivos "oro", DRIFT mitiga el riesgo de reward hacking y colapso del modelo asociados con métodos como SPIN.
• Generalización: El enfoque se generaliza a través de diferentes arquitecturas de modelos (probado en Qwen y Gemma) y preserva las características de seguridad, mostrando sin aumento en las tasas de éxito de jailbreak o toxicidad en comparación con los baselines.

Los autores concluyen que fundamentar la optimización de preferencias en la insatisfacción del mundo real proporciona un camino fiable para alinear los LLM con las necesidades evolutivas de los usuarios sin los costos prohibitivos de la anotación humana curada.