WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback

1. El Problema

A pesar de los avances en los Modelos de Lenguaje Grande (LLM), alinearlos con las preferencias humanas reales sigue siendo un desafío crítico. Los métodos tradicionales de alineación enfrentan varias limitaciones:

• Dependencia de datos anotados: Los conjuntos de datos basados en anotaciones humanas son intensivos en recursos, costosos y a menudo subjetivos. Un pequeño grupo de anotadores puede no representar la diversidad de preferencias de los usuarios reales.
• Sesgo en datos sintéticos: Los métodos que utilizan LLMs para generar datos de preferencia (como ULTRAFEEDBACK) pueden crear bucles de retroalimentación donde el modelo refuerza sus propios sesgos en lugar de capturar perspectivas humanas auténticas y diversas.
• Desalineación con el mundo real: Las preferencias capturadas en entornos controlados a menudo no coinciden con las necesidades evolutivas y diversas de los usuarios en interacciones reales.

2. Metodología: WildFeedback

El artículo introduce WildFeedback, un marco novedoso diseñado para alinear LLMs utilizando retroalimentación in-situ (en el momento) obtenida de conversaciones reales entre usuarios y LLMs. El proceso se divide en tres componentes clave:

A. Identificación de Señales de Retroalimentación

• Fuente de datos: Se utiliza el conjunto de datos WildChat, que contiene más de 148,000 conversaciones multi-turno entre usuarios y ChatGPT.
• Detección SAT/DSAT: Se adapta un marco previo (SPUR) para identificar automáticamente señales de Satisfacción (SAT) y Insatisfacción (DSAT) en las interacciones de los usuarios.
• Criterios: Se utilizan 9 criterios para SAT (ej. gratitud, aprendizaje, elogio) y 9 para DSAT (ej. necesidad de revisión, errores factuales, estilo inadecuado).
• Herramienta: Se emplea GPT-4 para clasificar los turnos de conversación y detectar estas señales con un alto acuerdo con anotadores humanos (Kappa de Cohen ~0.69 para SAT y ~0.50 para DSAT).

B. Construcción de Datos de Preferencia

Una vez identificadas las conversaciones con señales de retroalimentación, se construyen pares de preferencia (Prompt, Preferencia del usuario, Respuesta Preferida, Respuesta No Preferida):

1. Extracción del Prompt: Se toma el historial de conversación hasta la respuesta que desencadena la señal de DSAT.
2. Resumen de Preferencias: Se utiliza GPT-4 para resumir las preferencias del usuario basándose en el texto de su retroalimentación (ej. "el usuario prefiere respuestas precisas y no demasiado elementales").
3. Generación de Respuestas:
   • Respuesta No Preferida: La respuesta original del modelo que provocó la insatisfacción.
   • Respuesta Preferida: Generada por un modelo (GPT-4 o el modelo de política como Phi-3, Qwen-2, LLaMA-3) utilizando las preferencias resumidas como instrucción del sistema.
4. Filtrado de Seguridad: Se aplican instrucciones de seguridad adicionales para evitar que el modelo aprenda preferencias dañinas (ej. contenido explícito).

C. Evaluación Guiada por Listas de Verificación (Checklist-Guided Evaluation)

Para evaluar el rendimiento de manera más precisa que los benchmarks tradicionales:

• Se propone un método donde GPT-4 actúa como juez, pero guiado por una lista de verificación (checklist) extraída de las preferencias reales del usuario para ese caso específico.
• Esto mitiga el sesgo de los LLMs como jueces (que suelen favorecer respuestas más largas o generadas por sí mismos) y asegura que la evaluación refleje las expectativas del usuario real.

3. Contribuciones Clave

1. Marco WildFeedback: Presentación de un sistema escalable que construye conjuntos de datos de preferencia a partir de interacciones reales, abordando los problemas de escalabilidad y subjetividad de los datos anotados manualmente.
2. Construcción Robusta de Datos: Adaptación de técnicas de estimación de satisfacción para extraer preferencias matizadas (tanto explícitas como implícitas) de conversaciones naturales, creando un recurso rico para el ajuste fino (fine-tuning).
3. Nueva Metodología de Evaluación: Introducción de la evaluación guiada por listas de verificación, que alinea la métrica de evaluación con las preferencias humanas reales en lugar de heurísticas predefinidas.

4. Resultados y Análisis

Los autores entrenaron modelos (Phi-3, LLaMA-3, Qwen-2) utilizando el conjunto de datos WildFeedback y compararon su rendimiento contra modelos base y modelos entrenados en ULTRAFEEDBACK.

• Rendimiento en Benchmarks: Los modelos ajustados con WildFeedback mostraron mejoras significativas en benchmarks estándar como AlpacaEval 2, Arena-Hard y MT-Bench. Por ejemplo, la tasa de victoria controlada por longitud (LC) de Phi-3 en AlpacaEval 2 aumentó del 24.3% al 34.9%.
• Alineación con Usuarios Reales: En la evaluación específica del conjunto de datos WildFeedback (usando la metodología de listas de verificación), los modelos entrenados con WildFeedback superaron consistentemente a los entrenados con ULTRAFEEDBACK.
  • Sin listas de verificación, GPT-4 a veces favorecía respuestas genéricas.
  • Con listas de verificación, la tasa de victoria de los modelos entrenados con WildFeedback aumentó drásticamente (ej. LLaMA-3 pasó de ganar el 45.5% al 50.8% de las veces frente a un modelo entrenado en ULTRAFEEDBACK), demostrando una mejor alineación con las preferencias específicas de los usuarios.
• Análisis de Tipos de Retroalimentación: El estudio reveló que la insatisfacción (DSAT) se debe principalmente a la necesidad de revisión (50.36%) y errores factuales (18.55%), mientras que la satisfacción (SAT) se distribuye más diversamente entre elogios, gratitud y reconocimiento.

5. Significado e Impacto

El trabajo WildFeedback representa un paso crucial hacia el desarrollo de LLMs más centrados en el usuario.

• Superación de Limitaciones: Demuestra que es posible crear conjuntos de datos de preferencia de alta calidad sin depender exclusivamente de anotadores humanos costosos o de datos sintéticos sesgados.
• Validación de Enfoque Real: Confirma que aprender directamente de las interacciones in-situ produce modelos que se alinean mejor con las expectativas dinámicas y diversas de los usuarios en el mundo real.
• Nueva Métrica: La propuesta de evaluación guiada por listas de verificación ofrece una herramienta más fiable para medir la alineación de los modelos, superando las deficiencias de los evaluadores automáticos tradicionales.

En resumen, WildFeedback ofrece un camino viable para escalar la alineación de LLMs utilizando la riqueza de los datos generados por los usuarios reales, mejorando tanto la calidad técnica como la satisfacción del usuario final.