Users as Annotators: LLM Preference Learning from Comparison Mode

Resumen Técnico: Usuarios como Anotadores: Aprendizaje de Preferencias de LLM a partir del Modo de Comparación

Enunciado del Problema
La alineación de los Modelos de Lenguaje Grandes (LLM) con las preferencias humanas depende típicamente de datos de preferencia por pares, donde los anotadores seleccionan la mejor respuesta entre dos salidas del modelo. Tradicionalmente, estos datos se recopilan mediante anotadores humanos profesionales, un proceso costoso y limitado en escala. Si bien los usuarios finales de las plataformas de LLM (por ejemplo, a través de modos de comparación en ChatGPT) ofrecen una fuente masiva y escalable de datos de preferencia, este enfoque adolece de una falta crítica de control de calidad. A diferencia de los anotadores profesionales, los usuarios no tienen incentivos para proporcionar juicios consistentes y pueden etiquetar los datos al azar. Las técnicas existentes de control de calidad, como "preguntas doradas" o verificaciones de autoconsistencia, son poco prácticas en este contexto porque las plataformas no pueden controlar las consultas de los usuarios ni forzar anotaciones repetidas. El desafío central es distinguir la retroalimentación de usuarios atentos y de alta calidad de las entradas casuales y ruidosas, sin acceso a etiquetas de verdad fundamental ni supervisión experta.

Metodología
El artículo propone un marco para evaluar la calidad de la anotación de los usuarios y filtrar los datos para tareas de alineación posteriores (específicamente, Optimización Directa de Preferencias, o DPO). La metodología se basa en tres componentes clave:

1. Generación de Respuestas Asimétrica: A diferencia de las pipelines de preferencia estándar donde dos respuestas se generan desde el mismo modelo, este marco genera dos respuestas ($y_{i1}, y_{i2}$) desde dos LLM diferentes ($P_A$ y $P_B$) con una brecha de rendimiento conocida. Esta asimetría crea un punto de apoyo estadístico: se espera que un usuario atento prefiera el modelo más fuerte con mayor frecuencia, mientras que un usuario casual elige al azar.
2. Modelo de Comportamiento del Usuario: Los autores modelan el comportamiento de anotación del usuario $j$ utilizando un parámetro latente de "atención" $\eta_j \in [0, 1]$.
   • Si $\eta_j = 1$, el usuario actúa como un anotador perfecto, seleccionando la respuesta preferida por la población con probabilidad $p(x_i)$.
   • Si $\eta_j = 0$, el usuario selecciona al azar ($50/50$).
   • La probabilidad de que el usuario $j$ seleccione la respuesta 1 se modela como $P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$.
   • Aquí, $p(x_i)$ representa la probabilidad real de preferencia de la población (la probabilidad de que el Modelo A sea mejor que el Modelo B).
3. Algoritmo de Expectación-Maximización (EM): Dado que $\eta_j$ no es observable, los autores desarrollan un algoritmo EM para estimar los parámetros del modelo de comportamiento del usuario (incluyendo la distribución de $\eta_j$ y la probabilidad global de preferencia $\mu$).
   • Paso E: Calcula la distribución posterior de la atención de cada usuario $\eta_j$ dada su historial de anotaciones y las estimaciones actuales de los parámetros.
   • Paso M: Actualiza los parámetros del modelo para maximizar la verosimilitud logarítmica esperada de los datos completos.
   • El algoritmo asume una probabilidad global de preferencia $\mu$ conocida o estimable (la tasa de victorias promedio del Modelo A sobre el Modelo B) para garantizar la identificabilidad, aunque el artículo discute extensiones para $\mu$ desconocido.
   • Una vez inferido $\eta_j$, los usuarios se filtran según un umbral (por ejemplo, reteniendo solo aquellos con alta probabilidad posterior de ser atentos).

Contribuciones Clave

• Marco de Anotación Novel: El artículo introduce el primer modelo probabilístico diseñado específicamente para capturar el comportamiento del usuario en modos de comparación de LLM, aprovechando la asimetría de la generación de respuestas desde dos modelos diferentes para inferir la calidad de los datos.
• Inferencia Estadística mediante EM: Desarrolla un algoritmo EM para estimar la atención latente del usuario y la distribución subyacente de preferencias. Los autores proporcionan garantías teóricas, mostrando que, bajo condiciones de regularidad específicas, el algoritmo converge a los parámetros verdaderos a medida que aumenta el número de usuarios y muestras.
• Filtrado de Datos para Alineación: El marco demuestra una pipeline práctica donde la atención inferida se utiliza para filtrar anotaciones de baja calidad antes del entrenamiento. Esto permite la utilización de masivos datos de preferencia generados por usuarios no verificados, mitigando el ruido.

Resultados Experimentales
Los autores validan su enfoque mediante experimentos sintéticos y tareas de DPO posteriores:

• Convergencia Sintética: Las simulaciones confirman que el algoritmo EM converge a los parámetros verdaderos independientemente de la inicialización. El algoritmo también demuestra robustez ante una especificación incorrecta del modelo (por ejemplo, estimar una distribución discreta cuando la distribución real es continua).
• Rendimiento de DPO: En experimentos utilizando conjuntos de datos como UltraFeedback y HelpSteer3, los autores ajustaron finamente LLM (por ejemplo, Qwen2.5-7B) utilizando datos filtrados.
  • Filtrar para usuarios atentos (reteniendo el 80% superior según la atención inferida) mejoró consistentemente el rendimiento de DPO en comparación con el entrenamiento con datos no filtrados.
  • Las mejoras incluyeron puntuaciones de recompensa promedio más altas (un aumento superior al 10% en algunos casos) y mayores tasas de victoria frente a modelos base.
  • Los experimentos también destacaron una compensación: si bien el filtrado mejora la calidad, un filtrado excesivo reduce el volumen de datos. Existe un umbral óptimo que depende de la distribución subyacente de la atención del usuario.
  • Se encontró que la brecha de rendimiento entre los dos modelos de generación (representada por $\mu$) es crítica; si $\mu$ está demasiado cerca de 0.5, los usuarios atentos y casuales se vuelven indistinguibles, dificultando el proceso de filtrado.

Significado y Afirmaciones
El artículo afirma ofrecer una solución escalable para la alineación de LLM transformando a los usuarios finales en anotadores efectivos. Al formalizar el comportamiento del usuario e introducir un mecanismo estadístico para filtrar el ruido, el trabajo permite el uso de grandes cantidades de datos de preferencia generados por usuarios que anteriormente se consideraban demasiado ruidosos para el entrenamiento. Los autores posicionan esto como un enfoque complementario a los métodos de entrenamiento robustos existentes (como DPO robusto), centrándose en la calidad de los datos antes del entrenamiento y no solo en la tolerancia al ruido durante el entrenamiento. El trabajo también abre la puerta a futuros mecanismos de incentivos para usuarios, como recompensar a los usuarios en función de sus niveles de atención inferidos. La contribución teórica reside en las garantías de convergencia global del algoritmo EM propuesto para este modelo de comportamiento específico, proporcionando una base matemática sólida para el enfoque.