🤖 AI

Unbiased Alignment for Large Language Models with Noisy Preferences

Este artículo introduce un marco teórico que presenta las pérdidas de Modelo de Recompensa Insesgado (URM) y de Optimización de Preferencia Directa Insesgada (UDPO) para permitir que los modelos de lenguaje de gran tamaño logren un alineamiento robusto y tolerante al ruido directamente a partir de conjuntos de datos de preferencias ruidosos sin requerir supervisión de verdad fundamental limpia.

Autores originales: Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

Publicado 2026-07-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un estudiante brillante pero inexperto (un Modelo de Lenguaje Grande) cómo escribir buenas historias o responder preguntas. Tienes una pila de tarjetas de retroalimentación de un grupo de personas, que le dicen al estudiante cuáles son las respuestas "buenas" y cuáles las "malas".

¿El problema? Las personas que dan la retroalimentación no son perfectas. Algunos están cansados, otros confundidos, y algunos pueden tener sesgos personales. En el mundo real, entre el 20% y el 40% de estas tarjetas de retroalimentación podrían estar mal. Si simplemente sigues ciegamente las tarjetas, el estudiante aprende lecciones erróneas y comienza a cometer errores.

Este artículo presenta una nueva forma de enseñar al estudiante que ignora el "ruido" (los errores) en las tarjetas de retroalimentación y se enfoca en la verdad subyacente.

La idea central: Los auriculares de "cancelación de ruido"

Piensa en la retroalimentación ruidosa como una canción que suena con mucha interferencia estática. Los métodos de enseñanza estándar intentan aprender la canción escuchando todo el desastre, lo que resulta en una melodía distorsionada.

Los autores de este artículo construyeron un sistema matemático de "cancelación de ruido". Se dieron cuenta de que si sabes cómo ocurre el ruido (por ejemplo, "el 20% de las veces, las personas invierten sus respuestas"), puedes revertir matemáticamente el proceso. Es como tener una receta que dice: "Si el pastel sabe demasiado salado, resta exactamente esta cantidad de sal para recuperar el sabor perfecto".

Crearon dos herramientas específicas para esto:

URM (Modelo de Recompensa Sin Sesgo): Esto es para la primera etapa de la enseñanza. Usualmente, el modelo aprende a dar una "puntuación" a las respuestas. Si la retroalimentación es ruidosa, el sistema de puntuación se confunde. El URM actúa como un filtro que limpia las puntuaciones antes de que el modelo las vea, asegurando que el modelo aprenda la distinción correcta de "bueno vs. malo".
UDPO (Optimización de Preferencia Directa Sin Sesgo): Esto es para la segunda etapa, donde el modelo realmente aprende a escribir. En lugar de solo seguir la retroalimentación ruidosa directamente, el UDPO utiliza una fórmula matemática especial para "deshacer" la confusión. Permite que el modelo aprenda el comportamiento correcto incluso si el profesor se equivoca ocasionalmente.

Cómo funciona: La "fórmula mágica"

El artículo afirma que no necesitas saber exactamente cuáles tarjetas de retroalimentación específicas están mal. Solo necesitas saber el "índice de ruido" general (qué tan desordenada es la retroalimentación).

Utilizan una variable llamada $a$ (que se basa en la tasa de ruido).

El truco de la compatibilidad descendente: Imagina que estás adivinando qué tan desordenada es la retroalimentación. Si adivinas que es muy desordenada (una tasa de ruido alta), pero resulta ser solo algo desordenada, tu método sigue funcionando perfectamente. Es como usar botas de lluvia pesadas en un día soleado; te mantienes seco incluso si solo hay llovizna. Sin embargo, si adivinas que está soleado pero en realidad está cayendo un aguacero, te mojas. Los autores demostraron que su método es seguro incluso si sobreestimas el ruido.

Los resultados: Ganar el juego

Los investigadores probaron esto en conjuntos de datos del mundo real (como conversaciones de chat y tareas de resumen) y agregaron ruido artificialmente para ver cómo resistía.

La línea base: Los métodos estándar (como DPO) comenzaron a fallar estrepitosamente cuando el ruido aumentaba. Se confundían y funcionaban mal.
El nuevo método: Sus métodos URM y UDPO se mantuvieron fuertes. Incluso cuando el 40% de la retroalimentación fue invertida (hecha incorrecta), sus modelos aún aprendieron la forma correcta de comportarse.
La prueba: Demostraron matemáticamente que su método no solo "tiene suerte". Se ha demostrado que recupera al "mejor profesor posible" (el clasificador Bayes óptimo) incluso desde un aula ruidosa.

En pocas palabras

Este artículo dice: "No deseches tus datos de retroalimentación ruidosos. En su lugar, usa nuestras nuevas herramientas matemáticas para limpiarlos mientras aprendes".

Proporcionan una función de pérdida de "cancelación de ruido" (una regla matemática para aprender) que permite a los modelos de IA aprender de la retroalimentación humana imperfecta y ruidosa sin confundirse. Es una forma más robusta y segura de alinear la IA con los valores humanos, asegurando que, incluso si los humanos que dan la retroalimentación están cansados o sesgados, la IA aún aprenda las lecciones correctas.

Resumen Técnico: Alineación Sin Sesgos para Modelos de Lenguaje Extensos con Preferencias Ruidosas

Declaración del Problema

La alineación de los Modelos de Lenguaje Extensos (LLMs) con las preferencias humanas es una etapa crítica en el flujo de entrenamiento, lograda típicamente mediante el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) o la Optimización de Preferencias Directas (DPO). Sin embargo, los conjuntos de datos de preferencias del mundo real son inherentemente ruidosos, con errores de anotación, falta de conocimiento profesional y sesgos sociales que introducen un ruido significativo (a menudo entre el 20% y el 40%).

Los métodos de alineación estándar, incluyendo RLHF y DPO, son vulnerables a este ruido. Tienden a sobreajustarse a pares de preferencias erróneos, lo que conduce a señales de recompensa distorsionadas o modelos de política sesgados. Los enfoques existentes para mitigar este problema sufren de limitaciones: algunos no logran una tolerancia total al ruido, mientras que otros (por ejemplo, rDPO) requieren una estimación precisa de la tasa de ruido, lo cual es inviable en escenarios prácticos donde los niveles de ruido de la verdad fundamental son desconocidos.

Metodología

Los autores proponen un marco teórico unificado para la Alineación Sin Sesgos que corrige matemáticamente la distorsión inducida por el ruido de las preferencias sin requerir supervisión limpia de la verdad fundamental. La idea central es que el ruido de las preferencias sigue un proceso de transición modelado estadísticamente. Al invertir este proceso, los autores derivan funciones de pérdida que permiten el entrenamiento directo de modelos sin sesgos a partir de datos ruidosos.

El marco aborda dos paradigmas dominantes:

1. Modelo de Recompensa Sin Sesgo (URM) para RLHF

En el paradigma RLHF, el ruido corrompe la etapa de entrenamiento del modelo de recompensa. Los autores caracterizan la relación entre el modelo de recompensa ruidoso óptimo ( $r^\eta$ ) y el modelo de recompensa sin sesgo óptimo ( $r^*$ ).

Derivación Teórica: Establecen una relación de transformación donde la señal de recompensa sin sesgo puede recuperarse de su contraparte ruidosa utilizando una constante $a = \frac{\eta}{1-\eta}$ , donde $\eta$ es la tasa de ruido.
Pérdida URM: Al sustituir la representación de la recompensa ruidosa por la sin sesgo, derivan la pérdida del Modelo de Recompensa Sin Sesgo (URM):
$L_{URM} = -\log \frac{\exp(\Delta) + a}{\exp(\Delta) + 1}$
donde $\Delta = r_\phi(x, y_w) - r_\phi(x, y_l)$ . Esta pérdida permite entrenar un modelo de recompensa sin sesgo directamente a partir de pares de preferencias ruidosos.

2. Optimización de Preferencia Directa Sin Sesgo (UDPO) para DPO

Para el paradigma DPO, que optimiza la política directamente sin un modelo de recompensa explícito, el ruido también sesga la política aprendida.

Derivación Teórica: Los autores demuestran que la relación entre las políticas ruidosas y las sin sesgo refleja la de los modelos de recompensa. Derivan la transformación entre la razón de la política ruidosa y la razón de la política sin sesgo.
Pérdida UDPO: Esto conduce a la pérdida de Optimización de Preferencia Directa Sin Sesgo (UDPO):
$L_{UDPO} = -\log \frac{\left(\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)}\right)^\beta + a}{\left(\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)}\right)^\beta + 1}$
Esto permite la optimización directa de un modelo de política sin sesgo manteniendo la simplicidad del marco DPO.

Marco Unificado y Propiedades Teóricas

Los autores muestran que tanto URM como UDPO comparten una forma unificada basada en márgenes, preservando la equivalencia fundamental entre RLHF y DPO. Las propiedades teóricas clave establecidas incluyen:

Tolerancia al Ruido: Los métodos son robustos al ruido por diseño.
Compatibilidad Descendente de Parámetros: Si la verdadera tasa de ruido $\eta^*$ es menor o igual a la tasa de ruido estimada $\hat{\eta}$ (usada para establecer $a$ ), la función de pérdida sigue produciendo una solución óptima sin sesgos. Esto es crucial ya que las tasas de ruido exactas son desconocidas; sobreestimar el parámetro de ruido asegura la robustez.
Calibración de Clasificación: Se demuestra que las funciones de pérdida propuestas están calibradas para la clasificación, asegurando que minimizar la pérdida subrogada conduce al clasificador óptimo de Bayes.
Cota de Riesgo Excesivo: El artículo establece una cota que relaciona el riesgo excesivo de la pérdida sin sesgo con la pérdida 0-1, demostrando que el método puede recuperar el clasificador óptimo de Bayes.

Contribuciones Clave

Marco Teórico: Un marco teórico unificado para la alineación sin sesgos que invierte matemáticamente la distorsión del ruido de preferencia tanto para RLHF como para DPO.
Nuevas Funciones de Pérdida: La derivación de la pérdida URM para el modelado de recompensa y la pérdida UDPO para la optimización directa de la política, ambas capaces de entrenar modelos sin sesgos a partir de conjuntos de datos ruidosos.
Garantías Teóricas: Pruebas rigurosas que demuestran la tolerancia al ruido, la compatibilidad descendente de parámetros, la calibración de la clasificación y las cotas de riesgo excesivo.
Validación Empírica: Experimentos exhaustivos en diversos conjuntos de datos (Anthropic-HH, Reddit TL;DR, UltraFeedback Binarized) y familias de modelos (Llama-3, Qwen) que muestran una superioridad consistente sobre los baselines de vanguardia.

Resultados Experimentales

Los autores evaluaron sus métodos frente a baselines que incluyen RM/DPO estándar, variantes de suavizado de etiquetas y otros métodos robustos (rDPO, Dr.DPO) bajo niveles variables de ruido inyectado manualmente (0%, 20%, 40%) y en conjuntos de datos ruidosos reales.

Entrenamiento del Modelo de Recompensa: URM y su variante normalizada ( $\alpha$ -URM) superaron consistentemente a todos los baselines. En el conjunto de datos TL;DR con un 40% de ruido, URM mejoró las tasas de victoria en aproximadamente un 8% respecto a los baselines estándar.
Entrenamiento de Preferencia Supervisada: UDPO y $\alpha$ -UDPO lograron las tasas de victoria promedio más altas en todos los conjuntos de datos. La tasa de victoria promedio de UDPO excedió la de DPO normal por aproximadamente un 15%, confirmando que el DPO estándar se sobreajusta al ruido mientras que el marco sin sesgos recupera la política real.
Escalabilidad: Los métodos demostraron efectividad en modelos más grandes (Llama-3.1-8B, Qwen-3-8B, Qwen-3-14B) y conjuntos de datos complejos (UFB), manteniendo la robustez en entornos de RLHF de bucle cerrado usando GRPO.
Ablación: Los experimentos confirmaron que las variantes normalizadas ( $\alpha$ -URM/ $\alpha$ -UDPO) son menos sensibles a las elecciones de hiperparámetros y logran consistentemente un rendimiento óptimo cuando $a$ se establece para cubrir los niveles de ruido potenciales.

Significado y Reivindicaciones

El artículo afirma ofrecer una "ruta concisa, interpretable y efectiva hacia una alineación de LLM robusta". Al tratar el ruido de preferencia como un proceso de transición matemática e invertirlo analíticamente, los autores proporcionan una solución que no depende del requisito poco práctico de conocer la tasa de ruido exacta.

El significado radica en:

Utilidad Práctica: La propiedad de "compatibilidad descendente de parámetros" permite a los profesionales establecer un parámetro de ruido conservador para asegurar la robustez sin necesidad de una estimación precisa del ruido.
Rigor Teórico: El trabajo cierra la brecha entre la teoría del aprendizaje ruidoso y la alineación de LLMs, proporcionando garantías (calibración, cotas de riesgo) que carecían anteriormente en los métodos de alineación robusta.
Enfoque Unificado: Unifica el tratamiento del ruido tanto en el paradigma de modelado de recompensa (RLHF) como en el de optimización directa (DPO), demostrando que la equivalencia fundamental RLHF-DPO se mantiene incluso bajo los objetivos sin sesgo propuestos.

Los autores concluyen que sus métodos permiten el entrenamiento de LLMs que son resilientes al ruido significativo prevalente en los datos de preferencia del mundo real, mejorando así la seguridad y confiabilidad de los sistemas de IA alineados.