Resumen Técnico: Mitigación del Sesgo Cognitivo en RLHF mediante la Alteración de la Rationalidad

Enunciado del Problema

El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) se basa en la premisa de que los anotadores humanos expresan preferencias que reflejan fielmente sus intenciones latentes. Sin embargo, esta premisa es defectuosa porque el juicio humano está frecuentemente sujeto a sesgos cognitivos (por ejemplo, la falacia de la conjunción, el sesgo de anclaje, la falacia del costo hundido). En las tuberías estándar de RLHF, estas desviaciones sistemáticas se tratan como ruido estocástico uniforme. El proceso de aprendizaje modela típicamente las preferencias humanas utilizando una formulación de racionalidad de Boltzmann, donde un parámetro de racionalidad fijo, $\beta$, gobierna la consistencia entre las diferencias de recompensa latente y las preferencias pareadas observadas.

Tratar $\beta$ como una constante global asume implícitamente una fiabilidad uniforme de los anotadores en todos los contextos. En consecuencia, cuando los datos de entrenamiento contienen sesgos cognitivos sistemáticos, el modelo de recompensa aprendido incorpora estos sesgos, provocando que los Modelos de Lenguaje Grandes (LLM) aguas abajo reproduzcan o incluso amplifiquen comportamientos irracionales. El problema central abordado es cómo hacer que RLHF sea robusto ante una retroalimentación humana imperfecta donde las desviaciones de la racionalidad no son aleatorias, sino dependientes del contexto y sistemáticas.

Metodología

Los autores proponen un marco que trata la racionalidad como dependiente del contexto y de la anotación, en lugar de fija. En lugar de un $\beta$ global, introducen un parámetro de racionalidad dinámico y dependiente de la instancia, $\beta_{new}$, que modula el peso de cada par de preferencias durante el aprendizaje de la recompensa basándose en la probabilidad estimada de sesgo cognitivo.

1. Parámetro de Racionalidad Dinámico ($\beta_{new}$)

El método reemplaza el $\beta$ fijo con una función de la probabilidad de sesgo estimada ($D_f$) para una comparación específica:
$$\beta_{new} = \text{logístico}(k \cdot (\theta - D_f))$$
Donde:

• $D_f \in [0, 1]$ es la probabilidad estimada de que la retroalimentación observada esté influenciada por un sesgo cognitivo.
• $\theta$ es un parámetro umbral que determina cuándo comienza a reducirse el peso de la retroalimentación.
• $k$ controla la pendiente de la transición.

Cuando $D_f$ es baja (baja probabilidad de sesgo), $\beta_{new}$ se aproxima a 1, otorgando un peso alto a la preferencia. A medida que $D_f$ aumenta, $\beta_{new}$ disminuye hacia 0, reduciendo efectivamente la influencia de los juicios potencialmente sesgados en el modelo de recompensa.

2. Detección de Sesgos (Estimación de $D_f$)

Para estimar $D_f$, los autores emplean un enfoque de "LLM como juez". Un LLM listo para usar (por ejemplo, ChatGPT 5.2 Thinking o Mistral-7B-Instruct) evalúa cada ejemplo de entrenamiento (prompt, respuestas candidatas y la preferencia elegida) para predecir la probabilidad de sesgo.

• Evaluación Pareada: El juez identifica cuál de las dos respuestas candidatas es más sesgada.
• Calibración: Un paso de calibración ligero corrige los errores de direccionalidad sistemática entre diferentes tipos de sesgos utilizando un conjunto de validación mínimo retenido.
• Granularidad: Crucialmente, $D_f$ se define con respecto a la respuesta elegida dentro de un escenario específico, no al escenario en sí. Esto permite que el sistema retenga señales informativas de escenarios que inducen sesgos donde el anotador evita con éxito el sesgo (por ejemplo, un anotador entrenado estadísticamente que rechaza correctamente la falacia de la conjunción).

3. Tubería de Entrenamiento

• Modelo de Recompensa: Un modelo de recompensa (inicializado desde Mistral-7B) se entrena utilizando una función de pérdida donde el peso de cada par es condicional a $\beta_{new}$.
• Optimización de la Política: La política aguas abajo se ajusta finamente utilizando Optimización de Política Relativa por Grupos (GRPO) con el modelo de recompensa congelado y consciente del sesgo.
• Conjuntos de Datos: El método se valida en dos conjuntos de datos diseñados para elicitar sesgos cognitivos: el Conjunto de Datos BRU (205 preguntas, 8 tipos de sesgo) y el Conjunto de Datos CogBias (30.000 casos, 30 tipos de sesgo). Para simular modos de fallo realistas de RLHF, los datos de entrenamiento se construyen de modo que las respuestas sesgadas sean preferidas sobre las respuestas de verdad fundamental en una fracción ajustable de casos (por ejemplo, una relación 3:1).

Contribuciones Clave

1. Racionalidad Dependiente del Contexto: El artículo desafía la suposición estándar de un parámetro de racionalidad fijo en RLHF, proponiendo en su lugar que $\beta$ debe variar según la fiabilidad de instancias específicas de retroalimentación.
2. Mecanismo de Reducción de Peso Dinámico: Los autores introducen un mecanismo para ajustar dinámicamente $\beta$ utilizando un detector de sesgos basado en LLM, permitiendo que el sistema reduzca el peso de las comparaciones sesgadas mientras preserva las señales informativas de juicios no sesgados dentro del mismo contexto.
3. Robustez ante Detección Imperfecta: El método demuestra efectividad incluso cuando el detector de sesgos (el LLM como juez) es imperfecto o ruidoso, siempre que la precisión del detector permanezca por encima de cierto umbral (aproximadamente 57-60%).

Resultados Experimentales

Los autores evaluaron su enfoque en los conjuntos de datos BRU y CogBias, comparando el método de $\beta$ dinámico contra líneas base que utilizan valores de $\beta$ fijos (0.1, 0.5, 0.9, 1.0) y asignaciones aleatorias de $\beta$.

• Reducción en la Propagación de Sesgos: En el conjunto de datos CogBias, el modelo desesegado logró una precisión de verdad fundamental del 67.6%, una mejora significativa sobre el modelo base sin ajuste fino (42.4%) y las líneas base entrenadas en los mismos datos sesgados (que colapsaron a una precisión de ~1.7%). En el conjunto de datos BRU, el modelo desesegado mejoró la precisión en un 8.3% sobre el modelo base a pesar de haber sido entrenado con datos sesgados en una relación 3:1.
• Robustez ante Retroalimentación Sesgada: El método previno con éxito el "colapso hacia preferencias sesgadas" observado en las líneas base. Incluso cuando los datos de entrenamiento contenían una relación de 5:1 de preferencias sesgadas frente a preferencias de verdad fundamental, el modelo de $\beta$ dinámico mantuvo una precisión significativamente mayor que las líneas base de $\beta$ fijo.
• Preservación del Rendimiento General: La evaluación en el conjunto de datos TruthfulQA mostró ninguna degradación significativa en el rendimiento general (cambio no significativo de -0.5%), lo que indica que la intervención reduce selectivamente el sesgo sin sacrificar la capacidad general.
• Arquitectura Cruzada y Transferibilidad: El enfoque produjo mejoras estadísticamente significativas en diferentes arquitecturas de modelos (Mistral-7B y Qwen3-8B). Además, un modelo ajustado finamente en el pequeño conjunto de datos BRU transfirió con éxito su capacidad para mitigar el sesgo de anclaje al conjunto de datos CogBias más grande, mejorando la precisión de verdad fundamental del 37.7% al 44.3%.

Significado y Afirmaciones

El artículo argumenta que la alineación efectiva en RLHF depende menos de obtener retroalimentación humana idealizada y perfectamente racional, y más de modelar las distorsiones inherentes a dicha retroalimentación. Al reformular los datos de preferencia como dependientes del contexto y sistemáticamente sesgados, los autores demuestran que los modelos de recompensa pueden entrenarse para aprovechar la retroalimentación imperfecta sin colapsar en sus sesgos.

Los autores afirman que su trabajo contribuye a una dirección creciente en la investigación de la alineación: alejarse de la suposición de racionalidad uniforme hacia métodos que detectan, modelan y se adaptan a los sesgos cognitivos. Plantean que tratar $\beta$ como una señal de fidelidad de la retroalimentación, en lugar de una constante fija, permite que los LLM aproximen el razonamiento deliberativo en lugar de heredar heurísticas humanas. El artículo concluye que, aunque el éxito del método depende parcialmente de la precisión del detector de sesgos, la intervención permanece robusta incluso con jueces imperfectos, lo que sugiere que la robustez ante la inconsistencia humana no requiere modelos perfectos de cognición.