Debiasing Reward Models via Causally Motivated Inference-Time Intervention

A continuación se presenta un resumen técnico detallado del artículo "Debiasing Reward Models via Causally Motivated Inference-Time Intervention" de Shinoda et al.

1. Planteamiento del Problema

Los Modelos de Recompensa (MR) son componentes críticos en el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF), utilizados para alinear los Modelos de Lenguaje de Gran Tamaño (LLM) con las preferencias humanas. Sin embargo, los MR son propensos a correlaciones espurias (sesgos) donde asignan puntuaciones más altas a respuestas basándose en características estilísticas superficiales en lugar de en la utilidad o veracidad reales.

• Sesgos Comunes: El artículo identifica cinco sesgos específicos:
  1. Longitud: Preferencia por respuestas más largas independientemente de la calidad.
  2. Párrafos: Preferencia por estructuras de múltiples párrafos.
  3. Superposición: Preferencia por respuestas que superponen léxicamente con el prompt.
  4. Signos de Exclamación: Preferencia por puntuación entusiasta.
  5. Texto en Negrita: Preferencia por el uso de negrita en Markdown para énfasis.
• Limitaciones de las Soluciones Existentes:
  • Métodos en tiempo de entrenamiento: Requieren reentrenar los MR o recopilar nuevos datos, lo cual es costoso y lento para adaptarse a nuevos tipos de sesgos.
  • Métodos en tiempo de inferencia: Los enfoques existentes (por ejemplo, Penalización por Longitud, Regresión Ponderada Localmente) suelen centrarse únicamente en la longitud de la respuesta. A menudo crean una compensación de rendimiento, mejorando el rendimiento en subconjuntos no sesgados mientras degradan el rendimiento en subconjuntos sesgados (o viceversa), fallando en generalizar a través de múltiples tipos de sesgos.

2. Metodología: CIRM (Intervención Causal para Modelos de Recompensa)

Los autores proponen CIRM, un método de intervención en tiempo de inferencia a nivel de neurona que no requiere reentrenamiento. El método se fundamenta en el Análisis de Mediación Causal.

A. Identificación de Neuronas Específicas del Sesgo

1. Análisis de Correlación: Los autores calculan la correlación $\rho$ de Spearman entre la activación de cada neurona en el MR y la magnitud de características espurias específicas (por ejemplo, conteo de tokens para la longitud, conteo de "!" para los signos de exclamación).
2. Selección: Identifican las $k$ neuronas superiores e inferiores con la correlación absoluta más alta para cada tipo de sesgo. Estas se denominan neuronas específicas del sesgo.
3. Localización: El análisis revela que estas neuronas se encuentran predominantemente en las capas tempranas del transformador y en capas de proyección específicas (proyecciones Query, Up y Gate), lo que sugiere que los sesgos se codifican mediante transformaciones de características superficiales en lugar de procesamiento semántico profundo.

B. Mecanismo de Intervención Causal

Los autores modelan el proceso de decisión del MR utilizando un gráfico causal donde:

• $x$: Entrada (par Consulta-Respuesta).
• $m$: Mediador (Activaciones de las neuronas específicas del sesgo).
• $r$: Resultado (Puntuación de recompensa).

Los MR estándar estiman el Efecto Total (ET) de la entrada sobre la recompensa, que incluye tanto el valor del contenido real como el sesgo espurio mediado por $m$. Para eliminar el sesgo, CIRM busca estimar el Efecto Directo Controlado (EDC).

• Intervención: En tiempo de inferencia, las activaciones de las neuronas específicas del sesgo identificadas ($m(x)$) se reemplazan con un valor estático $m^*$, específicamente la activación mediana observada en un conjunto de datos de validación.
• Fórmula: En lugar de calcular $r_\theta(x_1, m(x_1)) - r_\theta(x_2, m(x_2))$, el modelo calcula:
  $$\hat{EDC} = r_\theta(x_1, m^*) - r_\theta(x_2, m^*)$$
• Efecto: Al fijar el mediador a un valor mediano neutral, se suprime la influencia de las características espurias sobre la predicción de la recompensa, aislando la contribución del contenido real.

3. Contribuciones Clave

1. Método Novel en Tiempo de Inferencia: Se introduce CIRM, un método que elimina el sesgo de los MR en tiempo de inferencia interviniendo en menos del 2% de las neuronas totales, evitando el costo del reentrenamiento.
2. Mitigación Multi-Sesgo sin Compensaciones: Se demuestra que CIRM mitiga eficazmente cinco tipos distintos de sesgos simultáneamente. Crucialmente, evita la común "compensación de rendimiento" observada en trabajos anteriores, mejorando la precisión en subconjuntos no sesgados mientras mantiene o mejora las puntuaciones en subconjuntos sesgados.
3. Mejora en la Alineación Descendente: Se muestra que el uso de MRs desviados con CIRM para la anotación de preferencias (entrenamiento DPO) conduce a LLMs con mejor alineación. Los MRs pequeños (2B y 7B) equipados con CIRM lograron un rendimiento comparable al de un MR de 70B de última generación en benchmarks como AlpacaEval y MT-Bench.
4. Interpretabilidad Mecanística: Se proporcionó evidencia de que las señales de sesgo se codifican principalmente en las capas tempranas de los MR, ofreciendo información sobre cómo los MR explotan pistas superficiales.

4. Resultados Experimentales

Benchmarks de Modelos de Recompensa (RewardBench & RM-Bench)

• Rendimiento: CIRM mejoró la precisión en subconjuntos no sesgados para los sesgos de longitud, superposición y signos de exclamación.
• Resolución de Compensaciones: A diferencia de la Penalización por Longitud (LP) y la Regresión Ponderada Localmente (LWR), que a menudo degradaban el rendimiento en subconjuntos sesgados para arreglar los no sesgados, CIRM mejoró o mantuvo el rendimiento en ambos.
• Robustez: En RM-Bench (que prueba la robustez ante variaciones estilísticas sutiles), CIRM evitó la degradación del rendimiento en divisiones "Fáciles" (donde el estilo suele ganar) que afectaba a otros métodos.

Benchmarks de Alineación (AlpacaEval 2.0, MT-Bench, TruthfulQA)

• Entrenamiento DPO: Los LLMs (Llama-3-8B, Gemma-2-9B) entrenados en conjuntos de datos de preferencias anotados por MRs desviados con CIRM mostraron:
  • Mayores Tasas de Victoria (WR) y Tasas de Victoria Controladas por Longitud (LCWR) en AlpacaEval.
  • Puntuaciones mejoradas en MT-Bench.
  • Veracidad: Rendimiento mejorado en TruthfulQA, lo que sugiere que eliminar el sesgo de formato obliga al modelo a priorizar la corrección factual.
• Eficiencia: Los MRs pequeños (2B/7B) con CIRM superaron o igualaron la línea base INF-ORM de 70B en tareas de alineación, demostrando la eficacia de la técnica de eliminación de sesgos.

Estudios de Ablación

• Intervención Simultánea: Mitigar los cinco sesgos simultáneamente arrojó los mejores resultados, sugiriendo una interacción entre las diferentes señales de sesgo.
• Amplificación de Sesgos: Los MRs vanilla a menudo amplificaban los sesgos (por ejemplo, generando respuestas más largas y verbosas) durante el DPO. CIRM redujo significativamente esta amplificación sin hacer que las respuestas fueran artificialmente cortas (un efecto secundario de LP/LWR).

5. Significado y Conclusión

Este artículo presenta un paso significativo hacia adelante en la mejora de la fiabilidad y eficiencia del RLHF.

• Rentabilidad: Al operar en tiempo de inferencia y requerir solo un pequeño conjunto de validación para el ajuste de hiperparámetros, CIRM ofrece una alternativa ligera al costoso reentrenamiento.
• Generalización: El método es agnóstico al modelo y aplicable a diversas arquitecturas de MR.
• Seguridad y Veracidad: Al desacoplar las señales de recompensa de la formateo superficial, CIRM ayuda a prevenir el "hackeo de recompensas" donde los modelos aprenden a manipular el sistema con estilo en lugar de sustancia, lo que conduce a asistentes de IA más veraces y útiles.

Los autores concluyen que la intervención causal en tiempo de inferencia es una herramienta poderosa y generalizable para mejorar la fiabilidad de los Modelos de Recompensa y la alineación subsiguiente de los Modelos de Lenguaje de Gran Tamaño. El trabajo futuro podría extender esto a otros tipos de sesgos (por ejemplo, listas) y otros componentes del pipeline de RLHF.