Resumen Técnico: BiasGRPO

Declaración del Problema

Mitigar el sesgo social en los Modelos de Lenguaje de Gran Escala (LLMs) presenta un desafío de alineación único, distinto de las tareas verificables como las matemáticas o la programación. El sesgo carece de una única verdad fundamental, lo que resulta en un paisaje de recompensa de alta varianza y subjetivo. Los métodos existentes de ajuste fino basados en preferencias enfrentan compromisos significantes en este dominio:

• Optimización de Preferencia Directa (DPO): Como algoritmo offline que depende de instancias de pares estáticas, el DPO sufre de una exploración limitada y una menor generalización.
• Optimización de Política Próxima (PPO): Aunque es un método online que permite una mejor exploración, el PPO depende de un modelo crítico (de valor) separado. En paisajes de recompensa ruidosos y subjetivos, estas estimaciones del crítico pueden ser poco fiables, lo que conduce a la inestabilidad del entrenamiento y a actualizaciones de alta varianza.

Actualmente no existe una técnica basada en preferencias que equilibre con éxito la estabilidad de los métodos offline con los beneficios de generalización de la exploración online específicamente para la mitigación del sesgo.

Metodología: BiasGRPO

Los autores proponen BiasGRPO, un marco que adapta la Optimización de Política Relativa al Grupo (GRPO) a las restricciones específicas de la mitigación del sesgo. El marco consta de tres componentes principales:

1. El Núcleo Algorítmico: Optimización Relativa al Grupo

BiasGRPO reemplaza el modelo crítico tradicional utilizado en PPO con una línea base relativa al grupo.

• Mecanismo: Para cada prompt, el modelo de política genera un grupo de completaciones (por ejemplo, $G=4$). En lugar de comparar una sola completación con la estimación de valor de un crítico, la ventaja se calcula normalizando la recompensa de cada completación frente a la media y la desviación estándar de todo el grupo.
• Cálculo de la Ventaja:
  $$\hat{A}_{i,t} = \frac{r_i - \text{media}(r)}{\text{desviación\_estándar}(r)}$$
  Donde $r_i$ es la recompensa para la $i$-ésima completación y $r$ es el conjunto de recompensas para el grupo.
• Justificación para el Sesgo: En dominios subjetivos, definir una respuesta "perfecta" y libre de sesgos es difícil. Sin embargo, al generar un grupo de variaciones, el modelo puede aprender a identificar qué salidas son relativamente menos sesgadas y más respetuosas, incluso si todas las salidas contienen algún grado de sesgo. Esta normalización relativa proporciona una señal de entrenamiento más clara y directa que las estimaciones de ventaja ruidosas derivadas de un único crítico en paisajes de alta varianza.

2. Extensión de Conjunto de Datos Sintético

Para apoyar un entrenamiento exhaustivo en diversos contextos, los autores curaron un conjunto de datos de 20,999 prompts que abarcan 11 dominios. Este conjunto de datos integra:

• BiasDPO: Extendido sintéticamente para incluir 8,855 entradas adicionales.
• Civil Comments: Publicaciones de redes sociales del mundo real para capturar el sesgo provocado por entradas neutras y sesgadas.
• UnQover: Escenarios ambiguos diseñados para provocar respuestas sesgadas.
  El conjunto de datos incluye las correspondientes completaciones favorables y desfavorables para la comparación con DPO y prompts para métodos online.

3. Modelo de Recompensa de Sesgo Personalizado

Los autores desarrollaron un modelo de recompensa especializado y computacionalmente eficiente (0.1B de parámetros) para guiar la generación sin causar degradación del conocimiento.

• Construcción: Un conjunto de datos de 2,930 oraciones únicas de StereoSet, CrowS-Pairs y BBQ fue remuestreado en 9,000 conjuntos.
• Anotación: Utilizando Escalamiento Mejor-Peor (BWS) e Iterative Luce Spectral Ranking (ILSR), un ciclo rotativo de LLMs (GPT-4o, Gemini 2.0 Flash, Claude 4 Sonnet) anotó la severidad del sesgo. Este enfoque multi-LLM mitigó el riesgo de circularidad y de sesgo heredado.
• Entrenamiento: Se entrenó un modelo RoBERTa para predecir los valores de recompensa (escalados [0, 1]), logrando un MSE final de 0.006.
• Validación: El modelo alcanzó la correlación de rango de Spearman más alta (0.4748) con las puntuaciones de "ataque de identidad" de Perspective API en comparación con otros modelos de puntuación de sesgo existentes.

Configuración Experimental

• Modelo Base: El modelo Phi-2 de Microsoft de 2.7B, elegido como un banco de pruebas de "lienzo en blanco" (sin RLHF previo ni mitigación de sesgo).
• Líneas Base: Los autores compararon BiasGRPO contra DPO (usando la variante de Optimización de Preferencia de Identidad) y PPO.
• Benchmarks:
  • BOLD: Mide el daño representacional (menor es mejor).
  • RealToxicityPrompts: Mide la hostilidad manifiesta (menor es mejor).
  • BBQ: Mide el estereotipo implícito en escenarios ambiguos (mayor es mejor).
  • TruthfulQA: Evalúa la retención de conocimiento para asegurar que no hay olvido catastrófico (mayor es mejor).

Resultados Clave

BiasGRPO superó tanto a DPO como a PPO en todos los benchmarks:

• Reducción de Sesgo: El modelo GRPO logró las puntuaciones más bajas en BOLD (0.0140 vs. 0.0222 para DPO y 0.0268 para PPO) y RealToxicityPrompts (0.0198 vs. 0.0234 para DPO).
• Estereotipos: En BBQ, GRPO logró la mayor precisión (0.3123 vs. 0.2823 para DPO).
• Retención de Conocimiento: Crucialmente, BiasGRPO aumentó su puntuación de TruthfulQA (0.3941 vs. 0.3843 para el modelo base), demostrando que la mitigación del sesgo no degradó el conocimiento fáctico ni causó un olvido catastrófico.
• Estabilidad del Entrenamiento: El análisis de las curvas de entrenamiento mostró que mientras DPO se estancó tempranamente (limitación de generalización) y PPO exhibió una convergencia irregular e inestable (debido al ruido del crítico), BiasGRPO ascendió de forma constante con baja varianza. La desviación estándar de las recompensas para BiasGRPO fue de 0.0668 en promedio, menos de la mitad que la de PPO (0.1434).

Estudios de Ablación

• Robustez del Modelo de Recompensa: Cuando se entrenó con un modelo de recompensa alternativo anotado por humanos (en lugar del anotado por LLM personalizado), GRPO aún produjo mejoras significativas sobre el modelo base, confirmando la robustez algorítmica del mecanismo relativo al grupo.
• Tamaño del Grupo: Aumentar el tamaño del grupo de $G=2$ a $G=8$ mejoró consistentemente el rendimiento en todos los benchmarks, siendo $G=4$ el estándar. El bajo rendimiento de $G=2$ confirmó que los beneficios provienen de la normalización relativa al grupo y no solo de la exploración online.

Significado y Reivindicaciones

El artículo afirma que BiasGRPO aborda con éxito las limitaciones específicas de las estrategias de mitigación de sesgo existentes al aprovechar la afinidad inherente entre la optimización relativa al grupo y la naturaleza subjetiva y de alta varianza del sesgo social.

Las contribuciones clave incluyen:

1. Ajuste Algorítmico: Demostrar que el algoritmo fundacional GRPO es superior a DPO y PPO para la mitigación del sesgo porque estabiliza el entrenamiento en paisajes de recompensa ruidosos sin sacrificar los beneficios de exploración del aprendizaje online.
2. Disponibilidad de Recursos: Lanzamiento de un conjunto de datos diverso de múltiples dominios y un modelo de recompensa de sesgo personalizado altamente eficiente (0.1B de parámetros). Este recurso está diseñado para ser "plug-and-play", permitiendo a los investigadores integrar una mitigación de sesgo robusta en pipelines de RLHF multi-objetivo sin incurrir en una sobrecarga de cómputo significativa o entrar en conflicto con otros objetivos de alineación.
3. Seguridad vs. Utilidad: Mostrar que se puede lograr una mitigación de sesgo efectiva sin degradación del conocimiento, como lo evidencia la mejora simultánea en las métricas de sesgo y las puntuaciones de TruthfulQA.

Los autores concluyen que el mecanismo de relación de grupo proporciona una base estable para la mitigación del sesgo, reduciendo la barrera de entrada para implementar estrategias de alineación multi-objetivo robustas.