Resumen Técnico: Desviación de Sesgos en Tiempo de Decodificación mediante Modelos de Recompensa de Proceso

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) heredan y amplifican sesgos sociales (relativos a género, raza, religión, discapacidad, edad y estatus socioeconómico) de sus datos de entrenamiento. Estos sesgos se manifiestan en aplicaciones posteriores, reforzando estereotipos dañinos. Las estrategias actuales de mitigación enfrentan limitaciones significativas:

• Métodos en tiempo de entrenamiento (por ejemplo, RLHF, DPO, aumento de datos contrafácticos) requieren acceso a los pesos del modelo, conjuntos de datos curados masivos y recursos computacionales sustanciales, lo que los hace inaccesibles para muchos profesionales y modelos propietarios.
• Los métodos existentes en tiempo de inferencia a menudo requieren acceso a los logits a nivel de token (por ejemplo, FUDGE, GeDi), lo cual es imposible con APIs de caja negra, o dependen de la ingeniería de prompts, que es inestable y varía según la capacidad del modelo.

Existe la necesidad de un enfoque de desviación de sesgos que opere en tiempo de decodificación, requiera ninguna modificación de pesos, funcione con APIs de caja negra (sin acceso a logits) y minimice la sobrecarga computacional.

2. Metodología

El artículo propone un marco donde un Modelo de Recompensa de Proceso (PRM) separado actúa como juez para puntuar los tokens candidatos durante la generación basándose en dos ejes: equidad (sesgo) y utilidad (fluidez). El marco introduce tres esquemas de desviación de sesgos distintos, evaluados en dos configuraciones: una tarea controlada de relleno de una sola palabra y una tarea de generación abierta.

Los Tres Esquemas

1. Mejor de N (Selección):
   • Mecanismo: El generador produce $n$ tokens candidatos (los top-$n$ de la distribución softmax). El PRM puntúa cada uno y se selecciona el token con la puntuación más alta.
   • Perspectiva de Sobrecarga: En una implementación nativa (donde el decodificador tiene acceso a los logits top-$n$), esto requiere cero pasadas forward adicionales del generador ($R_G = 1$), ya que los candidatos ya están calculados. El costo reside únicamente en las $n$ llamadas al juez.
2. Crítica y Revisión Secuencial:
   • Mecanismo: El generador propone un token. Si el PRM lo marca como sesgado (puntuación por debajo del umbral $\tau$), el PRM genera una crítica específica (por ejemplo, "esta palabra refuerza un estereotipo de género"). El generador luego revisa el token basándose en esta retroalimentación. Este bucle se repite hasta $K$ veces o hasta que el token apruebe.
   • Ventaja del Mecanismo: A diferencia del muestreo aleatorio, esto proporciona al generador una señal concreta sobre por qué un token es sesgado y cómo solucionarlo.
3. Autoauditoría Constitucional:
   • Mecanismo: Inspirado en la IA Constitucional, el generador actúa como su propio auditor. Verifica su token propuesto contra una "constitución de equidad" escrita a mano (8 principios). Si se encuentra una violación, el generador se autocritica y revisa.
   • Ventaja: Este esquema es libre de juez durante el bucle de generación, lo que lo hace adecuado para entornos donde las llamadas a APIs externas son inviables.

Extensión a la Generación Abierta: La Puerta de Guardia de Sesgo

Para abordar el alto costo computacional de aplicar estos esquemas a cada token en la generación de textos largos, los autores introducen una Puerta de Guardia de Sesgo (BG).

• Función: Un clasificador binario ligero (una sola pasada forward) pregunta: "¿Podría esta palabra candidata plausible llevar sesgo en este contexto?".
• Lógica: Si la respuesta es "NO", la palabra pasa inmediatamente. Si es "SÍ", se activa el esquema completo de desviación de sesgos (Secuencial, etc.).
• Objetivo: Explotar la escasez de sesgos en el lenguaje natural (la mayoría de las palabras son neutras) para mantener la sobrecarga promedio cerca de $2\times$ la línea base para modelos bien calibrados.

Métrica de Sobrecarga

El artículo define una métrica formal de sobrecarga que separa el Costo del Generador ($R_G$) del Costo del Juez ($R_J$). Esta distinción es crucial para escenarios de implementación donde el generador se ejecuta en el dispositivo (borde) y el juez se ejecuta en la nube.

3. Configuración Experimental

• Modelos: Cuatro modelos que abarcan el espectro de capacidades:
  • GPT-4o-mini: Ancla propietaria (la más fuerte).
  • Llama 3.2 (3B), Gemma 3 (4B), Qwen 2.5 (3B): Modelos de pesos abiertos que representan LLMs compactos para dispositivos.
• Conjuntos de Datos:
  • Controlado: 200 prompts (100 en inglés, 100 en urdu) en 8 categorías de sesgo.
  • Abierto: 10 prompts en inglés (20 palabras cada uno) dirigidos a categorías específicas de sesgo.
• Juez: GPT-4o-mini sirvió como juez PRM para todos los experimentos.
• Idiomas: Inglés y urdu (para probar la transferibilidad a idiomas de recursos escasos y ricos en morfología).

4. Resultados Clave

Relleno de Una Sola Palabra

• Rendimiento Secuencial: Consistentemente logró las puntuaciones de sesgo más altas en todos los modelos e idiomas, mejorando las puntuaciones de sesgo en +0.36 a +0.40 sobre la línea base en inglés y en +0.25 a +0.30 en urdu. Crucialmente, preservó o mejoró la fluidez (puntuaciones de utilidad).
• Rendimiento Constitucional: Ocupó el segundo lugar, ofreciendo una alternativa fuerte libre de juez con ganancias de sesgo de +0.10 a +0.24.
• Rendimiento Mejor de N: Desempeñó sorprendentemente mal en modelos más pequeños (Llama, Gemma, Qwen), a veces funcionando peor que la línea base. Los autores atribuyen esto al colapso de candidatos, donde los modelos más débiles producen tokens top-$n$ casi idénticos, dejando al juez sin diversidad para seleccionar. GPT-4o-mini, con una distribución más rica, se benefició de este esquema.
• Desafíos del Urdu: Las puntuaciones de utilidad fueron generalmente más bajas en urdu, reflejando el entrenamiento más débil de los modelos en este idioma. Sin embargo, las puntuaciones de sesgo fueron a veces más altas (mejores) en urdu, posiblemente debido a que los modelos son más conservadores cuando tienen menos confianza.

Generación Abierta

• Umbral de Capacidad: GPT-4o-mini mostró mejoras claras en la reducción de sesgos (de 0.46 a ~0.65) manteniendo la fluidez. Los modelos más pequeños lucharon significativamente; la desviación de sesgos forzada palabra por palabra a menudo rompió la coherencia de la oración, causando que las puntuaciones de utilidad se desplomaran (por ejemplo, Llama 3.2 bajó a 0.14 de utilidad con Mejor de N).
• Efectividad de la Puerta de Guardia: La tasa de activación de la puerta fue altamente dependiente del modelo. GPT-4o-mini y Qwen se activaron solo en ~13% y ~6.5% de las palabras, respectivamente, manteniendo baja la sobrecarga. Gemma 3 se activó en el 95.5% de las palabras, anulando por completo la optimización. Esto resalta la necesidad de calibración de la puerta por modelo.

Análisis de Sobrecarga

• Mejor de N: Confirmado que tiene $R_G = 1$ (implementación nativa), lo que lo hace efectivamente gratuito en el lado del generador.
• Secuencial: Probado como el esquema más rentable para la reducción de sesgos, logrando las mayores ganancias de sesgo con la menor sobrecarga del generador ($R_G \approx 1.08$) debido a su mecanismo de parada temprana.

5. Significado y Afirmaciones

El artículo afirma las siguientes contribuciones y significados:

1. Accesibilidad: El marco reduce la barrera para la mitigación de sesgos. No requiere acceso a pesos ni entrenamiento, permitiendo que cualquier profesional con acceso a API aplique estos esquemas inmediatamente.
2. Nueva Aplicación de PRMs: Es la primera aplicación de Modelos de Recompensa de Proceso (anteriormente utilizados para razonamiento matemático) a la mitigación de sesgos sociales, tratando cada token como un paso en un proceso que requiere verificación de equidad.
3. Punto de Referencia Bilingüe: Proporciona un punto de referencia bilingüe controlado (inglés + urdu) que cubre 8 categorías de sesgo, abordando el sesgo centrado en el inglés en la literatura existente.
4. Contabilidad de Sobrecarga: La separación formal de los costos del generador y del juez revela que Mejor de N es prácticamente gratuito en el lado del generador en implementaciones nativas, un hallazgo a menudo pasado por alto en evaluaciones basadas en API.
5. Escalabilidad vs. Capacidad: Los resultados demuestran que el marco de desviación de sesgos escala con la capacidad del modelo. Si bien funciona excepcionalmente bien en modelos fuertes (GPT-4o-mini), las limitaciones observadas en modelos de 3B se atribuyen a las capacidades de fluidez y seguimiento de instrucciones del modelo base, no a un fallo del propio marco de desviación de sesgos.

6. Limitaciones Reconocidas por los Autores

• Parche a Nivel de Token: El método aborda asociaciones estereotípicas superficiales pero no puede corregir sesgos estructurales más profundos o conocimiento del mundo internalizado por el modelo.
• Equidad Performativa: Existe el riesgo de que los modelos produzcan texto que parezca justo según los estándares de las métricas, mientras que las asociaciones subyacentes permanecen.
• Sesgo del Juez: El uso de un solo LLM (GPT-4o-mini) como juez introduce un sesgo potencial y una falta de independencia cuando el mismo modelo es el generador.
• Falta de Evaluación Humana: Las puntuaciones son asignadas por el modelo, no validadas por humanos.
• Calibración de la Puerta: La puerta de Guardia de Sesgo sin ceros requiere ajuste por modelo para evitar falsos positivos (como se vio con Gemma 3).
• Tamaño del Conjunto de Datos: Los conjuntos de evaluación (200 rellenos, 10 abiertos) son suficientes para identificar tendencias pero no para conclusiones estadísticamente robustas.

El artículo concluye que la desviación de sesgos en tiempo de decodificación es un complemento práctico y desplegable a la alineación en tiempo de entrenamiento, ofreciendo una forma de mitigar sesgos en modelos existentes sin actualizaciones de gradiente.