DebiasRAG: A Tuning-Free Path to Fair Generation in Large Language Models through Retrieval-Augmented Generation

Resumen Técnico de DebiasRAG

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) han logrado un éxito significativo en tareas generativas, pero frecuentemente producen alucinaciones y resultados que contienen sesgos sociales, como estereotipos. Las estrategias de mitigación existentes dependen principalmente del ajuste fino (fine-tuning) o de la ingeniería de prompts.

• El ajuste fino requiere recursos computacionales extensos, grandes conjuntos de datos y optimización de hiperparámetros, a menudo arriesgando la degradación de las capacidades originales del modelo.
• La ingeniería de prompts evita la actualización de parámetros, pero a menudo depende de un diseño manual que requiere experiencia en el dominio, contextos fijos o alteraciones de consultas que pueden degradar el rendimiento.
• Existe una brecha crítica en la provisión de contextos de desviación de sesgos dinámicos y específicos de la consulta sin entrenamiento adicional ni datos auxiliares. Los enfoques actuales de Generación Aumentada por Recuperación (RAG) para la equidad se centran en recuperar el contexto "más justo" o filtrar contenido sesgado, pero no reducen activamente el sesgo existente en un LLM limpio mediante la generación de contra-contextos.

Metodología: DebiasRAG
Los autores proponen DebiasRAG, un marco libre de ajuste que aprovecha RAG para mitigar el sesgo dinámicamente durante la inferencia. Opera bajo un escenario de cero disparos (zero-shot) donde el usuario proporciona únicamente una colección de documentos "inductores de sesgo" (un Conjunto de Evitación, $A$), sin requerir repositorios externos justos ni datos de entrenamiento. El marco consta de tres etapas principales:

1. Producción de Contexto de Desviación Específico de la Consulta:

   • El sistema recupera un subconjunto de documentos sesgados ($A_q$) del Conjunto de Evitación $A$ que son más similares a la consulta del usuario $q$.
   • Utilizando estos contextos sesgados como señales de condicionamiento, un generador de aumento contrafactual ($g_\phi$) realiza una "generación inversa". Aplica un léxico de atributos predefinido (por ejemplo, intercambiando términos de género) para sintetizar un conjunto de contra-contextos justos ($\tilde{F}_q$). Estos contextos sirven como una restricción de equidad dinámica para el LLM.

2. Formación del Grupo de Candidatos de Contexto:

   • Un proceso de recuperación RAG estándar obtiene documentos normales relevantes ($D_q$) de un corpus base $D$ (por ejemplo, Wikipedia). Note que $D$ es opcional; el marco puede funcionar solo con el Conjunto de Evitación.
   • El grupo de candidatos $C$ se forma mediante la unión de los candidatos normales ($D_q$) y los contextos justos sintetizados ($\tilde{F}_q$).

3. Reordenamiento Guiado por Desviación de Sesgos Actualizado por Gradiente:

   • El sistema asigna una puntuación guiada por desviación de sesgos a cada candidato en $C$. Esta puntuación equilibra dos factores:
     • Relevancia de la Consulta ($s_q$): Similitud entre el candidato y la consulta.
     • Distancia del Evitamiento ($s_a$): La distancia entre el candidato y los desencadenantes sesgados recuperados ($A_q$).
   • Un mecanismo de actualización de gradiente en línea optimiza el parámetro de ponderación $\theta$ para estas puntuaciones en tiempo real. El sistema minimiza una pérdida de entropía cruzada a nivel de lista para alinear la probabilidad de selección con una distribución objetivo que favorece la alta relevancia y la alta distancia del sesgo.
   • Se seleccionan los $K$ mejores candidatos para construir el prompt final, restringiendo al LLM para que genere resultados más justos.

Contribuciones Clave

• Primer Marco de Desviación de Sesgos RAG Libre de Ajuste: Hasta donde saben los autores, este es el primer marco que demuestra la efectividad de RAG para la desviación de sesgos en LLM sin requerir entrenamiento adicional, datos justos auxiliares o modificaciones arquitectónicas al LLM.
• Mecanismo de Reordenamiento Dinámico: Los autores diseñan una estrategia de reordenamiento que dirige a RAG a recuperar contextos que mejoran la equidad mediante optimización por gradiente, restringiendo los resultados sin comprometer la calidad de la recuperación ni la expresividad generativa.
• Ligero y Adaptable: El marco depende únicamente de documentos de sesgo comerciales (el Conjunto de Evitación) y puede funcionar incluso en ausencia de un corpus RAG estándar, sirviendo como un reemplazo directo para el ajuste fino.
• Rendimiento Competitivo: El método logra resultados de mitigación de sesgos altamente competitivos en comparación con los métodos basados en ajuste fino más avanzados.

Resultados Experimentales
Los autores evaluaron DebiasRAG en múltiples puntos de referencia (StereoSet, CrowS-Pairs, SEAT) a través de varios modelos (OPT, BB3, LLaMa, GPT2).

• Mitigación de Sesgos: DebiasRAG redujo significativamente la Puntuación de Estereotipos (SS) en StereoSet (por ejemplo, de 57.60 a 49.72 en GPT2, más cercano al ideal de 50) y mejoró la Puntuación de Parejas CrowS (CP-S).
• Preservación de la Capacidad: A diferencia de algunos métodos de desviación de sesgos que degradan el rendimiento, DebiasRAG mantuvo o incluso mejoró la Puntuación de Modelado de Lenguaje (LMS) y las puntuaciones de CAT Idealizado (ICAT). Por ejemplo, la puntuación ICAT general en GPT2 aumentó de 70.02 a 90.53.
• Comparación con Líneas Base: El marco superó o igualó a los métodos más avanzados como Sentence-Debias, Adapter-Tune y Self-Debias tanto en reducción de sesgos como en expresividad.
• Escalabilidad: El método mostró una fuerte escalabilidad a través de diferentes arquitecturas RAG (LangChain, LLaMaIndex) y demostró aumentos manejables en la complejidad temporal, particularmente en modelos más pequeños.

Significado y Afirmaciones
El artículo afirma que DebiasRAG ofrece una alternativa práctica y ligera al ajuste fino intensivo en recursos y a la ingeniería de prompts que requiere mucha experiencia, utilizados actualmente para la desviación de sesgos. Al utilizar RAG no solo para la recuperación de conocimientos, sino como un mecanismo para señales de desviación de sesgos adaptativas, el marco guía a los LLM hacia resultados más justos de manera dinámica. Los autores enfatizan que su objetivo es utilizar RAG para desviar el sesgo en la salida del LLM (sustituyendo el ajuste fino), lo cual es cualitativamente distinto de trabajos anteriores que se centraron en la equidad dentro del propio proceso de recuperación de RAG. El trabajo posiciona a RAG como una herramienta viable y libre de ajuste para la mitigación de sesgos en tiempo real en entornos de producción.