DebiasRAG: A Tuning-Free Path to Fair Generation in Large Language Models through Retrieval-Augmented Generation

Resumo Técnico do DebiasRAG

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) alcançaram sucesso significativo em tarefas generativas, mas frequentemente produzem alucinações e outputs contendo vieses sociais, como estereótipos. Estratégias existentes de mitigação dependem principalmente de ajuste fino (fine-tuning) ou engenharia de prompts.

• O ajuste fino exige recursos computacionais extensivos, grandes conjuntos de dados e otimização de hiperparâmetros, frequentemente arriscando a degradação das capacidades originais do modelo.
• A engenharia de prompts evita atualizações de parâmetros, mas frequentemente depende de design manual que requer expertise de domínio, contextos fixos ou alterações de consulta que podem degradar o desempenho.
• Existe uma lacuna crítica na provisão de contextos de desviesamento dinâmicos e específicos da consulta sem treinamento adicional ou dados auxiliares. As abordagens atuais de Geração Aumentada por Recuperação (RAG) para equidade focam em recuperar o contexto "mais justo" ou filtrar conteúdo enviesado, mas não reduzem ativamente o viés existente em um LLM limpo gerando contra-contextos.

Metodologia: DebiasRAG
Os autores propõem o DebiasRAG, um framework sem ajuste fino que aproveita o RAG para mitigar o viés dinamicamente durante a inferência. Ele opera sob um cenário zero-shot onde o usuário fornece apenas uma coleção de documentos "indutores de viés" (um Conjunto de Evitação, $A$), sem exigir repositórios externos justos ou dados de treinamento. O framework consiste em três etapas principais:

1. Produção de Contexto de Desviesamento Específico da Consulta:

   • O sistema recupera um subconjunto de documentos enviesados ($A_q$) do Conjunto de Evitação $A$ que são mais semelhantes à consulta do usuário $q$.
   • Usando esses contextos enviesados como sinais de condicionamento, um gerador de aumento contrafactual ($g_\phi$) realiza "geração reversa". Ele aplica um léxico de atributos predefinido (por exemplo, trocando termos de gênero) para sintetizar um conjunto de contra-contextos justos ($\tilde{F}_q$). Esses contextos servem como uma restrição de justiça dinâmica para o LLM.

2. Formação do Pool de Candidatos de Contexto:

   • Um processo padrão de recuperação RAG busca documentos normais relevantes ($D_q$) de um corpus base $D$ (por exemplo, Wikipedia). Note que $D$ é opcional; o framework pode funcionar apenas com o Conjunto de Evitação.
   • O pool de candidatos $C$ é formado pela união dos candidatos normais ($D_q$) e dos contextos justos sintetizados ($\tilde{F}_q$).

3. Ranqueamento Guiado por Atualização de Gradiente para Desviesamento:

   • O sistema atribui uma pontuação guiada por desviesamento a cada candidato em $C$. Essa pontuação equilibra dois fatores:
     • Relevância da Consulta ($s_q$): Similaridade entre o candidato e a consulta.
     • Distância da Evitação ($s_a$): A distância entre o candidato e os gatilhos enviesados recuperados ($A_q$).
   • Um mecanismo de atualização de gradiente online otimiza o parâmetro de ponderação $\theta$ para essas pontuações em tempo real. O sistema minimiza uma perda de entropia cruzada listwise para alinhar a probabilidade de seleção com uma distribuição alvo que favorece alta relevância e alta distância do viés.
   • Os $K$ melhores candidatos são selecionados para construir o prompt final, restringindo o LLM a gerar outputs mais justos.

Contribuições Principais

• Primeiro Framework de Desviesamento RAG sem Ajuste Fino: Até onde os autores sabem, este é o primeiro framework a demonstrar a eficácia do RAG para desviesamento de LLMs sem exigir treinamento adicional, dados justos auxiliares ou modificações arquitetônicas no LLM.
• Mecanismo de Ranqueamento Dinâmico: Os autores projetam uma estratégia de ranqueamento que direciona o RAG a recuperar contextos que aumentam a justiça via otimização de gradiente, restringindo outputs sem comprometer a qualidade da recuperação ou a expressividade generativa.
• Leve e Adaptativo: O framework depende exclusivamente de documentos de viés prontos para uso (o Conjunto de Evitação) e pode funcionar mesmo na ausência de um corpus RAG padrão, servindo como substituto direto para o ajuste fino.
• Desempenho Competitivo: O método alcança resultados de mitigação de viés altamente competitivos em comparação com métodos baseados em ajuste fino de última geração.

Resultados Experimentais
Os autores avaliaram o DebiasRAG em múltiplos benchmarks (StereoSet, CrowS-Pairs, SEAT) através de vários modelos (OPT, BB3, LLaMa, GPT2).

• Mitigação de Viés: O DebiasRAG reduziu significativamente a Pontuação de Estereótipo (SS) no StereoSet (por exemplo, de 57,60 para 49,72 no GPT2, mais próximo do ideal 50) e melhorou a Pontuação CrowS-Pairs (CP-S).
• Preservação de Capacidade: Diferentemente de alguns métodos de desviesamento que degradam o desempenho, o DebiasRAG manteve ou até melhorou a Pontuação de Modelagem de Linguagem (LMS) e as pontuações CAT Idealizado (ICAT). Por exemplo, a pontuação ICAT geral no GPT2 aumentou de 70,02 para 90,53.
• Comparação com Baselines: O framework superou ou igualou métodos de última geração como Sentence-Debias, Adapter-Tune e Self-Debias tanto na redução de viés quanto na expressividade.
• Escalabilidade: O método mostrou forte escalabilidade através de diferentes arquiteturas RAG (LangChain, LLaMaIndex) e demonstrou aumentos gerenciáveis na complexidade temporal, particularmente em modelos menores.

Significado e Alegações
O artigo afirma que o DebiasRAG oferece uma alternativa prática e leve ao ajuste fino intensivo em recursos e à engenharia de prompts que exige muita expertise, atualmente usados para desviesamento. Ao utilizar o RAG não apenas para recuperação de conhecimento, mas como um mecanismo para sinais de desviesamento adaptativo, o framework guia os LLMs para outputs mais justos dinamicamente. Os autores enfatizam que seu objetivo é usar o RAG para desviesar a saída do LLM (substituindo o ajuste fino), o que é qualitativamente distinto de trabalhos anteriores que focaram na equidade dentro do próprio processo de recuperação RAG. O trabalho posiciona o RAG como uma ferramenta viável e sem ajuste fino para mitigação de viés em tempo real em ambientes de produção.