Resumo Técnico: BiasGRPO

Declaração do Problema

Mitigar o viés social em Grandes Modelos de Linguagem (LLMs) apresenta um desafio de alinhamento único, distinto de tarefas verificáveis como matemática ou codificação. O viés carece de uma verdade fundamental única, resultando em um cenário de recompensa de alta variância e subjetivo. Os métodos existentes de ajuste fino baseados em preferências enfrentam trade-offs significativos neste domínio:

• Otimização de Preferência Direta (DPO): Como um algoritmo offline que depende de instâncias pareadas estáticas, o DPO sofre com exploração limitada e menor generalização.
• Otimização de Política Próxima (PPO): Embora seja um método online que permite melhor exploração, o PPO depende de um modelo crítico (valor) separado. Em cenários de recompensa subjetivos e ruidosos, essas estimativas do crítico podem ser pouco confiáveis, levando à instabilidade no treinamento e atualizações de alta variância.

Não existe atualmente nenhuma técnica baseada em preferência que consiga equilibrar com sucesso a estabilidade dos métodos offline com os benefícios de generalização da exploração online especificamente para a mitigação de viés.

Metodologia: BiasGRPO

Os autores propõem o BiasGRPO, um framework que adapta a Otimização de Política Relativa ao Grupo (GRPO) às restrições específicas da mitigação de viés. O framework consiste em três componentes principais:

1. O Núcleo Algorítmico: Otimização Relativa ao Grupo

O BiasGRPO substitui o modelo crítico tradicional usado no PPO por uma linha de base relativa ao grupo.

• Mecanismo: Para cada prompt, o modelo de política gera um grupo de conclusões (ex: $G=4$). Em vez de comparar uma única conclusão com uma estimativa de valor de um crítico, a vantagem é calculada normalizando a recompensa de cada conclusão em relação à média e ao desvio padrão de todo o grupo.
• Cálculo da Vantagem:
  $$\hat{A}_{i,t} = \frac{r_i - \text{mean}(r)}{\text{std}(r)}$$
  Onde $r_i$ é a recompensa para a $i$-ésima conclusão e $r$ é o conjunto de recompensas para o grupo.
• Racional para o Viés: Em domínios subjetivos, definir uma resposta "perfeita" e sem viés é difícil. No entanto, ao gerar um grupo de variações, o modelo pode aprender a identificar quais saídas são relativamente menos enviesadas e mais respeitosas, mesmo que todas as saídas contenham algum grau de viés. Essa normalização relativa fornece um sinal de treinamento mais claro e direto do que as estimativas de vantagem ruidosas derivadas de um único crítico em cenários de alta variância.

2. Extensão de Conjunto de Dados Sintético

Para suportar um treinamento abrangente em diversos contextos, os autores curaram um conjunto de dados de 20.999 prompts abrangendo 11 domínios. Este conjunto integra:

• BiasDPO: Estendido sinteticamente para incluir 8.855 entradas adicionais.
• Civil Comments: Postagens reais de redes sociais para capturar o viés elicitado de entradas neutras e enviesadas.
• UnQover: Cenários ambíguos projetados para elicitar respostas enviesadas.
  O conjunto de dados inclui conclusões favoráveis e desfavoráveis correspondentes para comparação com DPO e prompts para métodos online.

3. Modelo de Recompensa de Viés Customizado

Os autores desenvolveram um modelo de recompensa especializado e computacionalmente eficiente (0,1B de parâmetros) para guiar a geração sem causar degradação de conhecimento.

• Construção: Um conjunto de dados de 2.930 sentenças únicas do StereoSet, CrowS-Pairs e BBQ foi reamostrado em 9.000 conjuntos.
• Anotação: Utilizando Best-Worst Scaling (BWS) e Iterative Luce Spectral Ranking (ILSR), um ciclo rotativo de LLMs (GPT-4o, Gemini 2.0 Flash, Claude 4 Sonnet) anotou a severidade do viés. Esta abordagem de múltiplos LLMs mitigou o risco de circularidade e de viés herdado.
• Treinamento: Um modelo RoBERTa foi treinado para prever valores de recompensa (escalonados em [0, 1]), atingindo um MSE final de 0,006.
• Validação: O modelo alcançou a maior correlação de ranking de Spearman (0,4748) com as pontuações de "ataque de identidade" da Perspective API em comparação com modelos de pontuação de viés existentes.

Configuração Experimental

• Modelo Base: Modelo Phi-2 da Microsoft, de 2.7B, escolhido como um campo de teste "limpo" (sem RLHF prévio ou mitigação de viés).
• Linhas de Base (Baselines): Os autores compararam o BiasGRPO contra DPO (usando a variante de Otimização de Preferência de Identidade) e PPO.
• Benchmarks:
  • BOLD: Medindo dano representacional (quanto menor, melhor).
  • RealToxicityPrompts: Medindo hostilidade explícita (quanto menor, melhor).
  • BBQ: Medindo estereotipagem implícita em cenários ambíguos (quanto maior, melhor).
  • TruthfulQA: Avaliando a retenção de conhecimento para garantir que não haja esquecimento catastrófico (quanto maior, melhor).

Principais Resultados

O BiasGRPO superou tanto o DPO quanto o PPO em todos os benchmarks:

• Redução de Viés: O modelo GRPO alcançou as pontuações mais baixas no BOLD (0,0140 vs. 0,0222 para DPO e 0,0268 para PPO) e no RealToxicityPrompts (0,0198 vs. 0,0234 para DPO).
• Estereotipagem: No BBQ, o GRPO alcançou a maior precisão (0,3123 vs. 0,2823 para DPO).
• Retenção de Conhecimento: Crucialmente, o BiasGRPO aumentou sua pontuação no TruthfulQA (0,3941 vs. 0,3843 para o modelo base), demonstrando que a mitigação de viés não degradou o conhecimento factual ou causou esquecimento catastrófico.
• Estabilidade de Treinamento: A análise das curvas de treinamento mostrou que, enquanto o DPO estagnou precocemente (exploração limitada) e o PPO exibiu uma convergência irregular e instável (devido ao ruído do crítico), o BiasGRPO subiu de forma constante com baixa variância. O desvio padrão das recompensas para o BiasGRPO foi de média 0,0668, menos da metade do PPO (0,1434).

Estudos de Ablação

• Robustez do Modelo de Recompensa: Quando treinado com um modelo de recompensa alternativo anotado por humanos (em vez do customizado via LLM), o GRPO ainda apresentou melhorias significativas sobre o modelo base, confirmando a robustez algorítmica do mecanismo de otimização relativa ao grupo.
• Tamanho do Grupo: Aumentar o tamanho do grupo de $G=2$ para $G=8$ melhorou consistentemente o desempenho em todos os benchmarks, com $G=4$ servindo como o padrão. O desempenho inferior de $G=2$ confirmou que os benefícios derivam da normalização relativa ao grupo e não apenas da exploração online.

Significância e Alegações

O artigo afirma que o BiasGRPO aborda com sucesso as limitações específicas das estratégias existentes de mitigação de viés, aproveitando a adequação inerente entre a otimização relativa ao grupo e a natureza subjetiva e de alta variância do viés social.

As principais contribuições incluem:

1. Adequação Algorítmica: Demonstrar que o algoritmo fundamental GRPO é superior ao DPO e ao PPO para a mitigação de viés porque estabiliza o treinamento em cenários de recompensa ruidosos sem sacrificar os benefícios de exploração do aprendizado online.
2. Disponibilidade de Recursos: Lançar um conjunto de dados diversificado de múltiplos domínios e um modelo de recompensa de viés altamente eficiente (0,1B de parâmetros). Este recurso foi projetado para ser "plug-and-play", permitindo que pesquisadores integrem uma mitigação de viés robusta em pipelines de RLHF multi-objetivo sem incorrer em alto custo computacional ou conflitar com outros objetivos de alinhamento.
3. Segurança vs. Utilidade: Mostrar que a mitigação de viés eficaz pode ser alcançada sem degradação de conhecimento, conforme evidenciado pela melhoria simultânea nas métricas de viés e nas pontuações do TruthfulQA.

Os autores concluem que o mecanismo de relação de grupo fornece uma base estável para a mitigação de viés, reduzindo a barreira de entrada para a implementação de estratégias de alinhamento multi-objetivo robustas.