How Does Differential Privacy Affect Social Bias in LLMs? A Systematic Evaluation

Resumo Técnico: Como a Privacidade Diferencial Afeta o Viés Social em LLMs? Uma Avaliação Sistemática

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) treinados em corpora de escala web correm o risco de memorizar dados sensíveis de treinamento, representando ameaças à privacidade. A Privacidade Diferencial (DP), especificamente via DP-SGD, emergiu como um framework principiado para limitar a influência de pontos de dados individuais durante o treinamento, reduzindo assim a memorização. No entanto, a relação entre limitar a memorização por meio da DP e a mitigação do viés social em LLMs permanece pouco compreendida. Embora a DP possa enfraquecer a dependência de associações estereotipadas ao amortecer a influência de exemplos de treinamento específicos, o ruído introduzido durante o treinamento também pode distorcer representações aprendidas de forma imprevisível. Pesquisas existentes exploraram principalmente essa interação em configurações de ajuste fino (fine-tuning), deixando uma lacuna na compreensão de como o viés é moldado quando a DP é aplicada durante a própria fase de pré-treinamento.

Metodologia
Os autores apresentam uma avaliação sistemática do viés social em um LLM pré-treinado treinado com DP-SGD, comparando-o com baselines sem DP. O estudo utiliza o VaultGemma-1B, o único LLM publicamente disponível pré-treinado inteiramente com DP-SGD (orçamento de privacidade $\epsilon = 2$), como o modelo DP. Ele é comparado a duas baselines sem DP: Gemma-3-1B-PT (combinando o modelo DP em tamanho) e Gemma-2-2B (combinando a família de treinamento, mas maior).

Para garantir uma avaliação abrangente, a avaliação abrange quatro paradigmas complementares:

1. Pontuação de Frases: Mede o viés por meio de comparações controladas de probabilidade usando conjuntos de dados como StereoSet, WinoBias e CrowS-Pairs. As métricas incluem Pontuação do Modelo de Linguagem (LMS), Pontuação de Estereótipo (SS) e Teste de Associação de Contexto Idealizado (ICAT).
2. Completamento de Texto: Captura o viés na geração aberta usando BOLD e HolisticBias. A avaliação foca em consideração (regard), sentimento e toxicidade, calculando lacunas de viés entre grupos demográficos.
3. Classificação Tabular: Avalia a equidade de grupo em dados tabulares serializados como texto (Adult Census Income, COMPAS, German Credit) usando Aprendizado em Contexto (ICL). O estudo testa quatro estratégias de ICL (Aleatória, Balanceada, Instrução, Remoção) para isolar o viés intrínseco do modelo do viés induzido pelo prompt.
4. Resposta a Perguntas: Avalia o viés por meio de perguntas de múltipla escolha com contexto ambíguo usando o conjunto de dados BBQ, medindo a precisão em contextos desambiguados e Pontuações de Estereótipo nos ambíguos.

Principais Resultados
O estudo revela uma discrepância significativa entre o viés ao nível de logits e o viés ao nível de saída, com resultados variando substancialmente entre os paradigmas de avaliação:

• Pontuação de Frases: A DP reduz consistentemente o viés estereotipado. O modelo VaultGemma-1B alcançou Pontuações de Estereótipo (SS) mais baixas e pontuações ICAT mais altas em comparação com as baselines sem DP, particularmente em tarefas que exigem dependência de conhecimento mundial (por exemplo, WinoBias Tipo 1). Isso sugere que a DP enfraquece a confiança do modelo em atribuir probabilidades mais altas a completamentos estereotipados.
• Completamento de Texto: Os benefícios da DP observados na pontuação de frases não se generalizaram de forma confiável. Embora o modelo DP tenha mostrado lacunas de viés menores em consideração e toxicidade para certas demografias, os resultados foram mistos entre métricas e conjuntos de dados. Por exemplo, modelos sem DP às vezes superaram o modelo DP em lacunas de viés de sentimento.
• Classificação Tabular: Nenhuma vantagem consistente para o modelo DP foi observada. O desempenho de todos os modelos permaneceu próximo da baseline aleatória (nível de chance), e as métricas de equidade foram fortemente influenciadas pela escolha da estratégia de aprendizado em contexto, em vez do status de privacidade do pré-treinamento do modelo. Isso indica que modelos base pré-treinados lutam para extrair sinais preditivos de demonstrações tabulares estruturadas via ICL.
• Resposta a Perguntas: No benchmark BBQ, todos os modelos exibiram precisão próxima da baseline aleatória e valores de SS próximos a 50. Os autores atribuem isso à incapacidade de modelos base (sem ajuste de instrução) de seguir confiavelmente o formato de tarefa de múltipla escolha, tornando a avaliação do viés intrínseco por meio dessa formulação baseada em geração ineficaz.

Principais Contribuições

1. Avaliação Unificada: Este é o primeiro trabalho a avaliar sistematicamente o efeito do pré-treinamento diferencialmente privado sobre o viés social em LLMs generativos em quatro paradigmas distintos.
2. Discrepância de Paradigma: Os autores demonstram que, embora a DP reduza o viés estereotipado na pontuação de frases (nível de logits), essa melhoria não se transfere consistentemente para completamento de texto, classificação tabular ou resposta a perguntas (nível de saída).
3. Sensibilidade ao ICL: O estudo destaca que os resultados da classificação tabular são altamente sensíveis às estratégias de aprendizado em contexto, limitando sua utilidade para isolar o viés intrínseco do modelo em modelos base pré-treinados.
4. Limitações de Avaliação: O trabalho sublinha que conclusões sobre viés social variam substancialmente dependendo do paradigma de avaliação, revelando limitações em confiar em avaliações de único benchmark.

Significado e Alegações
O artigo alega que reduzir a memorização via DP não necessariamente reduz a injustiça em todos os contextos. As descobertas destacam uma desconexão crítica: enfraquecer associações estereotipadas ao nível de logits não garante saídas equitativas em geração aberta ou tarefas de tomada de decisão. Consequentemente, os autores argumentam que o treinamento com preservação de privacidade, por si só, é insuficiente para garantir saídas de modelo equitativas. Eles enfatizam a necessidade de avaliação multi-paradigma ao avaliar a equidade em LLMs, pois um único método de avaliação pode fornecer uma imagem incompleta ou enganosa do comportamento de um modelo. O estudo conclui que privacidade e equidade podem exigir intervenções fundamentalmente diferentes, pois os mecanismos que reduzem a memorização não mitigam uniformemente o viés social em todos os tipos de tarefa.