Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations

Resumo Técnico: Fairness Pruning (Poda de Equidade)

Definição do Problema
Grandes Modelos de Linguagem (LLMs) herdam e amplificam vieses demográficos presentes em seus corpora de pré-treinamento. As estratégias de mitigação atuais operam em três fases distintas do ciclo de vida: filtragem de dados de pré-treinamento, ajuste fino/alinhamento pós-treinamento e edição de representação pós-processamento. Os autores argumentam que essas abordagens compartilham um déficit estrutural: elas intervêm em todos os pesos do modelo simultaneamente ou modificam embeddings sem distinguir entre pesos que codificam viés e aqueles que sustentam capacidades gerais. Essa falta de especificidade corre o risco de degradar o desempenho geral do modelo ou causar esquecimento catastrófico. Embora a interpretabilidade mecanística (ex: Autoencoders Esparsos) ofereça precisão, ela requer recursos computacionais significativos para treinamento adicional, criando uma lacuna entre a intervenção em massa e a dissecação precisa e acessível do viés.

Metodologia: Fairness Pruning
O artigo propõe o "Fairness Pruning", um método de intervenção estrutural leve, projetado para localizar e mitigar o viés demográfico sem treinamento adicional. O método é especificamente adaptado para arquiteturas MLP baseadas em GLU (ex: Llama, Salamandra) e opera através de um pipeline de quatro fases:

1. Construção de Prompts Contrastivos: O método utiliza pares de prompts minimamente contrastivos onde a única diferença é um único atributo demográfico (ex: "homem" vs. "mulher"). Para garantir uma comparação de ativação válida, ambos os prompts em um par devem tokenizar exatamente para o mesmo número de tokens. Os autores lançaram dois conjuntos de dados públicos (Inglês e Espanhol) cobrindo cinco categorias: Idade, Gênero, Aparência Física, Raça/Etnia e Religião.
2. Captura de Ativação Diferencial: Durante a inferência, o método captura as ativações na entrada da camada down_proj nos blocos MLP. Este ponto específico foi escolhido porque, em arquiteturas SwiGLU, a contribuição efetiva de um neurônio é o produto das saídas de gate_proj e up_proj, que é então projetada por down_proj.
3. Pontuação de Neurônios (Neuron Scoring):
   • BiasScore: Calculado como a diferença absoluta entre as médias das ativações dos dois prompts em um par, calculada sobre todos os pares em uma categoria. Isso identifica neurônios que reagem diferencialmente a mudanças demográficas.
   • FairnessPruningScore: Uma métrica composta que combina o BiasScore com importância estrutural (estimada via Magnitude Pico-a-Pico, PPM). No entanto, nos experimentos exploratórios (removendo ≤40 neurônios), os autores descobriram que o BiasScore sozinho era suficiente, pois a escala da intervenção era pequena demais para exigir a penalização da importância estrutural.
4. Zerar Seletivo (Selective Zeroing): Os neurônios identificados são "zerados" ao definir as linhas correspondentes nas matrizes de pesos gate_proj e up_proj, e a coluna correspondente na matriz down_proj, como zero. Esta operação simétrica garante que o neurônio seja removido do fluxo residual (residual stream).

Principais Contribuições

1. Um Método de Localização Sem Treinamento: Um método para localizar o viés demográfico em LLMs usando ativações diferenciais em prompts contrastivos, executável em hardware de consumo sem treinamento adicional.
2. Conjuntos de Dados Públicos: O lançamento de dois conjuntos de dados de pares de prompts contrastivos em Inglês e Espanhol, alinhados com os benchmarks BBQ e EsBBQ.
3. Evidência Empírica de Circuitos Dissociáveis: Demonstração de que o processamento de atributos demográficos e as capacidades gerais do modelo operam em circuitos suficientemente dissociáveis, permitindo intervenção direcionada sem degradação apreciável de raciocínio ou conhecimento.
4. Descoberta de Desestabilização Bidirecional: Evidência de que zerar neurônios selecionados por um escore de ativação diferencial não assinado produz efeitos não monotônicos e de inversão de sinal no viés agregado. Isso indica que os conjuntos candidatos misturam neurônios que amplificam estereótipos com aqueles que os suprimem, e o efeito líquido depende de qual sinal domina.

Resultados

• Localização: Os sinais de viés são robustamente localizados nas camadas finais dos blocos MLP. No Salamandra-2B, até 94% dos neurônios mais enviesados para uma categoria foram encontrados na última camada. A estrutura espacial desses neurônios é espalhada pela largura da camada, não contígua.
• Especificidade do Circuito: Há uma baixa sobreposição entre circuitos para diferentes categorias demográficas (ex: circuitos de Gênero compartilham muito poucos neurônios com outros), sugerindo especialização funcional.
• Efeitos da Intervenção:
  • Viés: Zerar os neurônios identificados não produziu uma redução plana do viés. Em vez disso, causou uma "desestabilização de viés bidirecional". Em alguns casos, o viés foi reduzido; em outros, foi amplificado ou invertido (ex: mudando de estereotípico para anti-estereotípico). Isso confirma que os neurônios selecionados atuam como reguladores com efeitos opostos, e o zeramento cego interrompe o mecanismo de modulação.
  • Capacidades: A intervenção foi extremamente cirúrgica. Zerar até 40 neurônios no Llama-3.2-1B (menos de 0,031% da largura total do MLP) resultou em uma retenção média de 99,49% em benchmarks de raciocínio e conhecimento geral (WikiText, MMLU, ARC-Challenge, HellaSwag).
• Observações Qualitativas: Exemplos de texto gerado mostraram que o mesmo conjunto de neurônios zerados poderia reduzir o viés em um contexto enquanto o ampliava em outro, ou deixar o conhecimento factual (ex: "Capital da França") completamente inalterado.

Significância e Alegações
O artigo afirma estabelecer as bases metodológicas para a transição do "zeramento cego" em direção à "modulação de comportamento direcional".

• Dissociabilidade: A principal descoberta é que o processamento de viés e as capacidades gerais são dissociáveis, validando a hipótes verdade de que o viés está concentrado em neurônios identificáveis em vez de estar disseminado de forma difusa.
• Limitações de Métricas Não Assinadas: O trabalho destaca que o uso de escores diferenciais não assinados (apenas magnitude) leva a resultados imprevisíveis porque confunde amplificadores e reguladores.
• Direção Futura: Os autores argumentam que o próximo passo não é simplesmente remover mais neurônios, mas evoluir o conjunto de dados para ser assimétrico (sabendo a priori qual prompt é enviesado). Isso permitiria um BiasScore assinado, possibilitando a "direcionamento de ativação" (escalonamento multiplicativo) em vez do zeramento, para empurrar o modelo em direção à neutralidade sem atualizações de gradiente.

O estudo é modesto em seu escopo, limitado a modelos com menos de 4 bilhões de parâmetros e focando em atributos demográficos explícitos via benchmarks de múltipla escolha. Ele exclui explicitamente mecanismos de atenção e dinâmicas de geração aberta de sua validação atual, observando que as dinâmicas de desestabilização observadas podem não se generalizar diretamente para esses cenários sem estudos adicionais.