Toward Localizing and Repairing Bias in Transformer Attention Heads

Resumo Técnico: Em Direção à Localização e Reparação de Viés em Cabeças de Atenção de Transformers

Declaração do Problema
Modelos de linguagem Transformer são cada vez mais implantados como componentes de software, mas seus resultados enviesados permanecem difíceis de localizar e reparar. As intervenções de equidade existentes operam tipicamente ao nível de entrada-saída ou exigem o retreinamento de todo o modelo, falhando em identificar estruturas internas específicas responsáveis por falhas de equidade durante a inferência. Embora pesquisas recentes indiquem que o comportamento relacionado ao viés em modelos de linguagem mascarados pode se concentrar em um pequeno conjunto de cabeças de atenção, os métodos atuais para modificar essas cabeças frequentemente dependem do "zeramento da cabeça inteira" (whole-head zeroing). Essa abordagem assume que uma cabeça selecionada codifica primordialmente o viés, o que pode remover informações linguísticas úteis e degradar o desempenho do modelo. Há uma necessidade de um método de depuração de caixa branca (white-box) que possa localizar componentes suscetíveis ao viés e aplicar uma modificação direcionada e limitada sem retreinamento.

Metodologia: ROBIN
O artigo apresenta o ROBIN (Repair Of Bias via INtervention), um método de depuração de equidade de nível de cabeça e de caixa branca. O ROBIN opera em duas etapas usando um modelo transformer treinado $f_\theta$ e um conjunto de pares de sondagem de equidade (pares de texto que diferem apenas em um atributo protegido, como pronomes de gênero).

1. Etapa 1: Classificação de Cabeças (Localização)
   O ROBIN classifica as cabeças de atenção com base em sua sensibilidade à diferença entre os pares de sondagem ($x_a$ e $x_b$).

   • Pontuação: Para cada par, o método calcula o gradiente da perda em relação aos pesos de atenção de cada cabeça.
   • Agregação: Ele calcula duas métricas por cabeça: a magnitude média do gradiente ($G_h$) e a magnitude média do quadrado do gradiente ($C_h$). $G_h$ captura a sensibilidade consistente entre os pares, enquanto $C_h$ captura cabeças com respostas agudas e concentradas.
   • Seleção: Essas pontuações são padronizadas e somadas para produzir um ranking combinado ($F_h$). As $k$ melhores cabeças são selecionadas para intervenção.

2. Etapa 2: Intervenção em Tempo de Inferência (Reparação)
   Em vez de zerar as cabeças selecionadas, o ROBIN remove apenas o componente de viés de suas saídas.

   • Estimativa de Subespaço: Para cada cabeça selecionada, o método estima um subespaço de viés analisando os vetores de diferença entre as saídas da cabeça nos pares de sondagem. Ele calcula os $r$ principais vetores singulares à direita desses vetores de diferença para definir a direção do viés.
   • Projeção: Durante a inferência, a saída de uma cabeça selecionada ($x_h$) é modificada projetando para fora o componente que reside dentro do subespaço de viés estimado ($V_h$):
     $$x'_h = x_h - V_h^\top V_h x_h$$
   • Esta operação retém os componentes ortogonais da saída da cabeça, preservando o comportamento linguístico geral enquanto remove o viés estimado.

Principais Contribuições

• Enquadramento: Os autores enquadram a mitigação de equidade ao nível de cabeça como uma tarefa de depuração de software de caixa branca que separa explicitamente a localização dos componentes candidatos da modificação desses componentes.
• Algoritmo: A proposta do ROBIN, que identifica cabeças de atenção sensíveis ao viés e remove apenas o subespaço enviesado de suas saídas em tempo de inferência, evitando a natureza destrutiva da ablação da cabeça inteira.
• Evidência Empírica: Um estudo piloto em quatro modelos transformer pré-treinados (BERT, DistilBERT, GPT-2, DistilGPT-2) demonstrando que o ROBIN reduz o hiato WinoBias enquanto limita o aumento na perda de modelagem de linguagem.

Resultos
Avaliado em um estudo piloto com um orçamento de $k=20$ cabeças modificadas:

• Melhoria na Equidade: O ROBIN reduziu o hiato WinoBias em todos os quatro modelos. A redução absoluta mais significativa foi observada no BERT, onde o hiato caiu de 45,97 para 19,14.
• Preservação de Desempenho: Ao contrário do zeramento da cabeça inteira (métodos Gradient e SquaredGrad), que causou aumentos substanciais na perda de modelagem de linguagem (por exemplo, até 8x de aumento no GPT-2), o ROBIN preservou a qualidade do modelo. No BERT, o ROBIN alcançou o menor hiato com uma perda de modelagem de linguagem próxima à do baseline. No GPT-2, o aumento da perda foi mínimo em comparação ao baseline.
• Custo de Inferência: A intervenção adiciona uma multiplicação de matriz por cabeça escolhida. Com $k=20$, o overhead de latência variou de aproximadamente 7% para modelos de tamanho base a 11% para modelos destilados.
• StereSet: A pontuação de estereótipo do StereoSet mostrou movimentos inconsistentes entre modelos e categorias, levando os autores a tratar o hiato WinoBias como a principal métrica de equidade.

Significância e Alegações
O artigo alega que a reparação de viés ao nível de cabeça deve considerar não apenas quais cabeças são selecionadas, mas como elas são modificadas. Os resultados sugerem que a remoção de subespaço é um operador superior ao zeramento da cabeça inteira porque reconhece que as cabeças de atenção frequentemente suportam múltiplas funções (tanto viés quanto linguística geral).

Os autores posicionam o ROBIN como uma ferramenta de localização de candidatos e intervenção mensurável, não como uma explicação causal completa ou uma garantia de equidade em todos os contextos de implantação. Eles afirmam explicitamente que o método fornece uma reparação limitada sem retreinamento, permitindo que os profissionais selecionem um orçamento de troca ($k$) com base na degradação medida do desempenho. O estudo reconhece limitações, incluindo o uso de dados sobrepostos para classificação e avaliação, e o foco em benchmarks específicos (WinoBias) em vez de equidade ampla em tarefas de tarefas de downstream. Identificou-se que trabalhos futuros são necessários para avaliar modelos maiores, variantes ajustadas por instrução (instruction-tuned) e distribuições de dados disjuntas.