GKnow: Measuring the Entanglement of Gender Bias and Factual Gender

Resumo Técnico: GKnow: Medindo o Entrelaçamento do Viés de Gênero e do Gênero Factual

Declaração do Problema
Pesquisas recentes em interpretabilidade mecânica têm focado na identificação e mitigação do viés de gênero em Modelos de Linguagem de Grande Escala (LLMs) analisando componentes específicos responsáveis por saídas enviesadas. No entanto, as abordagens atuais sofrem de duas limitações primárias: (i) elas frequentemente visam tarefas muito específicas, como a previsão de pronomes de gênero, e (ii) falham em distinguir entre gênero factual (a associação semântica correta entre um substantivo e seu gênero, ex: "mulher" $\to$ "ela") e gênero estereotipado (saídas baseadas em estereótipos sociais, ex: "enfermeira" $\to$ "ela").

Essa falta de distinção leva a um efeito colateral crítico nos esforços de desviabilização: a degradação do conhecimento factual de gênero do modelo. Trabalhos existentes sugerem que os sinais de viés de gênero e de gênero factual estão entrelaçados dentro das representações internas do modelo, mas a narrativa mecânica desse entrelaçamento nos níveis de circuito e neurônio permanece em grande parte inexplicada. Consequentemente, técnicas simples de desviabilização, como a ablação de neurônios, podem inadvertidamente remover a capacidade do modelo de prever corretamente o gênero factual, ao mesmo tempo em que reivindicam sucesso em benchmarks de viés.

Metodologia
Para abordar essas lacunas, os autores propõem uma abordagem multifacetada combinando curadoria de dados, análise de circuitos e experimentos de ablação de neurônios em dois modelos transformadores apenas decodificadores: Llama-3.1-8b e Olmo-7b.

1. Curadoria de Dados (GKnow):
   Os autores introduzem o GKnow, um benchmark projetado para avaliar o conhecimento e o viés de gênero através de diversos tipos de previsão. O GKnow categoriza prompts pela assunção (sujeito) e pela saída esperada. O conjunto de dados inclui:

   • Subconjuntos factuais: Baseados em substantivos lexicalmente de gênero (ex: "mulher"), nomes e indicadores explícitos de gênero.
   • Subconjuntos estereotipados: Baseados em ocupações estereotipadamente de gênero (ex: "enfermeira") ou traços (ex: "cuidador").
   • Tipos de previsão: Previsão de pronomes de gênero, identificação de gênero e previsão de nomes.
     O GKnow permite a separação de tarefas em categorias "estereotipadas" (propensas a viés) e "factuais" (baseadas em conhecimento) para medir o entrelaçamento.

2. Análise de Circuitos:
   Usando EAP-IG (Patching de Atribuição de Borda com Gradientes Integrados), os autores identificam circuitos mínimos fiáveis responsáveis por previsões de gênero. Eles analisam:

   • Interseção sobre União (IoU): Medindo a sobreposição de arestas e nós entre circuitos para diferentes tarefas.
   • Fidelidade entre Tarefas: Avaliando se um circuito identificado para uma tarefa (ex: previsão estereotipada) pode reproduzir fielmente o comportamento de uma tarefa diferente (ex: previsão factual).

3. Análise e Ablação no Nível de Neurônio:
   Os autores empregam Gradientes Integrados para identificar neurônios relevantes para a tarefa, especificamente aqueles associados a previsões estereotipadas (pois estes são os alvos típicos para desviabilização). Eles realizam ablação de neurônios (definindo ativações como zero) nos 10 e 50 neurônios identificados no topo.

   • Avaliação: O impacto da ablação é medido no GKnow, StereoSet e DiFair (um benchmark para avaliação desentrelaçada de conhecimento e viés de gênero).
   • Métricas: O estudo rastreia $P_{exp}$ (probabilidade do token esperado), $P_{opp}$ (token de gênero oposto), $P_{outro}$ e a lacuna de probabilidade ($\Delta$) entre saídas masculinas e femininas.

Principais Resultados

• Entrelaçamento no Nível de Circuito:

  • Circuitos responsáveis por previsões de gênero estereotipadas e factuais mostram alta sobreposição e baixa separação.
  • A fidelidade entre tarefas é alta: circuitos identificados para tarefas estereotipadas podem recuperar o desempenho de tarefas factuais (e vice-versa). Por exemplo, aplicar o circuito gender_prediction_based_on_stereo ao subconjunto gender_prediction_based_on_pronoun alcançou uma fidelidade de 1,0.
  • Isso indica que o gênero factual e o estereotipado estão severamente entrelaçados no nível de circuito.

• Entrelaçamento no Nível de Neurônio e Efeitos da Ablação:

  • Ablar neurônios identificados via prompts estereotipados causa uma diminuição significativa na capacidade do modelo de prever gênero factual.
  • Nos subconjuntos GKnow Factual, a ablação dos neurônios no topo levou a quedas acentuadas em $P_{exp}$ (ex: caindo de 91,49% para 79,86% no Llama para 50 neurônios) e aumentos em $P_{opp}$ e $P_{outro}$.
  • Crucialmente, embora a ablação frequentemente melhore as métricas em benchmarks estereotipados (ex: reduzindo $P_{exp}$ para previsões estereotipadas no StereoSet), esses resultados "positivos" mascaram um colapso simultâneo na competência de gênero factual.
  • A lacuna de probabilidade ($\Delta$) entre saídas masculinas e femininas diminui significativamente, indicando uma perda de confiança nas previsões de gênero em ambos os subconjuntos factuais e estereotipados.

• Interpretabilidade Humana:

  • Usando a técnica Logit Lens, os autores descobriram que neurônios compartilhados entre diferentes tarefas de gênero são interpretáveis por humanos. Por exemplo, neurônios específicos no Olmo e no Llama foram encontrados suprimindo ou promovendo tokens de gênero específicos (ex: pronomes como "ela" ou nomes como "Maria") em ambos os contextos factuais e estereotipados.

Principais Contribuições

1. Benchmark GKnow: A curadoria do GKnow, que preenche uma lacuna nos recursos disponíveis para avaliar o entrelaçamento do viés de gênero e do conhecimento factual de gênero através de vários tipos de tarefa em inglês.
2. Evidência no Nível de Circuito: A demonstração, via EAP-IG, de que os sinais de gênero estereotipado e factual estão entrelaçados dentro dos mesmos circuitos computacionais, desafiando a suposição de que podem ser facilmente separados.
3. Análise de Ablação de Neurônios: A descoberta empírica de que a simples ablação de neurônios, embora potencialmente eficaz na redução do viés estereotipado em benchmarks específicos, compromete severamente o conhecimento factual de gênero. Isso sugere que a ablação é um método independente não confiável para desviabilização.

Significado e Alegações
O artigo argumenta que o entrelaçamento do viés de gênero e do gênero factual é uma propriedade fundamental das arquiteturas atuais de LLM, observável tanto no nível de circuito quanto no de neurônio. Os autores afirmam que:

• Métodos atuais de desviabilização são falhos: Técnicas como ablação de neurônios, que visam "neurônios de viés", inadvertidamente destroem conhecimento factual porque os mecanismos subjacentes são compartilhados.
• Benchmarks de avaliação são insuficientes: Benchmarks que não levam em conta o gênero factual (como o StereoSet) podem ocultar a degradação da competência linguística causada por tentativas de desviabilização.
• Trabalho futuro requer avaliação robusta: Há uma necessidade urgente de conjuntos de dados de avaliação de viés de gênero que meçam explicitamente a preservação do conhecimento factual de gênero juntamente com a redução do viés.

Os autores concluem com uma advertência contra a "ablação de neurônios sem filtro" como o único método para desviabilização de gênero, enfatizando que, sem benchmarks robustos como o GKnow, o campo corre o risco de melhorar as métricas de viés às custas da compreensão básica da linguagem. O artigo reconhece limitações, observando que as descobertas são atualmente específicas para o inglês e modelos relativamente pequenos, e que o viés de gênero pode se manifestar em formas não cobertas por seus estereótipos baseados em ocupações e adjetivos.