Resumo Técnico: GECOBench: Um Conjunto de Dados e Benchmark de Texto com Controle de Gênero para Quantificar Enviesamentos em Explicações

Declaração do Problema

Grandes modelos de linguagem pré-treinados (PLMs), como o BERT, são treinados em vastos corpora que contêm enviesamentos sociais inerentes, incluindo estereótipos de gênero. Embora se saiba que esses enviesamentos afetam os pesos do modelo e o comportamento de predição, permanece incerto até que ponto eles se propagam para as atribuições de características geradas por métodos de Inteligência Artificial Explicável (XAI). Especificamente, há uma carência de frameworks rigorosos e centrados em dados para avaliar se os métodos de XAI identificam corretamente as características que impulsionam uma predição ou se destacam inadvertidamente correlações enviesadas e não causais presentes nos dados de pré-treinamento. Os benchmarks atuais frequentemente dependem de métricas de "fidelidade" (faithfulness) ou racionalidades anotadas por humanos, que podem não estar alinhadas com associações estatísticas ou com a importância da característica de base (ground truth), tornando difícil avaliar objetivamente a correção das explicações na presença de viés.

Metodologia

1. O Conjunto de Dados GECO

Os autores introduzem o GECO, um conjunto de dados de texto com controle de gênero projetado para fornecer atribuições de características de verdade fundamental (ground truth) para tarefas de classificação de gênero.

• Construção: As sentenças são extraídas de páginas da Wikipedia correspondentes a romances clássicos (via projeto Gutenberg).
• Manipulação: Cada sentença é gerada em três variantes gramaticais de gênero: Masculino ($x^M$), Feminino ($x^F$) e Não-binário ($x^{NB}$).
  • Manipulação apenas do sujeito ($D_S$): Apenas os pronomes sujeitos gramaticais são alterados (ex: "She" $\to$ "He"). Isso cria uma tarefa mais desafiadora onde o modelo deve distinguir entre gêneros de sujeito e objeto.
  • Manipulação de todos os gêneros ($D_A$): Todas as palavras relacionadas ao gênero (pronomes, possessivos e substantivos de gênero como "Aunt" $\to$ "Uncle") são alteradas.
• Verdade Fundamental (Ground Truth): Por construção, as palavras alteradas são as únicas características discriminativas. Portanto, o mapa de atribuição de características de verdade fundamental é binário: 1 para as palavras alteradas, 0 para todas as outras. Isso permite a avaliação objetiva de se um método de XAI destaca as características estatisticamente associadas (Propriedade de Associação Estatística - SAP).
• Verificação de Viés: Os autores verificam que o próprio conjunto de dados é imparcial usando uma métrica de coocorrência, garantindo que os desvios nas explicações do modelo derivem dos enviesamentos de pré-treinamento do modelo, e não dos dados.

2. O Framework GECOBench

GECOBench é um framework de avaliação quantitativa aplicado ao conjunto de dados GECO para avaliar o desempenho de XAI.

• Modelos: O framework avalia o modelo pré-treinado BERT sob quatro paradigmas de treinamento distintos para isolar o impacto de diferentes camadas arquiteturais:
  1. BERT-C: Apenas a camada de classificação é re-treinada; as camadas de Embedding e Atenção permanecem fixas.
  2. BERT-CE: As camadas de Embedding e Classificação são re-treinadas do zero; a Atenção é fixa.
  3. BERT-CEf: As camadas de Embedding e Classificação são ajustadas (fine-tuned); a Atenção é fixa.
  4. BERT-CEfAf: As camadas de Embedding, Atenção e Classificação são todas ajustadas.
  • Baselines: Um modelo BERT zero-shot (BERT-ZS) e um modelo de atenção de uma única camada vanilla (OLA-CEA) treinado do zero no GECO (livre de viés de pré-treinamento) são usados para comparação.
• Métodos de XAI Avaliados: O estudo aplica vários métodos de atribuição post-hoc, incluindo abordagens baseadas em gradiente (Saliency, InputXGradient, DeepLift, Guided Backpropagation, Integrated Gradients) e métodos substitutos (LIME, Kernel SHAP, Gradient SHAP).
• Métrica de Avaliação: A métrica Mass Accuracy (MA) é utilizada para quantificar a correção. A MA mede a sobreposição entre os escores de atribuição normalizados e a máscara binária de verdade fundamental, penalizando falsos positivos (destacar palavras que não são a verdade fundamental) enquanto é robusta a falsos negativos (perder algumas palavras da verdade fundamental).
• Quantificação de Viés: Os autores definem a Relative Mass Accuracy (RMA) para medir o desvio do desempenho da explicação em relação a um baseline zero-shot, quantificando o "viés de explicação".

Principais Contribuições

1. Conjunto de Dados GECO: Um novo conjunto de dados de texto controlado por gênero com atribuições de características de verdade fundamental ao nível da palavra, permitindo a avaliação objetiva da correção da XAI baseada na associação estatística.
2. GECOBench: Um fluxo de trabalho de benchmarking rigoroso para quantificar como os enviesamentos de pré-treinamento afetam as atribuições de características e como estratégias de fine-tuning mitigam esses enviesamentos.
3. Análise Empírica de Viés em Explicações: O artigo demonstra que os métodos de atribuição de características são suscetíveis aos enviesamentos de pré-treinamento e que a correção dessas explicações depende fortemente de quais camadas do modelo são ajustadas.

Resultados

Desempenho da Explicação (RQ1)

• Dificuldade do Conjunto de Dados: O desempenho no conjunto de dados de apenas sujeito ($D_S$) é geralmente menor do que no conjunto de dados de todos os gêneros ($D_A$) em todos os métodos, provavelmente devido ao número reduzido de tokens discriminativos.
• Comparação de Métodos: Integrated Gradients, LIME e Gradient SHAP superam consistentemente os outros métodos e o baseline aleatório.
• Comparação com Baseline: O Pattern Variant (um método independente de modelo baseado na covariância entrada-alvo) serve como um limite superior para o desempenho. Embora nenhum método atinja o escore do Pattern Variant, o Integrated Gradients e o Gradient SHAP apresentam bom desempenho no regime de transferência de aprendizado.
• Modelo Sem Viés: O modelo OLA-CEA (treinado do zero sem pré-treinamento) mostra um desempenho de explicação significativamente maior em todos os métodos, confirmando que os enviesamentos de pré-treinamento degradam a qualidade da explicação.

Mitigação de Viés (RQ2)

• Dependência de Camada: Existe uma dependência clara entre o desempenho da explicação e o número de camadas ajustadas.
• Impacto do Embedding: Modelos onde a camada de embedding é re-treinada ou ajustada (BERT-CE, BERT-CEf) mostram o aumento mais significativo na correção da explicação em comparação com modelos onde os embeddings são fixos (BERT-C).
• Viés Residual: Mesmo quando a acurácia de classificação é mantida constante entre diferentes regimes de treinamento, os modelos com embeddings fixos retêm enviesamentos residuais que impactam negativamente a correção das atribuições de características. O ajuste fino (fine-tuning) dos embeddings é mostrado como a estratégia mais eficaz para mitigar esses enviesamentos.
• Observações Específicas: Em alguns casos, métodos de XAI em modelos enviesados destacam palavras irrelevantes (ex: "Bella" em vez do pronome "she") devido a associações de pré-treinamento, enquanto modelos sem viés focam corretamente nos pronomes alterados.

Significância e Alegações

O artigo afirma que o GECOBench fornece o primeiro framework principista e centrado em dados para avaliar a correção das atribuições de características em NLP, abordando especificamente a tensão entre explicações centradas no modelo e centradas em dados.

• Propagação de Viés: O estudo estabelece que os enviesamentos nos corpora de pré-treinamento não se limitam aos outputs de predição, mas também permeiam as explicações geradas por XAI.
• Correção como Indicador de Viés: Os autores argumentam que a correção centrada em dados das atribuições de características (especificamente a adesão à SAP) é indicativa dos enviesamentos subjacentes do modelo.
• Estratégia de Mitigação: Os resultados sugerem que simplesmente ajustar a cabeça de classificação é insuficiente para obter explicações sem viés; re-treinar ou ajustar as camadas de embedding é necessário para mitigar o impacto dos enviesamentos de pré-treinamento nas atribuições de características.
• Escopo: Os autores posicionam este trabalho como um primeiro passo em direção à avaliação sistemática de viés em XAI. Eles reconhecem limitações, como a simplificação do gênero através de alterações de pronomes e o foco em associações estatísticas univariadas, mas enfatizam que o framework consegue isolar e quantificar com sucesso o impacto do viés na correção da explicação em um ambiente controlado.

O artigo conclui que é necessária cautela ao usar métodos de XAI para depuração de modelos ou tarefas downstream (como análise de sentimento) em modelos pré-treinados, pois atribuições enviesadas podem destacar tokens de gênero espúrios em vez de características semanticamente relevantes.