Explanation Bias is a Product: Revealing the Hidden Lexical and Position Preferences in Post-Hoc Feature Attribution

Título: O Viés de Explicação é um Produto: Revelando Preferências Léxicas e de Posição Ocultas em Atribuição de Recursos Post-Hoc

1. O Problema

As explicações de alta qualidade são fundamentais para a compreensão de modelos de linguagem e dados. Métodos de atribuição de recursos (como Gradientes Integrados, LIME, SHAP, etc.) são técnicas post-hoc que visam identificar quais tokens de entrada contribuíram mais para uma previsão do modelo.

No entanto, existe um problema crítico de inconsistência: diferentes métodos de atribuição frequentemente produzem explicações divergentes para a mesma entrada e o mesmo modelo de base. Isso gera dois riscos:

1. Usuários conscientes podem desconfiar da utilidade dos métodos.
2. Usuários inconscientes podem confiar inadequadamente em explicações enviesadas.

O artigo argumenta que essas inconsistências não são apenas ruído aleatório, mas refletem vieses sistemáticos inerentes aos métodos de atribuição e aos modelos. Especificamente, o foco está em dois tipos de viés:

• Viés Léxico: A tendência de atribuir importância sistemática a certos tipos de palavras (ex: pontuação, artigos, substantivos) independentemente do seu conteúdo semântico real.
• Viés de Posição: A tendência de atribuir importância a tokens baseados na sua localização no texto (ex: início ou fim da sequência), em vez de sua relevância para a tarefa.

2. Metodologia

Os autores propõem um framework de avaliação agnóstico ao modelo e ao método, estruturado em três métricas de quantificação de viés, aplicadas em dois cenários experimentais distintos:

A. Métricas de Viés Propostas:

1. Bias-cons (Consistência Inter-seed): Mede a consistência do viés entre diferentes execuções com sementes aleatórias distintas. Um valor alto indica que o viés é instável e dependente da inicialização aleatória.
2. Bias-agg (Viés Agregado): Mede o desvio da distribuição agregada de atribuições (sobre 10 modelos fine-tuned com sementes diferentes) em relação a uma distribuição uniforme (baseline de ausência de viés).
3. Bias-attr (Viés de Atribuição): Mede a distância entre um método específico e os outros métodos. Identifica se um método é um "outlier" em relação ao consenso dos demais.

B. Configuração Experimental:

• Modelos: Comparação entre um modelo BERT tradicional (bert-base-uncased, 110M parâmetros) e um modelo mais recente (ModernBERT-base, 149M parâmetros, que utiliza Rotary Positional Embeddings).
• Métodos de Atribuição: 6 métodos testados: PartSHAP, LIME, Vanilla Gradient (VanGrad), Grad × I, Integrated Gradient (IntGrad) e IntGrad × I.
• Cenário 1: Dados Artificiais (Controle Total):
  • Tarefas de classificação binária com dados gerados aleatoriamente onde a posição e o tipo de token não deveriam ter relação com o rótulo (ex: sequências de vírgulas e pontos, ou palavras aleatórias).
  • Objetivo: Isolar o viés intrínseco do método/modelo, eliminando sinais semânticos reais.
• Cenário 2: Dados Naturais (Controle Semi):
  • Tarefa de detecção de relações causais em texto natural.
  • Os dados foram manipulados para conter múltiplos sinais causais em diferentes posições (início, meio, fim) dentro da mesma entrada, permitindo testar se o modelo favorece uma posição específica.

C. Métricas de Fidedignidade (Sanity Check):

• Foram testadas as métricas de Sufficiency e Comprehensiveness para verificar se elas conseguem detectar os vieses encontrados.

3. Principais Contribuições e Resultados

A. Trade-off entre Viés Léxico e de Posição:

• Os resultados revelam um trade-off claro: modelos ou métodos que apresentam alto viés de posição tendem a ter baixo viés léxico, e vice-versa.
• BERT vs. ModernBERT: Contrariando a intuição de que modelos mais modernos são sempre melhores, o ModernBERT não demonstrou necessariamente menos viés. Em alguns casos, o BERT tradicional teve menor viés léxico, enquanto o ModernBERT teve menor viés de posição (devido às suas embeddings posicionais rotacionais), mas a relação não é linear.

B. Identificação de Métodos Enviesados:

• Vanilla Gradient (VanGrad) mostrou consistentemente o maior viés de posição (tendendo fortemente ao início do texto) e, em muitos casos, o maior viés agregado.
• Correlação entre Outliers e Viés: Um achado crucial é que métodos que divergem mais dos outros (alto Bias-attr) tendem a ser os mais enviesados em relação à baseline de ausência de viés (alto Bias-agg). Isso sugere que explicações "anômalas" ou que discordam do consenso são mais propensas a serem incorretas.

C. Limitações das Métricas de Fidedignidade:

• As métricas clássicas de fidedignidade (Sufficiency e Comprehensiveness) falharam em detectar os vieses de posição e léxico nos modelos que não aprenderam a tarefa artificial (dados aleatórios).
• Como os modelos não aprendiam padrões reais nos dados artificiais, a remoção de tokens não alterava a probabilidade de forma significativa, resultando em pontuações próximas de zero para todos os métodos, mascarando o viés sistemático. Isso indica que essas métricas não são suficientes para validar explicações em cenários onde o modelo pode não ter aprendido a tarefa corretamente.

D. Resultados em Dados Naturais:

• Na tarefa de detecção causal, o BERT mostrou uma forte tendência de viés para informações no final das entradas (especialmente em exemplos negativos), enquanto o ModernBERT foi geralmente menos enviesado, mas ainda apresentou padrões de viés dependendo do método de atribuição.

4. Significado e Conclusões

O trabalho demonstra que o viés em explicações de IA não é apenas um defeito do modelo de base, mas um produto do método de atribuição combinado com o modelo.

• Implicações Práticas: Usuários de métodos de explicação não devem confiar cegamente em um único método. A divergência entre métodos é um sinal de alerta: se um método produz uma explicação muito diferente dos outros, é provável que essa explicação seja enviesada ou incorreta.
• Avaliação de Modelos: A suposição de que modelos mais recentes (como ModernBERT) são intrinsecamente mais justos ou menos enviesados é falsa; a arquitetura pode apenas deslocar o tipo de viés (de léxico para posicional, por exemplo).
• Futuro: O estudo sugere que as métricas atuais de fidedignidade são insuficientes para detectar vieses estruturais em modelos que não aprenderam bem a tarefa. É necessário desenvolver novas métricas que avaliem a robustez das explicações contra vieses de posição e léxico, especialmente em cenários de dados controlados ou fora da distribuição (OOD).

Em resumo, o artigo fornece um framework rigoroso para diagnosticar e quantificar vieses ocultos em explicações de IA, alertando a comunidade de que a "explicação" em si pode ser um artefato enviesado do método utilizado, e não uma reflexão fiel da lógica do modelo.