Empirical Characterization of Rationale Stability Under Controlled Perturbations for Explainable Pattern Recognition

Resumo Técnico: Caracterização Empírica da Estabilidade de Racionalidade sob Perturbações Controladas para Reconhecimento de Padrões Explicável

1. Problema e Motivação

O artigo aborda uma lacuna crítica na área de Inteligência Artificial Explicável (XAI): a falta de métricas que avaliem a consistência das explicações de modelos de aprendizado de máquina.

• O Desafio: A maioria das avaliações de XAI é centrada em instâncias individuais (explicando por que um modelo fez uma previsão específica), ignorando se o modelo mantém um raciocínio estável e consistente para entradas semelhantes ou que pertencem à mesma classe.
• O Risco: Um modelo pode fornecer explicações plausíveis para uma única amostra, mas falhar em manter a mesma lógica para variações sutis da mesma entrada (perturbações). Isso gera desconfiança, especialmente em domínios de alto risco (saúde, finanças), onde a estabilidade do raciocínio é tão importante quanto a precisão da previsão.
• Hipótese: Explicações para entradas semelhantes (mesma classe/etiqueta) devem exibir alta similaridade. Inconsistências indicam que o modelo depende desproporcionalmente de certos recursos ou falha em manter um raciocínio coerente.

2. Metodologia Proposta

Os autores propõem uma nova métrica chamada Explanation Stability Score (ESS) e um framework experimental para validá-la.

• Métrica ESS (Explanation Stability Score):

  • Conceito: Quantifica a estabilidade das explicações calculando a similaridade de cosseno entre os vetores de valores SHAP (Shapley Additive exPlanations) de pares de entradas que compartilham a mesma etiqueta (classe).
  • Cálculo: Para um conjunto de pares de entradas $(x_1, x_2)$ com a mesma classe $y$, calcula-se a similaridade de cosseno entre seus vetores de atribuição SHAP. O ESS é a média dessas similaridades.
  • Interpretação: Um ESS próximo de 1 indica explicações perfeitamente consistentes; um ESS próximo de 0 indica explicações instáveis e inconsistentes.
  • Fidelidade (FID-k): Como métrica comparativa, os autores utilizam uma pontuação de fidelidade baseada em mascaramento, onde os $k$ recursos mais importantes (identificados pelo SHAP) são mascarados para ver a queda na confiança do modelo.

• Configuração Experimental:

  • Modelos: BERT, RoBERTa e DistilBERT (arquiteturas Transformer pré-treinadas).
  • Datasets: SST-2 (Stanford Sentiment Treebank) e IMDB (análise de sentimentos binária: positivo/negativo).
  • Perturbações Controladas: Utilização de paráfrases (substituição de sinônimos via WordNet com 20% de probabilidade) para criar variações de entrada que preservam o significado e a etiqueta original, mas alteram a superfície do texto.
  • Processo: O framework gera explicações SHAP para as entradas originais e paráfraseadas, calcula o ESS e compara os resultados.

3. Contribuições Principais

1. Introdução do ESS: Uma nova métrica quantitativa para avaliar a consistência de explicações entre entradas com a mesma etiqueta, indo além da análise de instâncias isoladas.
2. Avaliação Abrangente: Testes extensivos em três modelos de linguagem (BERT, RoBERTa, DistilBERT) e dois datasets de sentimento, incluindo análise por classe e estudos de ablação com paráfrases.
3. Detecção de Desalinhamento: Demonstração de que o ESS é eficaz para identificar previsões desalinhadas e inconsistências no raciocínio do modelo que métricas tradicionais de fidelidade podem não capturar.
4. Código Aberto: Disponibilização do código para reprodutibilidade e uso pela comunidade.

4. Resultados Experimentais

Os experimentos revelaram insights importantes sobre o comportamento dos modelos sob perturbações:

• Impacto das Paráfrases: A introdução de paráfrases reduziu significativamente o ESS em todos os modelos (redução de 10-14% para BERT e RoBERTa), indicando que as explicações são sensíveis a pequenas variações no texto, mesmo quando a previsão da classe permanece a mesma.
• Comparação entre Modelos:
  • RoBERTa: Apresentou os valores de ESS mais altos (ex: ~0.1995 no teste do SST-2), sugerindo maior consistência nas atribuições de recursos, embora tenha mostrado fidelidade numericamente baixa.
  • BERT: Mostrou um equilíbrio moderado entre consistência e fidelidade.
  • DistilBERT: Apresentou os valores de ESS mais baixos (ex: ~0.0061 no teste do SST-2), indicando explicações muito simples ou instáveis, possivelmente devido ao seu tamanho reduzido e menor complexidade de dependências entre recursos.
• Análise por Classe: No BERT, o ESS para sentimentos negativos foi maior do que para positivos, sugerindo que o modelo é menos consistente ao explicar previsões positivas.
• Significância Estatística: Um teste t confirmou que a redução no ESS após a paráfrase é estatisticamente significativa ($p < 0.05$), validando a paráfrase como uma ferramenta eficaz para detectar instabilidade.

5. Significância e Conclusão

O trabalho estabelece que a interpretabilidade humana não depende apenas de explicações simples, mas de explicações estáveis e confiáveis.

• Confiança em IA: Se um modelo muda drasticamente seu raciocínio para entradas semelhantes, a confiança do usuário diminui. O ESS fornece um sinal de alerta precoce para esses comportamentos.
• Validação de Modelos: A métrica complementa as métricas de fidelidade tradicionais, oferecendo uma visão mais holística sobre como o modelo "pensa" e se esse pensamento é robusto.
• Futuro: Os autores sugerem que a verificação de consistência deve ser integrada ao processo de treinamento de modelos para garantir sistemas de IA mais robustos, alinhados com valores humanos e seguros para aplicações críticas.

Em suma, o artigo propõe que a estabilidade da racionalidade (rationale stability) é um pilar fundamental para a XAI madura, e o ESS é uma ferramenta prática para medir e melhorar essa propriedade.