Measuring Explainer Stability via Attribution Separability

Resumo Técnico: Medindo a Estabilidade de Explicadores via Separabilidade de Atribuição

Definição do Problema
Métodos de Atribuição (AMs), ou explicadores, são amplamente utilizados para interpretar modelos de caixa-preta, atribuindo pontuações de importância às características de entrada. No entanto, muitos AMs populares (por exemplo, SHAP, LIME, DiCE) incorporam componentes estocásticos, como amostragem de Monte Carlo ou perturbações aleatórias. Essa estocasticidade leva à variabilidade nas pontuações de atribuição entre diferentes execuções, levantando preocupações quanto à reprodutibilidade e à confiabilidade das classificações de características resultantes. Embora trabalhos anteriores tenham abordado a estabilidade por meio de perturbações no nível da entrada (testando como as explicações mudam quando a entrada é ligeiramente alterada), este artigo aborda um desafio distinto: quantificar a estabilidade da própria classificação derivada de uma única instância ao longo de múltiplas execuções do mesmo explicador. A questão central de pesquisa é: dada uma lista ordenada de importâncias de características produzida por um AM, até que ponto podemos confiar que as características de topo são verdadeiramente mais importantes do que as subsequentes?

Metodologia
Os autores propõem uma estrutura baseada em distribuição para quantificar a estabilidade das classificações de características através da análise da separabilidade das distribuições de atribuição.

1. Modelagem Distribuicional: Em vez de tratar as pontuações de atribuição como valores determinísticos, o método modela a pontuação de cada característica $i$ como uma distribuição de probabilidade $p_i$, estimada a partir de múltiplas execuções do AM em uma instância específica $x$.
2. Métrica de Separabilidade de Atribuição: Para medir a distinguibilidade entre duas características na lista classificada, os autores empregam uma métrica de distância $d(p, q)$ baseada na generalização contínua da distância de Jaccard. Esta métrica calcula a sobreposição entre duas distribuições $p$ e $q$:
   $$d(p, q) = 1 - \frac{\int_{\text{supp}(p) \cap \text{supp}(q)} \min(p(x), q(x))dx}{\int_{\text{supp}(p) \cup \text{supp}(q)} \max(p(x), q(x))dx}$$
   Um valor de $d(p, q)$ próximo de 1 indica alta separabilidade (baixa sobreposição), enquanto um valor próximo de 0 indica sobreposição significativa.
3. Definição de k-Estabilidade: A estrutura define a k-estabilidade como o maior comprimento de prefixo $k$ da lista classificada de características tal que todos os pares consecutivos de características no top-$k$ possuem uma distância distribuicional $d(p_i, p_j)$ superior a um limiar definido pelo usuário. Isso identifica o ponto na classificação onde a ordenação se torna não confiável devido às distribuições sobrepostas.
4. Estrutura Comparativa: O método permite a comparação de diferentes AMs calculando a proporção de instâncias em um conjunto de dados onde um método alcança uma $k$-estabilidade maior do que outro.

Principais Contribuições

• Métrica de Estabilidade Inovadora: O artigo introduz uma abordagem matematicamente fundamentada para quantificar a estabilidade das classificações de AMs baseada em análise distribuicional, em vez de perturbações de entrada.
• Validação Formal: Os autores provam que, em um caso ideal onde um AM é perfeitamente fiel e a estocasticidade desaparece, a métrica de distância proposta converge para 1 (separabilidade máxima). Eles demonstram adicionalmente, de forma empírica, que a métrica é sensível ao grau de separação entre os valores de importância das características.
• Ferramenta de Avaliação Comparativa: A estrutura fornece um mecanismo para comparar a robustez de diferentes explicadores (LIME, SHAP, DiCE) através de vários modelos e conjuntos de dados sem declarar a superioridade universal de qualquer método individual.

Resultados Experimentais
Os autores avaliaram a estrutura em quatro conjuntos de dados de referência (Diabetes, Heart Disease, Mobile, Churn) usando Random Forest, SVM, Regressão Logística e Árvore de Decisão.

• Análise de Separabilidade: Experimentos mostraram que o SHAP geralmente produziu atribuições quase determinísticas (valor de separabilidade de 1) em conjuntos de dados mais simples, enquanto o LIME e o DiCE exibiram mais variabilidade. Em conjuntos de dados complexos, a separabilidade tendeu a diminuir em direção à "cauda" da classificação (características menos relevantes).
• Comparações de k-Estabilidade: O SHAP demonstrou consistentemente valores de $k$-estabilidade mais altos em comparação com o LIME, DiCE e uma linha de base aleatória (RAND) na maioria dos conjuntos de dados e modelos. O DiCE mostrou níveis de estabilidade próximos à linha de base aleatória em vários casos.
• Sensibilidade de Execução: O estudo descobriu que a métrica apresenta sensibilidade limitada ao número de execuções para LIME, SHAP e DiCE, sugerindo que estimativas confiáveis podem ser obtidas com um número moderado de execuções (por exemplo, 15–30 execuções), enquanto a linha de base aleatória exigiu mais execuções para estabilizar.

Significância e Alegações
O artigo posiciona este trabalho como um critério complementar para avaliar AMs, focando especificamente na confiabilidade da classificação de características induzida. Os autores afirmam explicitamente que seu objetivo não é declarar um AM universalmente superior, reconhecendo o "Teorema de No Free Lunch" para explicabilidade. Em vez disso, argumentam que a estabilidade é um pré-requisito para a confiança do usuário e a generalização de insights.

O método proposto oferece uma maneira fundamentada de determinar o "ponto de retornos decrescentes" em uma classificação de características — identificando quantas características de topo podem ser confiadas antes que a ordenação se torne ambígua devido ao ruído estocástico. Os autores observam limitações, incluindo o foco em dados tabulares e a necessidade de selecionar parâmetros de estimativa de densidade e limiares. Eles enfatizam que uma baixa $k$-estabilidade não implica necessariamente falta de fidelidade ao processo de decisão do modelo, mas indica que a natureza estocástica do explicador torna a ordenação específica das características não confiável. Assim, esta métrica deve ser usada em conjunto com outras dimensões de avaliação, como fidelidade e simplicidade.