WISCA: A Consensus-Based Approach to Harmonizing Interpretability in Tabular Datasets

1. Declaração do Problema

Embora os modelos de Aprendizado de Máquina (ML) alcancem alta precisão preditiva, sua natureza de "caixa preta" impõe desafios significativos em domínios de alto risco, como saúde e finanças, onde transparência e interpretabilidade são legal e eticamente exigidas.

• O Conflito Central: Algoritmos existentes de Inteligência Artificial Explicável (XAI) (por exemplo, SHAP, LIME, Importância por Permutação) frequentemente produzem explicações conflitantes para a mesma previsão do modelo. Diferentes algoritmos podem destacar características distintas ou atribuir magnitudes variadas de importância.
• Limitações dos Métodos de Consenso Atuais: Para resolver esses conflitos, pesquisadores tentaram agregar explicações usando funções de consenso simples (por exemplo, média aritmética, votação, média geométrica). No entanto, esses métodos tradicionais sofrem de falhas críticas:
  • Eles frequentemente ignoram a precisão do modelo (tratando uma previsão confiável da mesma forma que um palpite aleatório).
  • Eles falham em normalizar as escalas de atribuição entre diferentes algoritmos (por exemplo, valores SHAP vs. importância por permutação).
  • Eles não distinguem entre explicações globais (abrangendo todo o conjunto de dados) e locais (específicas para cada amostra), levando a vieses na agregação.
  • Eles lutam com valores negativos ou atribuições zero, o que pode distorcer os resultados (por exemplo, a média geométrica colapsando para zero se um valor for zero).

2. Metodologia

Os autores propõem um novo framework para avaliar e melhorar o consenso na interpretabilidade.

A. Configuração Experimental

• Conjuntos de Dados: Seis conjuntos de dados sintéticos foram criados com verdades fundamentais conhecidas (características específicas usadas para gerar a variável alvo). Isso permite uma avaliação objetiva de se uma explicação identifica corretamente as características relevantes.
  • 2 Classificação Binária, 2 Classificação Multiclasse, 2 Regressão.
  • As características incluíram variáveis relevantes e ruído significativo (variáveis irrelevantes).
• Modelos de ML: Seis modelos diversos foram treinados: Regressão Logística (RL), K-Vizinhos Mais Próximos (KNN), Florestas Aleatórias (RF), Máquinas de Vetor de Suporte (SVM), Gradient Boosting Extremo (XGB) e Redes Neurais Artificiais (RNA).
• Algoritmos de Interpretabilidade: Uma mistura de métodos globais e locais, agnósticos ao modelo, foi utilizada:
  • Global: Decréscimo Médio de Impureza (MDI), Importância por Permutação.
  • Local: LIME, SHAP, Gradientes Integrados, Explicações Contrafactuais.

B. A Solução Proposta: WISCA

Os autores introduzem o WISCA (Atribuições de Consenso Escalado e Ponderado), uma nova função de consenso projetada para harmonizar explicações ao abordar as limitações dos métodos existentes.

Componentes Chave do WISCA:

1. Escala Min-Max: Todas as atribuições de diferentes algoritmos são normalizadas para uma faixa de $[0, 1]$ para garantir comparação justa.
2. Diferenciação entre Global e Local:
   • Métodos globais fornecem um valor por característica.
   • Métodos locais fornecem valores por amostra. O WISCA agrega atribuições locais dividindo pelo número total de amostras ($N$) para garantir que contribuam proporcionalmente aos métodos globais.
3. Ponderação por Precisão (Fatores de Correção):
   • Classificação: Pondera as atribuições com base na probabilidade da classe ($\pi$). Previsões com alta confiança (probabilidades próximas de 0 ou 1) são fortemente ponderadas, enquanto previsões incertas (probabilidade próxima de 0,5) são desvalorizadas. Os autores selecionaram uma função parabólica ($1 - 4p(1-p)$) para essa correção.
   • Regressão: Pondera as atribuições com base no erro de previsão ($|y - \hat{y}|$). Previsões com baixo erro (alta confiabilidade) mantêm seu peso de atribuição, enquanto previsões de alto erro são penalizadas usando um fator de decaimento exponencial ($e^{-\alpha|y-\hat{y}|}$).

Formulação:
$$\phi(f) = \sum_{s \in S} \frac{\phi'(f)}{N} \times \text{FatorCorreção}$$
Onde $\phi'(f)$ é a atribuição escalada, e o fator de correção depende do tipo de problema (probabilidade de classificação ou erro de regressão).

C. Métricas de Avaliação

• Métrica de Taxa de Acerto: Uma métrica personalizada que calcula a precisão do ranqueamento de características. Ela atribui pontuações mais altas se as características de "verdade fundamental" aparecerem no topo da lista de consenso.
• Distância de Separação: Mede a lacuna entre a atribuição mínima das características esperadas e a atribuição máxima das características de ruído.
• Correlação Estatística: Correlação de Spearman e divergência Jensen-Shannon foram usadas para comparar o WISCA com algoritmos individuais.

3. Principais Contribuições

1. Nova Função de Consenso (WISCA): Um método robusto que integra a precisão do modelo (via probabilidade ou erro) e escala as atribuições, superando os vieses da simples média ou votação.
2. Benchmarks Abrangentes: Uma avaliação sistemática de cinco funções de consenso existentes (Média Aritmética, Média Harmônica, Média Geométrica, Votação, Posição Relativa) contra o WISCA em diversos cenários sintéticos.
3. Identificação de Falhas em Métodos Existentes: O estudo demonstra que:
   • A Média Harmônica é inadequada pois pondera a importância inversamente.
   • A Média Geométrica falha quando qualquer atribuição é zero ou negativa.
   • A Votação é altamente sensível à precisão do modelo e ignora a magnitude das contribuições.
4. Validação em Dados Reais: Aplicação do WISCA a conjuntos de dados do mundo real (Risco de Câncer Cervical, Origem do Vinho, Aluguel de Bicicletas) para demonstrar consistência lógica na seleção de características.

4. Resultados

• Conjuntos de Dados Sintéticos: O WISCA superou consistentemente outros métodos de consenso.
  • Em conjuntos de dados de Regressão, o WISCA foi a única função a identificar corretamente todas as características esperadas em todos os modelos.
  • Em conjuntos de dados de Classificação, o WISCA e a Votação performaram bem, mas o WISCA mostrou menor desvio padrão (atribuições mais compactas/consistentes) e melhor desempenho em cenários complexos de multiclasse.
  • Métodos tradicionais como médias Geométrica e Harmônica performaram mal.
• Correlação com a Verdade Fundamental: O WISCA mostrou alta correlação de Spearman com o "melhor" algoritmo individual de interpretabilidade para cada modelo específico, indicando que sintetiza efetivamente os sinais mais confiáveis.
• Comparação com Modelos Lineares: As classificações de características do WISCA foram comparáveis e, em alguns casos, melhores do que as de um modelo de Regressão Logística (que é inerentemente interpretável), validando sua capacidade de extrair características causais verdadeiras.
• Aplicação no Mundo Real:
  • Câncer Cervical: Identificou corretamente o teste "Schiller" como um marcador chave.
  • Vinho: Identificou corretamente a "Prolina" como um marcador para a origem do vinho.
  • Aluguel de Bicicletas: Identificou corretamente "Usuários Registrados" como o principal motor para os alugueis.

5. Significado e Conclusão

O artigo estabelece que o consenso é essencial para XAI confiável, mas que a simples média é insuficiente. Ao incorporar confiança do modelo e normalização, o WISCA fornece uma explicação mais confiável de modelos de caixa preta.

• Impacto: Esta abordagem reduz a incerteza para partes interessadas em campos críticos (medicina, finanças) ao fornecer explicações que não são apenas consistentes entre algoritmos, mas também ponderadas pela confiabilidade da previsão subjacente.
• Trabalho Futuro: Os autores sugerem estender o WISCA para lidar com probabilidades específicas de multiclasse e explorar o uso de modelos de ML para prever atribuições de características com base em interpretações existentes.

Em resumo, o WISCA representa um passo significativo rumo à harmonização da interpretabilidade, movendo-se de explicações subjetivas ou conflitantes para um consenso robusto e ponderado por precisão, que se alinha estreitamente com a verdadeira lógica de tomada de decisão dos modelos de ML.