Resumo Técnico: Avaliação de Métricas de Explicabilidade Local para Modelos de Aprendizado de Máquina em Dados Tabulares

Declaração do Problema

Embora técnicas de explicabilidade sejam amplamente utilizadas para interpretar modelos de Inteligência Artificial (IA), a confiabilidade das explicações geradas permanece um desafio em aberto. As explicações frequentemente parecem plausíveis para humanos, mas falham em capturar com precisão o raciocínio interno de modelos complexos, especialmente quando aplicadas a dados tabulares. A literatura atual carece de uma avaliação sistemática e reprodutível de técnicas de explicabilidade local em uma ampla gama de conjuntos de dados e tipos de modelos. Especificamente, há necessidade de determinar se a qualidade da explicação correlaciona-se com o desempenho preditivo do modelo ou se outros fatores, como a complexidade do conjunto de dados, desempenham um papel mais dominante.

Metodologia

Os autores conduziram um benchmark abrangente para avaliar a confiabilidade de técnicas de explicabilidade local aplicadas a tarefas complexas de classificação tabular. O estudo utilizou os seguintes componentes:

• Conjuntos de Dados: A avaliação abrangeu 32 conjuntos de dados de classificação curados do repositório TabArena, cobrindo domínios diversos, tamanhos de amostra, contagens de recursos (variando de 4 a 1.776) e distribuições de classes. O pré-processamento dos dados incluiu normalização, codificação one-hot e imputação.
• Modelos: Três famílias distintas de modelos foram treinadas e ajustadas usando Optuna e rastreadas via MLflow:
  • Regressão Logística: Uma base linear.
  • Random Forest: Um método de árvore de ensemble.
  • XGBoost: Um modelo de árvore reforçada com alta capacidade preditiva.
• Técnicas de Explicabilidade: Três técnicas locais amplamente utilizadas e agnósticas a modelos foram implementadas usando a biblioteca Captum:
  • LIME (Explicações Locais Agnósticas a Modelos Interpretáveis): Utiliza amostras perturbadas e um substituto linear.
  • Kernel SHAP (Explicações Aditivas de Shapley de Kernel): Uma aproximação dos valores de Shapley usando amostragem e ponderação específicas.
  • Ablação de Recursos: Remove ou substitui sistematicamente recursos para medir mudanças na saída.
• Métricas de Avaliação: O estudo empregou a biblioteca Quantus para calcular cinco métricas focando em três propriedades principais:
  • Fidelidade: Estimativa de Fidelidade (correlação entre atribuição e comportamento do modelo) e Seletividade (impacto da remoção dos recursos mais bem classificados).
  • Robustez: Sensibilidade Média (mudança média sob perturbação) e Sensibilidade Máxima (pior caso de mudança).
  • Complexidade: Complexidade (entropia de Shannon da distribuição de atribuição de recursos).
• Desenho Experimental: Os modelos foram avaliados em conjuntos de teste de retenção usando pontuações F1. As amostras foram categorizadas em dois grupos de consenso: Consenso-Correto (todos os modelos previram corretamente) e Consenso-Incorreto (todos os modelos previram incorretamente). Cinco amostras por classe-alvo foram selecionadas para cada grupo para garantir avaliação consistente entre técnicas e modelos.

Principais Resultados

Os resultados do benchmark, agregados em faixas de pontuação F1 (50% a 100%), revelaram vários padrões críticos:

1. Correlação Fraca com Desempenho Preditivo: Não há uma correlação direta forte entre a pontuação F1 de um modelo e a confiabilidade de suas explicações. Em alguns casos, pontuações F1 mais altas correlacionaram-se com maior sensibilidade (menor robustez) e maior complexidade, sugerindo que modelos com melhor desempenho em conjuntos de dados complexos podem produzir explicações mais distribuídas e menos estáveis.
2. Impacto da Complexidade do Conjunto de Dados: O número de recursos em um conjunto de dados mostrou uma correlação positiva com os valores das métricas, particularmente para complexidade (correlação de 0,71). Isso indica que a estrutura do conjunto de dados e a dimensionalidade dos recursos são os principais impulsionadores do comportamento da explicação, frequentemente superando o desempenho do modelo.
3. Comportamentos Específicos da Técnica:
   • Ablação de Recursos: Consistentemente alcançou altos valores de Estimativa de Fidelidade (frequentemente >0,98), provavelmente devido à lógica de perturbação compartilhada entre a técnica e a métrica. No entanto, exibiu instabilidade significativa na Sensibilidade Máxima, com outliers extremos (por exemplo, valores atingindo 72,610).
   • LIME: Demonstrou a maior robustez (menor Sensibilidade Média), mas mostrou a menor e mais instável Fidelidade, com altos desvios padrão. Seu desempenho foi altamente sensível aos hiperparâmetros de localidade.
   • Kernel SHAP: Mostrou fidelidade moderada, mas consistentemente maior Sensibilidade Média em comparação ao LIME, indicando menor robustez a perturbações de entrada.
4. Grupos de Consenso: Embora amostras de Consenso-Correto geralmente produzissem valores de métrica ligeiramente diferentes das amostras de Consenso-Incorreto, a distinção não revelou uma correlação direta entre classificação correta e confiabilidade da explicação. As explicações podiam parecer estáveis mesmo quando a previsão subjacente estava incorreta.

Significado e Alegações

O artigo afirma que a confiabilidade das técnicas de explicabilidade local em dados tabulares não é determinada principalmente pelo desempenho preditivo do modelo subjacente. Em vez disso, complexidade do conjunto de dados e distribuições de recursos parecem ser os principais fatores que afetam a qualidade e a confiabilidade da explicação.

Os autores enfatizam que:

• Alta precisão do modelo não garante explicações de alta qualidade.
• Métricas existentes, muitas originalmente projetadas para dados de imagem, requerem interpretação cuidadosa quando aplicadas a dados tabulares, pois propriedades como "localização" são menos significativas sem estrutura espacial.
• A escolha da técnica de explicação envolve compensações: a Ablação de Recursos oferece alta fidelidade, mas arrisca instabilidade; o LIME oferece robustez, mas menor fidelidade; o Kernel SHAP fica no meio-termo, mas pode ser sensível a perturbações.

O estudo conclui que avaliar a confiabilidade da explicação exige olhar além da precisão do modelo e considerar as características específicas do conjunto de dados, particularmente o número de recursos e a complexidade das fronteiras de decisão. Sugere-se trabalho futuro para investigar ainda mais a correlação entre a contagem de recursos e os valores das métricas, potencialmente treinando modelos em conjuntos de recursos reduzidos para testar a consistência da explicação.