Resumo Técnico: MDI Local+ (LMDI+)

Declaração do Problema

Ensembles baseados em árvores, como Florestas Aleatórias (RFs) e Gradient Boosting, permanecem o estado da arte para dados tabulares devido ao seu desempenho preditivo e eficiência computacional. Consequentemente, são amplamente implantados em domínios de alto risco, como saúde e justiça criminal, tornando necessárias interpretações locais confiáveis.

Os métodos atuais de Importância Local de Recursos (LFI), como LIME e TreeSHAP, enfrentam limitações significativas:

1. Dependência de Perturbações: Essas abordagens agnósticas ao modelo dependem de perturbações aleatórias ou permutações de recursos para aproximar o comportamento do modelo. Isso ignora a estrutura interna do modelo, levando a explicações instáveis e à falha em identificar os recursos de sinal verdadeiros nos Processos Geradores de Dados (DGPs) subjacentes.
2. Instabilidade: Métodos existentes frequentemente produzem classificações de recursos inconsistentes em ajustes de modelo repetidos com diferentes sementes aleatórias.
3. Viés em Métodos Baseados em Árvores: A importância local tradicional baseada em árvores (MDI Local) sofre de vieses onde recursos com alta entropia ou baixa correlação recebem pontuações de importância infladas. Além disso, modelos baseados em árvores são ineficientes na captura de funções aditivas e suaves.

Embora o método de importância global de recursos MDI+ tenha abordado esses vieses explorando uma equivalência entre árvores de decisão e mínimos quadrados em uma base de nós transformada, ele permanece uma métrica global. Não consegue explicar resultados específicos da amostra, que frequentemente dependem de características individuais únicas.

Metodologia: O Framework LMDI+

Os autores propõem o MDI Local+ (LMDI+), uma extensão novel do framework MDI+ para o cenário específico da amostra. Desenvolvido sob o framework Previsibilidade-Computabilidade-Estabilidade (PCS) para ciência de dados verídica, o LMDI+ visa identificar recursos de sinal específicos da instância de forma fiel e consistente, sem depender de perturbações.

O framework aproveita a equivalência entre previsões de árvores de decisão e regressão de Mínimos Quadrados Ordinários (OLS) em uma base transformada (funções de toco). O procedimento LMDI+ envolve três etapas principais:

1. Representação Expandida: Para cada árvore em um ensemble, o método constrói um mapa de recursos $\tilde{\Psi}(X)$ que inclui:
   • As funções de toco transformadas $\Psi(X; S)$ derivadas da estrutura da árvore (baseadas em amostras dentro do pacote e fora do pacote (OOB)).
   • Os valores brutos dos recursos $x_k$ anexados ao mapa. Essa augmentação permite que o modelo capture estruturas lineares e aditivas que divisões puras de árvores poderiam perder.
2. Ajuste de GLM Regularizado: Em vez de usar OLS, o LMDI+ ajusta um Modelo Linear Generalizado (GLM) regularizado (por exemplo, ElasticNet) nos dados transformados. Esta etapa mitiga o sobreajuste e lida melhor com recursos correlacionados do que as medidas de importância baseadas em árvores padrão.
3. Atribuição Específica da Amostra: Para uma observação específica $x$, a importância do $k$-ésimo recurso é calculada como a contribuição desse recurso para a previsão dentro do modelo linearizado:
   $$\text{LMDI}^+_k(x) = \tilde{\Psi}^{(k)}(x)^\top \hat{\beta}^{(k)}_\lambda$$
   onde $\hat{\beta}^{(k)}_\lambda$ representa os coeficientes do GLM. Se um recurso nunca aparecer em uma divisão, sua contribuição é zero. A pontuação final do ensemble é a média dessas pontuações em todas as árvores.

Principais Contribuições e Resultados

O artigo valida o LMDI+ em doze conjuntos de dados de referência do mundo real (seis de regressão, seis de classificação) e várias configurações sintéticas.

1. Identificação Superior de Recursos de Sinal

• Experimentos Sintéticos: Em simulações inspiradas em dados com variações nas razões sinal-ruído (SNR), tamanhos de amostra e funções de resposta (lineares, polinomiais e localmente espigadas-esparças), o LMDI+ consistentemente alcançou pontuações AUROC mais altas na distinção entre recursos de sinal e não sinal, comparado a LIME, TreeSHAP e MDI Local.
• Robustez à Correlação: Em configurações com recursos altamente correlacionados, o LMDI+ classificou corretamente os recursos de sinal como os mais importantes. Em contraste, linhas de base como LIME e TreeSHAP frequentemente priorizaram incorretamente recursos não sinal não correlacionados quando a força da correlação era alta ($\rho \ge 0.9$).
• Desempenho no Mundo Real: Usando uma técnica de avaliação "remover e re-treinar", o LMDI+ demonstrou que os recursos que selecionou eram mais preditivos de resultados individuais. Ao re-treinar modelos em dados mascarados retendo apenas os top $k\%$ de recursos, o LMDI+ produziu pontuações $R^2$ (regressão) e AUROC (classificação) mais altas do que as linhas de base, com uma melhoria média de 10% no desempenho preditivo ao usar apenas os recursos selecionados.

2. Estabilidade Aprimorada

• O LMDI+ produziu as classificações de recursos mais consistentes em ajustes de modelo repetidos com diferentes sementes aleatórias.
• Experimentos de estabilidade mostraram que o LMDI+ selecionou o menor número de recursos únicos em diferentes ajustes de modelo, indicando que suas classificações de importância são robustas a variações de modelagem, um requisito crítico para interpretações confiáveis.

3. Generalizabilidade e Ablação

• Análise de Componentes: Estudos de ablação confirmaram que cada componente do LMDI+ (amostras OOB, augmentação de recursos brutos e GLMs regularizados) contribui para ganhos de desempenho.
• Agnosticismo de Modelo dentro de Árvores: As melhorias estenderam-se além das Florestas Aleatórias para modelos de Gradient Boosting, demonstrando a aplicabilidade do framework a vários ensembles de árvores.

4. Aplicações Práticas

• Explicações Contrafactuais: Ao priorizar recursos de sinal, o LMDI+ identificou contrafactuais (mínimas alterações para inverter uma previsão) que exigiram modificações menores (menor distância $\ell_1$) em comparação com as linhas de base.
• Descoberta de Subgrupos: Em um estudo de caso sobre o conjunto de dados de Habitação de Miami, agrupar amostras com base nas pontuações LMDI+ revelou subgrupos homogêneos. Ajustar modelos OLS simples nesses subgrupos reduziu significativamente o erro de previsão (MSE) em comparação com um modelo global, com o LMDI+ superando outros métodos LFI na homogeneidade do subgrupo.

Significado e Alegações

O artigo alega que o LMDI+ aborda a lacuna crítica entre a importância global baseada em árvores e a necessidade de interpretabilidade local e específica da amostra. Ao afastar-se de aproximações baseadas em perturbação e, em vez disso, explorar a estrutura linear interna dos ensembles de árvores, o LMDI+ oferece:

• Fidelidade: Identifica com mais precisão os verdadeiros recursos de sinal que impulsionam previsões individuais.
• Estabilidade: Fornece explicações consistentes em execuções de modelo, reduzindo o risco de tomada de decisão não confiável em configurações de alto risco.
• Ação: Permite casos de uso práticos, como gerar contrafactuais eficientes e descobrir subgrupos de dados homogêneos.

Os autores posicionam o LMDI+ como um passo em direção à ciência de dados verídica, garantindo que as interpretações locais não sejam apenas computáveis, mas também previsíveis e estáveis. Embora o método introduza uma sobrecarga única para ajustar o GLM e transformar a base, a fase de inferência para novas amostras é eficiente (multiplicação linear simples), tornando-o viável para implantação prática onde a estrutura do modelo permanece fixa.