Accumulated Aggregated D-Optimal Designs for Estimating Main Effects in Black-Box Models

Resumo Técnico: A2D2E para Estimativa de Efeitos Principais em Modelos Black-Box

1. O Problema

A estimativa de como variáveis de entrada individuais afetam a saída de modelos de aprendizado de máquina complexos (caixa-preta) é uma tarefa central na explicabilidade de IA (XAI). O objetivo é recuperar curvas de efeito principais interpretáveis ($f_d$) que descrevam a relação marginal entre uma variável $x_d$ e a resposta prevista $\hat{f}$.

No entanto, os métodos existentes enfrentam duas limitações críticas:

1. Sensibilidade a Avaliações Fora da Distribuição (OOD): Métodos como Partial Dependence (PD) geram pontos de avaliação artificiais que podem estar muito distantes da variedade de dados (manifold), levando a extrapolações não confiáveis, especialmente quando há correlação entre as características.
2. Instabilidade sob Correlação de Características: Quando as variáveis de entrada são correlacionadas, métodos como PD e M-plot produzem resultados enganosos. O método Accumulated Local Effects (ALE) melhora a robustez ao restringir a agregação a observações dentro de "bins" (intervalos), mas ainda sofre com instabilidade em cenários de alta dimensionalidade e depende de amostragem dentro do bin que pode ser imprecisa em cenários OOD. Além disso, métodos derivados como DALE exigem diferenciabilidade do preditor, excluindo modelos não paramétricos como K-NN.

2. Metodologia Proposta: A2D2E

Os autores introduzem o A2D2E (Estimator based on Accumulated Aggregated D-Optimal Designs). A abordagem é fundamentada em uma nova visão unificada da estimativa de efeitos principais como um problema de desenho experimental.

Conceitos Chave:

• Formulação Unificada: A estimativa de $f_d$ é decomposta em uma acumulação de incrementos locais ($\Delta^k_d$) sobre uma partição do espaço de entrada. Estimar esses incrementos reduz-se a estimar a inclinação local (slope) da função em cada observação dentro de um bin.
• Desenho D-Ótimo Local: Diferente do ALE e do PD, que utilizam apenas dois pontos de avaliação artificiais por observação (um desenho de dois pontos), o A2D2E substitui essa escolha heurística por um desenho D-ótimo.
  • Para cada observação $x_i$ dentro de um bin, o método constrói um hipercubo local centrado em $x_i$ com aresta $\delta$.
  • Avalia o modelo $\hat{f}$ nos $2p$ vértices desse hipercubo.
  • Ajusta um modelo linear local via Mínimos Quadrados Ordinários (OLS) para estimar a inclinação na direção $d$.
  • O desenho D-ótimo maximiza o determinante da matriz de informação ($V^T V$), minimizando o volume do elipsoide de confiança e, consequentemente, a variância da estimativa da inclinação local.

Algoritmo:

1. Divide o domínio da variável $d$ em $K$ bins.
2. Para cada observação $x_i$ no bin $k$, constrói o conjunto de design local $S_{A2D2E, i}$ (vértices do hipercubo).
3. Calcula a inclinação local $\hat{\beta}_{k,i}$ usando uma combinação linear ponderada das avaliações do modelo nos vértices (fórmula fechada, sem necessidade de inversão de matriz).
4. Agrega as inclinações locais dentro do bin para obter a inclinação do bin $\hat{\beta}_k$.
5. Acumula os incrementos ($\Delta^k_d = \text{largura do bin} \times \hat{\beta}_k$) para reconstruir a curva de efeito principal.

Vantagens Computacionais e Práticas:

• Modelo-Agnóstico: Não requer diferenciabilidade do preditor (funciona com K-NN, árvores, etc.).
• Complexidade: Possui uma forma fechada com complexidade comparável aos métodos existentes. Embora avalie $2p$ pontos por observação, o custo é amortizado quando estimam-se efeitos para todas as dimensões simultaneamente, pois as avaliações dos vértices do hipercubo podem ser reutilizadas para todas as dimensões.
• Redução de OOD: O deslocamento máximo dos pontos de avaliação é limitado por $\delta$, que pode ser controlado para ser menor que o deslocamento do ALE, reduzindo a sensibilidade a avaliações fora da distribuição.

3. Contribuições Principais

1. Visão Unificada: Apresenta a estimativa de efeitos principais como um problema de otimização de desenho experimental, mostrando que métodos existentes (PD, ALE) são casos especiais com escolhas subótimas de locais de avaliação.
2. Novo Estimador (A2D2E): Propõe o uso de desenhos D-ótimos locais para minimizar a variância da estimativa da inclinação, superando a limitação de dois pontos dos métodos atuais.
3. Garantias Teóricas:
   • Prova que o alvo populacional do A2D2E converge para o mesmo alvo do ALE à medida que a partição fica mais fina.
   • Estabelece a consistência do estimador tanto para o modelo verdadeiro quanto para cenários realistas onde apenas um modelo substituto (surrogate) $\hat{f}$ está disponível.
4. Desempenho Empírico Superior: Demonstra, através de simulações extensas, que o A2D2E supera o ALE e o DALE, especialmente em cenários de alta correlação entre características e quando o modelo substituto é sensível a dados OOD.

4. Resultados Experimentais

Os autores realizaram simulações abrangentes utilizando diversas funções benchmark aditivas e não aditivas, com modelos preditivos como K-NN e Regressão por Processos Gaussianos (GPR).

• Correlação de Características: Em cenários de dependência alta (alta correlação entre variáveis), o A2D2E apresentou os maiores ganhos de precisão (menor erro quadrático médio - ORMSE) em comparação com o ALE e o PD. O PD falhou drasticamente devido a viés de extrapolação, enquanto o ALE manteve variabilidade alta.
• Sensibilidade a OOD: Em estudos de caso com GPR e diferentes escalas de comprimento (que afetam a suavidade e a generalização do modelo), o A2D2E manteve-se estável e com baixo erro mesmo quando o modelo de substituição era mal especificado ou sensível a regiões OOD.
• Análise de Sensibilidade: O método demonstrou robustez em relação à escolha do número de bins ($K$) e do raio do hipercubo ($\delta$), mantendo desempenho estável para $K \geq 10$.
• Aplicações Reais: O método foi aplicado com sucesso em conjuntos de dados reais (Iris para classificação e Auto para regressão), produzindo curvas de efeito interpretáveis e coerentes com o conhecimento de domínio, validando sua utilidade prática.

5. Significado e Conclusão

O A2D2E representa um avanço significativo na explicabilidade de modelos de caixa-preta. Ao tratar a estimativa de efeitos como um problema de desenho experimental ótimo, o método resolve o dilema entre viés de extrapolação (comum no PD) e variância de estimativa (comum no ALE).

Sua principal contribuição é fornecer uma ferramenta robusta, agnóstica ao modelo e estatisticamente eficiente para entender a influência de variáveis em cenários complexos e correlacionados, onde os métodos atuais falham. Isso é particularmente crucial em domínios como ciências naturais e engenharia, onde a confiabilidade das explicações é tão importante quanto a precisão preditiva do modelo. O trabalho sugere que a escolha do método de explicação deve considerar a força da dependência das características e a sensibilidade do modelo a dados fora da distribuição, posicionando o A2D2E como a escolha preferencial em cenários desafiadores.