Generalized Functional ANOVA in Closed-Form: A Unified View of Additive Explanations

Resumo Técnico: ANOVA Funcional Generalizada em Forma Fechada

Declaração do Problema
Modelos de aprendizado de máquina modernos, particularmente conjuntos complexos e redes neurais, frequentemente operam como "caixas pretas" opacas, tornando suas mapeamentos de entrada-saída difíceis de interpretar. Embora a IA Explicável (XAI) tenha produzido inúmeros métodos de explicação post-hoc (por exemplo, SHAP, LIME) e modelos inerentemente interpretáveis (por exemplo, GAMs, EBM), essas abordagens enfrentam duas críticas principais: elas frequentemente dependem de construções heurísticas que carecem de teoremas de representação rigorosos e podem ser computacionalmente caras ou formalmente intratáveis.

Um desafio central na interpretabilidade é a decomposição ANOVA Funcional (ou decomposição de Hoeffding), que decompõe um preditor em efeitos principais e interações de ordem superior. Embora essa decomposição seja explícita e ortogonal para entradas independentes, obter uma representação tratável para entradas dependentes permanece difícil. Métodos existentes para configurações dependentes frequentemente exigem conhecimento da densidade de entrada, são restritos a tipos específicos de modelos (por exemplo, conjuntos de árvores) ou foram resolvidos apenas recentemente para dados categóricos. Há uma necessidade de um framework unificado, agnóstico ao modelo, que forneça uma solução explícita em forma fechada para entradas contínuas dependentes e permita uma estimativa eficiente a partir de dados.

Metodologia
Os autores propõem um framework unificado para a decomposição de ANOVA Funcional Generalizada para variáveis aleatórias contínuas e limitadas. A metodologia procede em três etapas:

1. Formulação Teórica (Base em Forma Fechada):
   O artigo estabelece que a decomposição ANOVA funcional generalizada, definida como a solução de um problema de otimização de mínimos quadrados restritos em um espaço de Hilbert, admite uma solução explícita em forma fechada para características contínuas limitadas.

   • Pressuposto: O vetor de entrada $X$ é suportado em um hiperretângulo $[-1, 1]^p$ com uma densidade $f$ limitada afastada de zero e infinito.
   • Construção da Base: Os autores constroem uma base de Riesz $\Xi$ para o espaço $L^2([−1, 1]^p, \mu_f)$ usando polinômios de Legendre normalizados e um mecanismo de ponderação inversa de verossimilhança. Especificamente, para um subconjunto de variáveis $S$, as funções de base são definidas como:
     $$\xi^{(m_S)}_S(x) := \frac{1}{\sqrt{2^{p-|S|}}} \cdot \frac{\prod_{j \in S} \tilde{P}_{m_j}(x_j)}{f_S(x_S)}$$
     onde $\tilde{P}_m$ são polinômios de Legendre normalizados e $f_S$ é a densidade marginal de $X_S$.
   • Ortogonalidade: Essa construção garante ortogonalidade hierárquica, significando que, para qualquer subconjunto estrito $T \subset S$, o componente $\nu_S$ é ortogonal a qualquer função de $X_T$. Isso recupera a decomposição ortogonal clássica no caso independente e conecta-se naturalmente aos valores de Shapley via dividendos de Harsanyi.

2. Algoritmo de Estimativa:
   Como a base está disponível em forma fechada, estimar a decomposição reduz-se a estimar os coeficientes da expansão da base via regressão de mínimos quadrados.

   • Truncamento: Para lidar com a natureza de dimensão infinita do problema, os autores empregam um conjunto de truncamento $I^K_d$ que limita a ordem de interação a $K$ e o grau do polinômio a $d$. Isso aproveita os princípios de "espaço de efeitos" e "relutância".
   • Estimativa de Densidade: As densidades marginais $f_S$ necessárias para a base são estimadas a partir dos dados usando expansões de Legendre tensorizadas truncadas.
   • Pipeline: O algoritmo envolve escalonamento de características (para $[-1, 1]$), estimativa de densidade, construção da matriz de projeto usando as funções de base e resolução de um sistema linear (usando LARS para seleção de modelo e SVD para resolução). Todo o processo é agnóstico ao modelo, exigindo apenas pares de entrada-saída.

3. Validação Experimental:
   O método é avaliado em casos analíticos sintéticos e seis conjuntos de dados do mundo real (Compartilhamento de Bicicletas, Habitação da Califórnia, Renda do Censo, etc.) usando quatro famílias de modelos: XGBoost, MLP, EBM e NAM. É comparado contra métodos de última geração (KernelSHAP, DeepSHAP, TreeSHAP, TreeHFD) e as decomposições nativas de modelos interpretáveis.

Principais Contribuições

1. Solução Explícita em Forma Fechada: O artigo demonstra que a decomposição ANOVA funcional generalizada para características contínuas limitadas admite uma solução explícita, reduzindo a otimização não paramétrica subjacente a um problema de regressão de mínimos quadrados.
2. Framework Unificado: A formulação recupera naturalmente o caso independente clássico, expansões de polinômios ortogonais e a conexão com valores de Shapley. Fornece uma fundamentação matemática rigorosa para explicações aditivas na presença de entradas dependentes.
3. Estimador Agnóstico ao Modelo Eficiente: Os autores propõem um algoritmo simples, de tempo polinomial, para estimar a decomposição a partir de uma amostra de dados sem acessar a estrutura interna do modelo. O método explora a esparsidade para permanecer tratável na prática.
4. Unificação Empírica: Experimentos mostram que métodos de explicação existentes (variantes de SHAP) e modelos interpretáveis (GAMs, EBMs) aproximam-se estreitamente de componentes específicos da decomposição ANOVA funcional, sugerindo que o framework proposto unifica essas abordagens distintas.

Resultados

• Precisão: O estimador proposto alcança alta precisão de reconstrução ($R^2 \geq 0,85$) em todos os conjuntos de dados e famílias de modelos.
• Ortogonalidade: Apesar do uso de estimativas de densidade plug-in, a ortogonalidade hierárquica entre os componentes é fielmente preservada (valores baixos de MaxCorr).
• Eficiência: O método é computacionalmente eficiente, estimando decomposições para conjuntos de dados com dezenas de milhares de amostras em segundos (por exemplo, ~0,6s para 48k amostras em Renda do Censo).
• Comparação: Comparações visuais (Figs 1–4) indicam que os efeitos principais do método proposto alinham-se estreitamente com componentes teóricos em configurações sintéticas e com efeitos nativos de EBM/NAM, oferecendo uma decomposição mais rigorosa do que variantes heurísticas de SHAP.

Significado e Alegações
O artigo alega fornecer uma perspectiva unificadora sobre explicações aditivas. Ao fundamentar métodos de XAI no objeto matemático rigoroso da ANOVA funcional generalizada, os autores argumentam que:

• Explicações aditivas não são meramente construções heurísticas, mas componentes de um objeto matemático bem definido com propriedades estruturais.
• Muitos métodos post-hoc existentes e modelos inerentemente interpretáveis podem ser reescritos como aproximações de componentes específicos dessa decomposição.
• A abordagem proposta oferece uma ferramenta prática, eficiente e teoricamente sólida para decompor modelos de caixa preta, particularmente em configurações com entradas dependentes onde métodos anteriores eram limitados ou intratáveis.

Os autores reconhecem limitações, incluindo o pressuposto de entradas contínuas limitadas e a dependência de truncamento para problemas de alta dimensão, observando que estender o framework para tipos de dados ilimitados ou mistos permanece um desafio para trabalhos futuros.