Resumo Técnico: Além das Decomposições Aditivas: Interpretabilidade através da Separabilidade

Declaração do Problema

A aprendizagem de máquina interpretável enfrenta uma tensão fundamental entre precisão preditiva e transparência estrutural. Enquanto modelos de "caixa-preta" (ex: redes neurais profundas, ensembles de boosting de gradiente) alcançam o estado da arte em desempenho, eles carecem de estruturas legíveis. Por outro lado, modelos de "caixa de vidro" como os Modelos Aditivos Generalizados (GAMs) oferecem transparência, mas frequentemente falham em capturar interações complexas ou dependem de suposições paramétricas mal especificadas.

Os métodos atuais de interpretabilidade, incluindo explicações post-hoc (ex: SHAP, Integração de Gradientes) e modelos de caixa de vidro, baseiam-se amplamente em decomposições aditivas. Os autores argumentam que as representações aditivas sofrem de modos de falha críticos na presença de fortes interações:

1. Cancelamento de Sinal: Explicações SHAP locais podem cancelar efeitos principais e de interação, levando a uma atribuição zero para características ativas.
2. Mascaramento de Interação: Gráficos de dependência parcial (PDPs) marginalizam sobre outras características, efetivamente descartando informações de interação de ordem superior e recuperando apenas efeitos principais.
3. Extrapolação Fora do Suporte: A média marginal em espaços de características correlacionadas pode levar a padrões espúrios em regiões de baixa densidade.

O artigo postula que essas limitações decorrem da incapacidade inerente das projeções aditivas de representar fielmente estruturas multiplicativas ou separáveis sem perda de informação.

Metodologia: Aprendizagem de Separação de Tensores (TSL)

Os autores propõem a Aprendizagem de Separação de Tensores (TSL), um modelo de regressão projetado para aprender uma soma de produtos de rank-1 de funções univariadas por característica. Diferente dos modelos separáveis padrão, o TSL impõe restrições estruturais específicas para garantir estabilidade e interpretabilidade.

Formulação do Modelo

O estimador TSL $\hat{m}(x)$ é definido como uma soma de $R$ estágios, onde cada estágio $\ell$ é a diferença de dois produtos separáveis positivos:
$$\hat{m}(x) = \sum_{\ell=1}^{R} \left( \lambda^{(\ell)}_+ \prod_{j=1}^p \hat{m}^{(\ell)}_{+,j}(x_j) - \lambda^{(\ell)}_- \prod_{j=1}^p \hat{m}^{(\ell)}_{-,j}(x_j) \right)$$
As restrições fundamentais incluem:

• Positividade: Todas as funções componentes $\hat{m}^{(\ell)}_{\pm,j}(x_j)$ são restritas a serem estritamente positivas ($>0$). Isso garante que cada componente amplifique ou suprima seu produto de forma inequívoca, removendo a ambiguidade de sinal inerente aos produtos não restritos.
• Diferença Ordenada: Cada estágio é uma diferença de dois termos positivos, permit vez ao modelo representar contribuições com sinal, mantendo fatores positivos.

Parametrização: Backbone e Tilt (Espinha Dorsal e Inclinação)

Para aumentar a interpretabilidade, os autores introduzem uma reparametrização de backbone/tilt para cada par de características em um estágio:
$$\hat{m}^{(\ell)}_{\pm,j}(x_j) = b^{(\ell)}_j(x_j) e^{\pm d^{(\ell)}_j(x_j)}$$

• Backbone ($b$): Representa a magnitude compartilhada ou "portão de atividade" do estágio. Determina onde o estágio está ativo (valores próximos de zero desligam o estágio).
• Tilt ($d$): Representa o desequilíbrio assinalado entre os ramos positivo e negativo. Controla a direcionalidade da contribuição.
  Esta decomposição separa a magnitude de um efeito de sua direção com sinal, permitindo uma visualização fiel mesmo quando a contribuição líquida com sinal está próxima de zero devido ao cancelamento.

Procedimento de Ajuste

O TSL utiliza um procedimento guloso por estágios com refitting ortogonal:

1. Ajuste por Estágios: Em cada estágio $\ell$, o modelo ajusta os resíduos atuais usando uma abordagem de refinamento de tensor de grade inspirado em CART (Árvores de Regressão e Classificação). Ele aprende funções univariadas constantes por partes em uma partição adaptativa.
2. Bagging e Agregação: Para reduzir a variância, múltiplos tensores de grade são ajustados em paralelo em amostras de bootstrap. Um esquema de agregação baseado em similaridade (ancorando a uma grade de referência e filtrando outliers) combina estes em um único preditor de estágio.
3. Refitting Ortogonal: Após o ajuste de um novo estágio, todos os coeficientes de estágio $\{\lambda^{(k)}_\pm\}$ são otimizados conjuntamente via mínimos quadrados contra o alvo $y$. Este backfitting garante que os coeficientes sejam ótimos dados o conjunto atual de estágios.

Principais Contribuições

1. Aprendizagem de Separação de Tensores (TSL): Um novo algoritmo de regressão que estima a média condicional como uma soma de diferenças de produtos separáveis de rank-1 positivos.
2. Interpretabilidade Nativa do Modelo: Os autores provam que, para o TSL, o modelo ajustado pode ser reconstruído exatamente a partir de suas funções de dependência parcial de primeira ordem (até constantes de fator). Ao contrário dos métodos post-hoc, as visualizações do TSL (curvas de dependência parcial 1D) não são aproximações, mas representações fiéis dos componentes ajustados. A decomposição backbone/tilt permite que os praticantes distingam entre magnitude (atividade) e direção (desequilíbrio assinalado).
3. Teoria da Aproximação: O artigo estabelece uma taxa de aproximação de $O(1/\sqrt{r})$ para a classe de hipóteses TSL em funções com derivadas parciais mistas limitadas (especificamente no espaço de Sobolev $W^{(1,1)}_{mix}$), utilizando o framework de Aproximação Gulosa Ortogonal (OGA).

Resultados Experimentais

Os autores avaliaram o TSL no conjunto de regressão OpenML CTR 23 (27 datasets) contra baselines de estado da arte:

• Baselines: Modelos caixa-preta (XGBoost, LightGBM, Random Forest) e modelos interpretáveis (Explainable Boosting Machines - EBM, SepALS — um modelo separável sem as restrições do TSL).
• Desempenho: O TSL alcança um desempenho preditivo competitivo. No grupo interpretável, o TSL ocupa o top 3 em 17 de 27 datasets e é o melhor modelo interpretável em 5.
• Análise Comparativa:
  • O TSL supera o EBM e ensembles de árvores em datasets com fortes estruturas separáveis de baixo rank (ex: socmob, California housing).
  • No caso do California housing, o TSL captura interações espaciais localizadas e não-monótonas (ex: prêmios costeiros) que o EBM e o XGBoost suavizam ou falham em isolar em resumos 1D.
  • Estudo de Caso Sintético: Em um exemplo sintético onde um forte efeito quadrático é mascarado por uma interação de terceira ordem (resultando em uma dependência parcial 1D zero), o TSL consegue recuperar a magnitude subjacente via suas curvas de backbone, enquanto os PDPs e curvas ICE padrão falham em revelar o sinal sem agregações complexas.
  • Ablação: Remover a restrição de positividade e a estrutura de diferença ordenada (TSL 1-produto) degrada significativamente o desempenho, confirmando que estas restrições são cruciais para a flexibilidade de representação e estabilidade.

Significância e Alegações

O artigo afirma que o TSL oferece um caminho distinto para a interpretabilidade ao ir "além das decomposições aditivas". Sua principal significância reside em:

• Visualização Fiel: Ao impor separabilidade e positividade, o TSL garante que os gráficos de dependência parcial recuperem a forma exata dos fatores ajustados, evitando a perda de informação e o mascaramento inerentes às projeções aditivas de modelos interativos.
• Tratamento de Interações: O TSL fornece um mecanismo para visualizar e compreender interações de alta ordem através de resumos 1D (backbone e tilt) sem recorrer a explicações opacas de caixa-preta ou gráficos de alta dimensão.
• Precisão Competitiva: Demonstra que um modelo de caixa de vidro, com uma estrutura separável, pode competir com poderosos modelos de ensemble de árvores em benchmarks de regressão, desafiando a noção de que alta precisão exige sacrificar a interpretabilidade.

Os autores mantêm modéstia quanto às limitações, reconhecendo que as taxas de aproximação do TSL dependem de suposições de suavidade mista e que a representação separável sofre de não-identificabilidade (exigindo os procedimentos específicos de agregação/filtragem descritos). Eles observam que, em problemas puramente aditivos, métodos existentes como o EBM podem permanecer baselines mais fortes.