Resumo Técnico: Sails – Análise Baseada em Surrogates de Interações via Suavização de Efeitos Locais

Definição do Problema

As interações entre características são um motor primário do poder preditivo em modelos complexos de aprendizado de máquina (ML), mas os métodos existentes de IA Explicável (XAI) lutam para caracterizá-las totalmente. As abordagens atuais focam tipicamente em:

1. Detecção e Quantificação: Métodos como o estatístico-H ou índices de interação de Shapley identificam que uma interação existe e medem sua força, mas não revelam sua forma funcional.
2. Visualização Restrita: Métodos como 2D-ALE (Efeitos Locais Acumulados) ou REPID (Efeitos Regionais) visualizam interações, mas frequentemente produzem gráficos 3D de difícil interpretação, falham em capturar heterogeneidade contínua ou são limitados a tipos específicos de interação (ex: separáveis por produto).

Existe uma lacuna notável nas ferramentas de XAI para um framework integrado e agnóstico ao modelo que possa detectar interações de pares, categorizar sua forma funcional (linear, separável por produto ou não separável por produto) e fornecer visualizações adaptadas para cada tipo.

Metodologia: O Framework Sails

O Sails (Surrogate-based Analysis of Interactions via Local effect Smooths) é um framework agnóstico ao modelo projetado para analisar interações de pares de uma Característica de Interesse (FOI - Feature of Interest) através do ajuste de modelos substitutos (surrogates) do tipo GAM (Modelos Aditivos Generalizados) interpretáveis aos efeitos locais de um modelo de caixa-preta. O framework opera em duas etapas sequenciais seguidas por três capacidades integradas.

1. Estimativa de Efeitos Locais

O Sails explora a decomponibilidade local das derivadas de ALE (Efeitos Locais Acumulados). Para um modelo de caixa-preta $\hat{f}$, o efeito local com relação a uma característica $x_j$ é definido como $h(x_j, x_{-j}) = \partial_j \hat{f}(x_j, x_{-j})$.

• Particionamento de Intervalos: A FOI ($X_j$) é particionada em $K$ intervalos.
• Diferenças Finitas: Os efeitos locais são estimados para observações dentro de cada intervalo usando diferenças finitas das predições do modelo, normalizadas pela largura do intervalo.
• Base Teórica: De acordo com a decomposição ANOVA funcional (FANOVA), se $X_j$ é fixo, a variação nos efeitos locais surge unicamente de interações envolvendo $X_j$. Assim, a heterogeneidade nesses efeitos locais através de outras características indica interação.

2. Ajuste de Surrogate GAM

Para cada intervalo $k$ da FOI, o Sails ajusta um modelo substituto (surrogate) GAM separado:

• Entradas: As demais características $X_{-j}$.
• Alvo: Os efeitos locais estimados $\hat{h}^{(i)}_k$.
• Estrutura: $\hat{s}^{(k)}(x_{-j}) = \hat{s}^{(k)}_0 + \sum_{l \neq j} \hat{s}^{(k)}_l(x_l)$.
• Interpretação: Conjectura-se que os termos de suavização $\hat{s}^{(k)}_l$ aproximam as derivadas parciais dos componentes de interação ($\partial_j g_{jl}$) até uma constante de centralização.

3. Capacidades Integradas

Com base nos modelos substitutos ajustados, o Sails realiza três tarefas:

(i) Detecção de Interação

O Sails testa a significância dos termos de suavização para cada característica $X_l$ dentro de cada intervalo usando testes F nos coeficientes da base.

• Agregação: Como os testes entre intervalos são dependentes, os p-valores são agregados usando a média harmônica dos p-valores para fornecer uma medida de significância global.
• Correção: Uma correção de taxa de falsa descoberta (FDR) de Benjamini-Hochberg é aplicada para múltiplas comparações.
• Heurística: Devido à ausência de ruído aditivo nos cálculos de efeito local e ao uso de splines penalizadas, os p-valores resultantes são tratados como uma heurística para significância de interação global, em vez de valores estatísticos exatos.

(ii) Categorização de Interação

O Sails categoriza as interações detectadas em três tipos usando medidas heurísticas baseadas em $R^2$ derivadas dos termos de suavização:

1. Linear: Se os termos de suavização $\hat{s}^{(k)}_l$ são idênticos entre os intervalos (até uma constante), a interação é linear em relação à FOI. Medido por $R^2_{lin}$, que ajusta uma única curva para as avaliações agrupadas.
2. Separável por Produto: Se os termos de suavização compartilham a mesma forma, mas diferem apenas por um fator de escala, a interação é separável por produto ($g_{jl}(x_j, x_l) = \phi_j(x_j)\phi_l(x_l)$). Medido por $R^2_{prod}$, que ajusta uma única curva para as razões dos termos de suavização em um ponto de referência.
3. Não Separável por Produto: Se nenhuma das condições acima for atendida, a interação é categorizada como geral/não separável.

(iii) Visualização Adaptada

Dependendo da categorização, o Sails gera visualizações específicas:

• Linear: Visualiza o suavizador univariado $\phi_l(x_l)$.
• Separável por Produto: Visualiza a forma de $\phi_l(x_l)$ via o suavizador baseado em razão.
• Geral: Para interações não separáveis, o Sails integra os termos de suavização $\hat{s}^{(k)}_l$ através dos intervalos para reconstruir a função de interação $g_{jl}$, aplicando dupla centralização para impor as restrições da FANOVA. Isso fornece uma visualização 2D de como o efeito de interação varia com a característica de interação para diferentes intervalos da FOI.

Avaliação Empírica e Resultados

O framework foi validado através de simulações controladas e uma aplicação no mundo real.

Simulações

Experimentos foram conduzidos com dados sintéticos com variadas estruturas de correlação e ordens de interação (linear, separável por produto, não separável e de ordem superior).

• Detecção: O Sails identificou corretamente as características que interagem com baixas taxas de falsos positivos sob condições de características independentes e correlacionadas. Permaneceu robusto mesmo com fortes correlações, identificando corretamente características de ruído como não interagentes.
• Categorização: Sob independência de características, o Sails discriminou perfeitamente entre interações lineares, separáveis por produto e não separáveis.
  • Limitações: O $R^2_{prod}$ degradou sob fortes correlações (devido a deslocamentos de centralização) e interações de ordem superior (devido à má especificação do substituto). O $R^2_{lin}$ foi mais robusto, mas também sofreu leve degradação com termos de ordem superior não lineares.
• Visualização:
  • As visualizações linear e separável por produto aproximaram-se das verdades fundamentais (ground truths) sob independência.
  • A visualização baseada em integração para casos gerais recuperou com sucesso formas de interação complexas (ex: ondas senoidais) sob independência.
  • Sob correlações e interações de ordem superior, as visualizações mostraram artefatos ou redução de suporte, mas permaneceram informativas como aproximações.

Aplicação no Mundo Real

O Sails foi aplicado a um modelo XGBoost que prevê o consumo de energia em Tetouan, Marrocos, utilizando general_diffuse_flows (radiação solar) como a FOI.

• Resultados: O framework identificou interações com Hora, Temperatura, UnixTime e Velocidade do Vento.
• Interpretação:
  • Hora: Revelou que níveis intermediários de radiação correlacionam-se com o aumento do consumo ao entardecer (iluminação de crepúsculo), enquanto baixa radiação correlaciona-se com o consumo diurno (iluminação de tempo nublado).
  • Temperatura: Mostrou efeitos sinérgicos onde baixa radiação + baixa temperatura (aquecimento + iluminação) e alta radiação + alta temperatura (resfriamento) ambos aumentam o consumo.
  • Velocidade do Vento: Exibiu uma forma quase separável por produto, com curvas compartilhando uma forma consistente entre os intervalos.
• Ajuste do Substitutos (Surrogate Fit): O $R^2$ médio in-sample dos substitutos GAM foi de 0,96, indicando que eles capturaram a maior parte da variação do efeito local.

Significância e Alegações

O artigo afirma que o Sails preenche uma lacuna crítica nas ferramentas de XAI ao ir além da mera detecção de interação para a caracterização da forma funcional das interações de pares.

• Agnóstico ao Modelo: Funciona com qualquer modelo de caixa-preta.
• Workflow Integrado: Combina detecção, categorização e visualização em um único pipeline.
• Interpretabilidade: Ao categorizar as interações, permite visualizações adaptadas que são mais fáceis de interpretar do que gráficos de contorno 3D genéricos.
• Robustez: Demonstra eficácia na detecção de interações mesmo na presença de correlação entre características, um desafio comum em dados do mundo real.

Limitações e Trabalhos Futuros

Os autores reconhecem diversas limitações:

1. Escopo da Tarefa: Atualmente limitado a tarefas de regressão; a extensão para classificação é um trabalho futuro.
2. Garantias Teóricas: A conjectura de que os termos de suavização aproximam as derivadas parciais da FANOVA carece de prova teórica rigorosa.
3. Sensibilidade à Correlação: As medidas de categorização ($R^2_{prod}$) são sensíveis a fortes correlações entre características.
4. Ordem de Interação: O framework assume interações de pares; interações de ordem superior podem causar má especificação do substituto e artefatos.
5. Direções Futuras: Potenciais extensões incluem o uso de substitutos GA2M para interações de ordem superior, aplicar o método a outros métodos de efeito local (ex: ICE, valores de Shapley) e unificar a abordagem com o GADGET para efeitos regionais.