Improved Predictive Performance and Interpretability for Mesomorphic Neural Networks Using Local Fidelity Regularization

Resumo Técnico: Melhoria do Desempenho Preditivo e da Interpretabilidade para Redes Neurais Mesomórficas Usando Regularização de Fidelidade Local

Problema
Redes Neurais Mesomórficas Interpretáveis (IMNs) foram propostas para preencher a lacuna entre o poder preditivo do aprendimento profundo e a interpretabilidade dos modelos lineares. Em uma IMN, uma rede neural de base (backbone) gera dinamicamente os pesos para uma camada de saída linear, permitindo a atribuição de características por instância. No entanto, a formulação original sofre de uma vulnerabilidade crítica: o modelo é subdeterminado. Como a rede neural de base é altamente expressiva, ela pode alcançar um desempenho preditivo ideal colapsando toda a variância explicativa em um único peso (frequentamente o intercepto) enquanto suprime outros. Esse comportamento "degenerado" resulta em previsões matematicamente precisas, mas interpretações completamente infiéis às relações subjacentes dos dados. Paradoxalmente, a penalidade L1 originalmente proposta para incentivar a esparsidade exacerba esse problema ao incentivar tais configurações degeneradas.

Metodologia: Regularização de Fidelidade Local (LFR)
Para abordar isso, os autores introduzem a Regularização de Fidelidade Local (LFR), um novo termo de penalidade projetado para alinhar os pesos lineares gerados com as variações locais presentes nos dados de treinamento.

• Base Teórica: Idealmente, os pesos gerados $w_j(x_i, \theta)$ deveriam corresponder às derivadas parciais da função de predição em relação a cada característica ($\nabla f(x_i)$). No entanto, depender de gradientes analíticos é computacionalmente caro (exigindo retropropagação dupla) e propenso a capturar ruído infinitesimal em vez de tendências macroscópicas.
• Interpolação Inspirada em SMOTE: Para superar esses problemas, a LFR evita derivadas exatas. Em vez disso, ela constrói um vizinhança local ao redor de um ponto âncora $x_i$ gerando amostras sintéticas por meio de uma estratégia inspirada na Técnica de Sobreamostragem de Exemplo de Minoritário Sintético (SMOTE). Para um determinado âncora, $K$ pontos sintéticos $\tilde{x}_k$ são criados via interpolação linear com pontos de dados vizinhos: $\tilde{x}_k = x_i + \alpha_k(x' - x_i)$.
• A Penalidade: A perda LFR ($L_{LFR}$) impõe que a aproximação linear ancorada em $x_i$ (usando os pesos gerados) deve extrapolar com precisão para a predição completa da rede neural nesses pontos sintéticos. A penalidade é a diferença do erro quadrático médio entre a extrapolação linear e a passagem direta (forward pass) completa da rede através da vizinhança sintética.
• Otimização: A função objetivo total combina a perda de predição original, a penalidade de esparsidade L1 e a nova penalidade LFR. Os autores propõem uma estratégia de ajuste usando uma pontuação composta $S(\gamma)$ que equilibra o desempenho preditivo (ex: AUROC ou $R^2$) e a fidelidade da explicação (medida pela redução da infidelidade em relação ao modelo não regularizado).

Principais Contribuições

1. Novo Mecanismo de Regularização: A introdução da LFR, que evita o colapso de pesos fundamentando as interpretações na estrutura geométrica dos dados por meio de restrições de fidelidade local.
2. Melhoria Dupla de Desempenho: Evidência empírica demonstrando que a LFR não apenas resolve falhas de interpretabilidade, mas também melhora consistentemente o desempenho preditivo, gerando resultados competitivos com modelos black-box de última geração.
3. Implementação de Código Aberto: Uma implementação modular em Python do framework LFR-IMN com uma API no estilo scikit-learn, disponibilizada publicamente.

Resultados Experimentais
O artigo avalia o método proposto através de benchmarks sintéticos e do mundo real:

• Experimentos Sintéticos: Em um conjunto de dados sintéticos com efeitos locais de verdade fundamental conhecidos (incluindo termos de interação), a IMN não regularizada falhou em recuperar os efeitos reais, levando os pesos das características a quase zero e absorvendo a magnitude no intercepto. Em contraste, a LFR-IMN recuperou com sucesso os verdadeiros gradientes locais. Notavelmente, ao usar um backbone TabResNet complexo, a LFR-IMN alcançou um MSE de teste significativamente menor (0.0244) comparado à IMN não regularizada (0.0444), demonstrando que restrições de interpretabilidade podem melhorar a generalização.
• Avaliação XAI-Bench: Usando o framework XAI-Bench com importâncias de verdade fundamental conhecidas, os autores compararam a LFR-IMN contra a IMN não regularizada e explicadores post-hoc padrão (LIME, SHAP) aplicados a modelos black-box. O estudo utilizou uma nova métrica, Infidelidade Escalonada, para medir a precisão dos gradientes locais. Os resultados indicaram que a LFR-IMN forneceu explicações altamente fiéis enquanto mantinha ou melhorava a precisão preditiva (AUROC) sobre a linha de base não regularizada.
• Benchmarks do Mundo Real: Avaliações através da suíte de benchmarks OpenML mostraram que a LFR-IMN alcançou pontuações de AUROC altamente competitivas com métodos de alto nível como CatBoost e TabNet, sem comprometer a precisão em favor da explicabilidade.

Significância e Alegações
O artigo alega que a LFR-IMN fornece um benefício duplo: garante interpretações confiáveis e fiéis ao evitar que o modelo explore soluções degeneradas e, simultaneamente, melhora o desempenho preditivo. Os autores argumentam que, ao contrário da suposição comum de um trade-off entre precisão e interpretabilidade, impor a fidelidade local pode levar a fronteiras de decisão mais robustas. O método é apresentado como uma solução prática para aplicações críticas de segurança (ex: saúde, finanças) onde tanto o alto desempenho quanto explicações confiáveis são pré-requisitos. O trabalho é apoiado por um repositório de código aberto para facilitar a adoção e futuras pesquisas.