Resumo Técnico: ECSEL – Classificação Explicável via Aprendizado de Equações Signomiais

Declaração do Problema

O aprendizado de máquina moderno frequentemente prioriza o desempenho preditivo em detrimento da explicabilidade. Redes neurais profundas alcançam alta precisão, mas funcionam como "caixas pretas", obscurecendo o raciocínio por trás das previsões. Em domínios de alto risco, como medicina, finanças e recursos humanos, compreender o processo decisório subjacente é tão crítico quanto a precisão. Embora a Regressão Simbólica (SR) ofereça modelos inerentemente interpretáveis ao gerar fórmulas matemáticas explícitas, as abordagens convencionais de SR (por exemplo, Programação Genética) dependem de heurísticas estocásticas computacionalmente caras que lutam com conjuntos de dados de alta dimensão e falham em explorar padrões estruturais prevalentes nos dados. Além disso, os métodos existentes de SR são frequentemente projetados como ferramentas de propósito geral, em vez de classificadores especializados, e técnicas de explicação post-hoc (por exemplo, LIME, SHAP) aplicadas a modelos de caixa preta podem ser pouco confiáveis ou enganosas.

Metodologia

O artigo introduz o ECSEL (Classificação Explicável via Aprendizado de Equações Signomiais), um método que aprende expressões formais na forma de equações signomiais para servir tanto como classificador quanto como explicação.

Formulação Central

Uma função signomial é definida como uma soma finita de termos de lei de potência com coeficientes e expoentes de valor real:
$$z(x) = \sum_{k=1}^{K} \alpha_k \prod_{j=1}^{m} x_j^{\beta_{k,j}}$$
onde $x$ é o vetor de características, $\alpha_k$ são coeficientes e $\beta_{k,j}$ são expoentes.

Arquitetura do ECSEL:

1. Pontuações Específicas por Classe: Para um problema multiclasse com $C$ classes, o ECSEL aprende uma função de pontuação signomial específica $z_c(x)$ para cada classe $c$.
2. Transformação de Probabilidade: As probabilidades das classes são derivadas aplicando uma função softmax sobre as pontuações signomiais específicas por classe. Em casos binários, aplica-se uma sigmoide.
3. Pré-processamento: Como expoentes de valor real exigem argumentos positivos, as características são pré-processadas por meio de transformações afins (por exemplo, escalonamento para $[1, 10]$) para garantir $x_{ij} > 0$.
4. Objetivo de Treinamento: O modelo é treinado minimizando a perda de entropia cruzada com um termo de regularização $\ell_1$ aplicado aos expoentes ($\beta$). Isso incentiva a esparsidade, levando expoentes irrelevantes a zero e resultando em equações compactas e interpretáveis com menos características ativas.
5. Otimização: Os autores empregam otimização baseada em gradiente (Adam com limitação de gradiente) combinada com técnicas de estabilidade numérica (transformações logarítmicas). Para tarefas de regressão simbólica, utiliza-se uma estratégia de otimização em estágios com múltiplos pontos de partida (Adam para descoberta de estrutura, seguido de refinamento L-BFGS).

Fundamentos Teóricos

O artigo estabelece que as funções signomiais possuem a Propriedade de Aproximação Universal em subconjuntos compactos do ortante positivo. Ao mapear signomiais para exponenciais de funções lineares via transformação logarítmica, os autores provam que as signomiais podem aproximar qualquer função contínua com precisão arbitrária, posicionando-as teoricamente ao lado das redes neurais como aproximadores universais, mas adaptadas a relacionamentos de lei de potência multiplicativos.

Propriedades de Interpretabilidade

O ECSEL deriva três níveis de explicação diretamente de sua estrutura de forma fechada, evitando a necessidade de métodos post-hoc baseados em amostragem:

1. Comportamento Global das Características:
   • Elasticidade (G1): A derivada log-log da pontuação da classe em relação a uma característica fornece uma medida de sensibilidade proporcional em forma fechada. Para modelos de termo único ($K=1$), isso é constante e igual ao expoente.
   • Raciocínio Contrafactual (G2): O efeito de escalar uma característica por um fator $q$ pode ser calculado exatamente sem retreinamento, usando a fórmula $z_{new} = \sum q^{\beta} z_{old}$.
   • Sensibilidade Baseada em Gradiente (G3): Respostas de primeira ordem a pequenas mudanças proporcionais são derivadas analiticamente.
2. Efeitos no Nível de Decisão:
   • Sensibilidade da Fronteira de Decisão (D1): A influência das características na margem entre classes é caracterizada pela diferença nos log-gradientes.
   • Competição de Probabilidade (D2): A sensibilidade das probabilidades previstas às mudanças nas características é derivada exatamente, mostrando como as características competem via normalização.
3. Atribuição Local de Características:
   • Aditividade no Espaço Logarítmico (L1): Para modelos de termo único, o log-pontuação é exatamente aditivo no espaço logarítmico, análogo aos valores SHAP.
   • Atribuições Locais Baseadas em Gradiente (L2): Para modelos de múltiplos termos, as atribuições locais são obtidas via linearização de primeira ordem em torno de uma linha de base, fornecendo gradientes exatos em forma fechada em vez de aproximações estimadas.

Contribuições Principais

1. Identificação da Estrutura Signomial: Os autores identificam funções signomiais como uma estrutura prevalente em benchmarks de regressão simbólica (por exemplo, 45% das equações do AI Feynman) e propõem o ECSEL para explorar essa estrutura diretamente.
2. Recuperação Eficiente: O ECSEL recupera equações-alvo em benchmarks de SR com mais frequência do que as abordagens mais avançadas (DGSR, NGGP, NeSymRes), exigindo substancialmente menos tempo de computação.
3. Classificação Competitiva: O ECSEL alcança precisão de classificação competitiva com modelos estabelecidos de aprendizado de máquina (Regressão Logística, Random Forest, XGBoost, SVM, MLP) sem sacrificar a interpretabilidade.
4. Interpretabilidade Formal: O método satisfaz propriedades analíticas que permitem análise de comportamento global das características, análise de fronteira de decisão e atribuições locais de características, todas derivadas dos parâmetros do modelo em vez de amostragem.
5. Utilidade no Mundo Real: Através de estudos de caso em comércio eletrônico e detecção de fraudes, os autores demonstram que as equações aprendidas pelo ECSEL expõem vieses nos conjuntos de dados, suportam raciocínio contrafactual e geram insights acionáveis.

Resultados Experimentais

Benchmarks de Regressão Simbólica

Avaliado nos conjuntos de dados AI Feynman, Livermore, Jin e Korns (58 equações no total):

• Taxa de Recuperação: O ECSEL alcançou uma taxa média global de recuperação de 95,86%, superando significativamente o DGSR (59,10%), NGGP (58,54%) e NeSymRes (56%).
• Tempo de Computação: O ECSEL teve uma média de 86,4 segundos por equação, comparado a 612,9s (DGSR), 468,7s (NGGP) e 126,3s (NeSymRes).
• Precisão Numérica: Mesmo quando a recuperação simbólica exata falhou, o ECSEL geralmente produziu aproximações numéricas quase perfeitas ($R^2 \approx 1$).

Benchmarks de Classificação

Avaliado em 11 conjuntos de dados binários e multiclasse padrão (por exemplo, ILPD, COMPAS, LOAN, SKINNONSKIN):

• Desempenho: O ECSEL alcançou a maior pontuação F1 em 4 de 11 conjuntos de dados e ficou dentro de um ponto percentual do melhor método em 9 de 11 conjuntos de dados.
• Recall da Classe Minoritária: O ECSEL demonstrou desempenho superior no tratamento de desequilíbrio de classes, alcançando recall minoritário significativamente maior em conjuntos de dados como ILPD (42,42% vs. 6,06% para XGBoost) e TRANSFUSION (41,67% vs. 38,89%).
• Eficiência: Embora os tempos de treinamento tenham sido mais altos do que algumas linhas de base (por exemplo, Regressão Logística), o custo é deslocado da explicação para o treinamento; após o treinamento, todas as atribuições são obtidas em forma fechada com custo negligenciável, ao contrário de modelos de caixa preta que exigem cálculos caros de SHAP/LIME.

Estudos de Caso

1. Intenção de Compras Online: O ECSEL aprendeu uma signomial de 7 características identificando "Valor da Página por Taxa de Saída" como o preditor dominante. Alcançou recall minoritário competitivo (75,7%) e forneceu raciocínio contrafactual exato e decomposições locais, superando o LIME em estabilidade e custo computacional.
2. Detecção de Fraude PaySim: Em um conjunto de dados com 6,3 milhões de transações (taxa de fraude de 0,13%), o ECSEL alcançou uma pontuação F1 de 79,08% com 94,27% de precisão. A equação aprendida revelou um "mecanismo de direcionamento de riqueza superlinear" (expoente 1,42 no saldo da conta de origem), indicando que fraudadores visam desproporcionalmente contas de alto valor. O desempenho do ECSEL foi competitivo com a Classificação Simbólica Profunda (DSC) enquanto aderia a uma validade metodológica mais estrita (sem vazamento de dados temporais).

Significância e Alegações

O artigo afirma que o ECSEL preenche a lacuna entre a interpretabilidade da Regressão Simbólica e as demandas práticas da classificação moderna. Ao combinar eficiência computacional com tomada de decisão transparente, o ECSEL oferece aos profissionais uma alternativa acionável aos modelos de caixa preta em domínios de alto risco. Os autores enfatizam que o método não apenas aproxima o comportamento de caixa preta, mas fornece modelos inerentemente interpretáveis onde a lógica de decisão é explícita, matematicamente rigorosa e capaz de suportar raciocínio contrafactual e auditoria de vieses. O trabalho sugere que formulações simples e bem escolhidas podem capturar estruturas essenciais dos dados, entregando tanto previsões precisas quanto explicações legíveis por humanos.