Riepilogo Tecnico: ECSEL – Classificazione Esplicabile tramite Apprendimento di Equazioni Signomiali

Enunciato del Problema

L'apprendimento automatico moderno spesso privilegia le prestazioni predittive a scapito dell'esplicabilità. Le reti neurali profonde raggiungono un'alta accuratezza ma funzionano come "scatole nere", oscurando il ragionamento alla base delle previsioni. In domini ad alto rischio come medicina, finanza e risorse umane, comprendere il processo decisionale sottostante è critico quanto l'accuratezza. Sebbene la Regressione Simbolica (SR) offra modelli intrinsecamente interpretabili generando formule matematiche esplicite, gli approcci SR convenzionali (ad es. Programmazione Genetica) si basano su euristiche stocastiche computazionalmente costose che faticano con dataset ad alta dimensionalità e non riescono a sfruttare i pattern strutturali prevalenti nei dati. Inoltre, i metodi SR esistenti sono spesso progettati come strumenti generici piuttosto che come classificatori specializzati, e le tecniche di spiegazione post-hoc (ad es. LIME, SHAP) applicate a modelli a scatola nera possono essere inaffidabili o fuorvianti.

Metodologia

Il documento introduce ECSEL (Explainable Classification via Signomial Equation Learning), un metodo che apprende espressioni formali sotto forma di equazioni signomiali per fungere sia da classificatore che da spiegazione.

Formulazione Principale

Una funzione signomiale è definita come una somma finita di termini di legge di potenza con coefficienti ed esponenti a valori reali:
$$z(x) = \sum_{k=1}^{K} \alpha_k \prod_{j=1}^{m} x_j^{\beta_{k,j}}$$
dove $x$ è il vettore delle caratteristiche, $\alpha_k$ sono i coefficienti e $\beta_{k,j}$ sono gli esponenti.

Architettura ECSEL:

1. Punteggi Specifici per Classe: Per un problema multiclasse con $C$ classi, ECSEL apprende una specifica funzione di punteggio signomiale $z_c(x)$ per ogni classe $c$.
2. Trasformazione delle Probabilità: Le probabilità di classe sono derivate applicando una funzione softmax sui punteggi signomiali specifici per classe. Nei casi binari, viene applicata una sigmoide.
3. Preprocessing: Poiché gli esponenti a valori reali richiedono argomenti positivi, le caratteristiche vengono preelaborate tramite trasformazioni affini (ad es. scalatura a $[1, 10]$) per garantire $x_{ij} > 0$.
4. Obiettivo di Addestramento: Il modello viene addestrato minimizzando la perdita di entropia incrociata con un termine di regolarizzazione $\ell_1$ applicato agli esponenti ($\beta$). Ciò favorisce la sparsità, portando gli esponenti irrilevanti a zero e risultando in equazioni compatte e interpretabili con meno caratteristiche attive.
5. Ottimizzazione: Gli autori impiegano un'ottimizzazione basata sul gradiente (Adam con clipping del gradiente) combinata con tecniche di stabilità numerica (trasformazioni logaritmiche). Per i compiti di regressione simbolica, viene utilizzata una strategia di ottimizzazione a più stadi multi-inizio (Adam per la scoperta della struttura, seguita da affinamento L-BFGS).

Fondamenti Teorici

Il documento stabilisce che le funzioni signomiali possiedono la Proprietà di Approssimazione Universale su sottoinsiemi compatti del primo ortante. Mappando i signomiali agli esponenziali di funzioni lineari tramite trasformazione logaritmica, gli autori dimostrano che i signomiali possono approssimare qualsiasi funzione continua con precisione arbitraria, collocandoli teoricamente accanto alle reti neurali come approssimatori universali, ma adattati alle relazioni di legge di potenza moltiplicative.

Proprietà di Interpretabilità

ECSEL deriva tre livelli di spiegazione direttamente dalla sua struttura a forma chiusa, evitando la necessità di metodi post-hoc basati sul campionamento:

1. Comportamento Globale delle Caratteristiche:
   • Elasticità (G1): La derivata log-log del punteggio di classe rispetto a una caratteristica fornisce una misura in forma chiusa della sensibilità proporzionale. Per modelli a termine singolo ($K=1$), questa è costante e uguale all'esponente.
   • Ragionamento Controfattuale (G2): L'effetto della scalatura di una caratteristica di un fattore $q$ può essere calcolato esattamente senza riaddestramento, utilizzando la formula $z_{new} = \sum q^{\beta} z_{old}$.
   • Sensibilità Basata sul Gradiente (G3): Le risposte del primo ordine a piccoli cambiamenti proporzionali sono derivate analiticamente.
2. Effetti a Livello Decisionale:
   • Sensibilità del Confine Decisionale (D1): L'influenza delle caratteristiche sul margine tra le classi è caratterizzata dalla differenza nei log-gradienti.
   • Competizione delle Probabilità (D2): La sensibilità delle probabilità previste ai cambiamenti delle caratteristiche è derivata esattamente, mostrando come le caratteristiche competano tramite normalizzazione.
3. Attribuzione Locale delle Caratteristiche:
   • Additività nello Spazio Logaritmico (L1): Per modelli a termine singolo, il log-punteggio è esattamente additivo nello spazio logaritmico, analogo ai valori SHAP.
   • Attribuzioni Locali Basate sul Gradiente (L2): Per modelli a più termini, le attribuzioni locali sono ottenute tramite linearizzazione del primo ordine attorno a una linea di base, fornendo gradienti in forma chiusa esatti piuttosto che approssimazioni stimate.

Contributi Chiave

1. Identificazione della Struttura Signomiale: Gli autori identificano le funzioni signomiali come una struttura prevalente nei benchmark di regressione simbolica (ad es. il 45% delle equazioni di AI Feynman) e propongono ECSEL per sfruttare direttamente questa struttura.
2. Recupero Efficiente: ECSEL recupera le equazioni target nei benchmark SR più frequentemente rispetto agli approcci all'avanguardia (DGSR, NGGP, NeSymRes) richiedendo al contempo un tempo di calcolo sostanzialmente inferiore.
3. Classificazione Competitiva: ECSEL raggiunge un'accuratezza di classificazione competitiva con modelli di apprendimento automatico consolidati (Regressione Logistica, Random Forest, XGBoost, SVM, MLP) senza sacrificare l'interpretabilità.
4. Interpretabilità Formale: Il metodo soddisfa proprietà analitiche che abilitano l'analisi del comportamento globale delle caratteristiche, l'analisi del confine decisionale e le attribuzioni locali delle caratteristiche, tutte derivate dai parametri del modello piuttosto che dal campionamento.
5. Utilità nel Mondo Reale: Attraverso studi di caso nel commercio elettronico e nel rilevamento delle frodi, gli autori dimostrano che le equazioni apprese da ECSEL espongono i bias del dataset, supportano il ragionamento controfattuale e producono intuizioni attuabili.

Risultati Sperimentali

Benchmark di Regressione Simbolica

Valutati sui dataset AI Feynman, Livermore, Jin e Korns (58 equazioni in totale):

• Tasso di Recupero: ECSEL ha raggiunto un tasso di recupero medio globale del 95,86%, superando significativamente DGSR (59,10%), NGGP (58,54%) e NeSymRes (56%).
• Tempo di Calcolo: ECSEL ha mediato 86,4 secondi per equazione, rispetto a 612,9s (DGSR), 468,7s (NGGP) e 126,3s (NeSymRes).
• Accuratezza Numerica: Anche quando il recupero simbolico esatto falliva, ECSEL produceva tipicamente approssimazioni numeriche quasi perfette ($R^2 \approx 1$).

Benchmark di Classificazione

Valutati su 11 dataset standard binari e multiclasse (ad es. ILPD, COMPAS, LOAN, SKINNONSKIN):

• Prestazioni: ECSEL ha ottenuto il punteggio F1 più alto su 4 dei 11 dataset e si è classificato entro un punto percentuale dal metodo migliore su 9 dei 11 dataset.
• Recall della Classe di Minoranza: ECSEL ha dimostrato prestazioni superiori nella gestione dello squilibrio delle classi, raggiungendo una recall della minoranza significativamente più alta su dataset come ILPD (42,42% vs 6,06% per XGBoost) e TRANSFUSION (41,67% vs 38,89%).
• Efficienza: Sebbene i tempi di addestramento fossero superiori rispetto ad alcune linee di base (ad es. Regressione Logistica), il costo è spostato dall'esplicazione all'addestramento; post-addestramento, tutte le attribuzioni sono ottenute in forma chiusa a costo trascurabile, a differenza dei modelli a scatola nera che richiedono costosi calcoli SHAP/LIME.

Studi di Caso

1. Intenzione di Acquisto Online: ECSEL ha appreso un signomiale a 7 caratteristiche identificando "PageValue per ExitRate" come il predittore dominante. Ha raggiunto una recall della minoranza competitiva (75,7%) e ha fornito ragionamento controfattuale esatto e decomposizioni locali, superando LIME in stabilità e costo computazionale.
2. Rilevamento Frodi PaySim: Su un dataset con 6,3 milioni di transazioni (tasso di frode 0,13%), ECSEL ha raggiunto un punteggio F1 di 79,08% con una precisione del 94,27%. L'equazione appresa ha rivelato un "meccanismo di targeting della ricchezza superlineare" (esponente 1,42 sul saldo del conto di origine), indicando che i truffatori prendono di mira in modo sproporzionato i conti di alto valore. Le prestazioni di ECSEL sono state competitive con la Classificazione Simbolica Profonda (DSC) rispettando al contempo una validità metodologica più rigorosa (nessuna perdita di dati temporali).

Significato e Affermazioni

Il documento afferma che ECSEL colma il divario tra l'interpretabilità della Regressione Simbolica e le esigenze pratiche della classificazione moderna. Combinando efficienza computazionale con processi decisionali trasparenti, ECSEL offre ai professionisti un'alternativa attuabile ai modelli a scatola nera nei domini ad alto rischio. Gli autori sottolineano che il metodo non si limita ad approssimare il comportamento di una scatola nera, ma fornisce modelli intrinsecamente interpretabili in cui la logica decisionale è esplicita, matematicamente rigorosa e capace di supportare il ragionamento controfattuale e l'audit dei bias. Il lavoro suggerisce che formulazioni semplici e ben scelte possono catturare strutture dati essenziali, fornendo sia previsioni accurate che spiegazioni leggibili dall'uomo.