Sintesi Tecnica: Protezione Adattiva per la Costruzione Evolutiva di Feature nella Regressione Simbolica

Definizione del Problema

La costruzione evolutiva di feature (EFC - Evolutionary Feature Construction) all'interno della regressione simbolica mira a scoprire automaticamente trasformazioni informative delle feature di input per migliorare i modelli predittivi. Sebbene la Programmazione Genetica (GP) sia efficace nell'evolvere tali trasformazioni, persiste una sfida fondamentale: bilanciare la preservazione dei "blocchi costruttivi" utili (trasformazioni di feature ad alte prestazioni) con la generazione di nuove combinazioni. Gli operatori genetici standard, come mutazione e crossover, spesso interrompono involontariamente le feature esistenti di valore. Modificare o rimuovere una feature importante può degradare la qualità della soluzione, sostituendo un blocco costruttivo altamente efficace con un'alternativa meno efficace, anche se l'offspring introduce altre feature utili. Gli approcci esistenti spesso mancano di meccanismi espliciti e universali per preservare questi componenti critici senza richiedere la riprogettazione degli operatori genetici.

Metodologia

Il documento propone un Meccanismo di Protezione Adattiva (APM - Adaptive Protection Mechanism) inserito in un framework di protezione universale. Questo meccanismo è progettato per essere compatibile con arbitrari operatori genetici (ad esempio, standard subtree crossover e mutazione) e vari apprendisti base (base learners).

Flusso di Lavoro Principale

Il processo evolutivo segue un framework generazionale con le seguenti fasi chiave:

1. Inizializzazione e Valutazione: Viene inizializzata una popolazione di individui, dove ogni individuo consiste in un insieme di alberi di trasformazione delle feature. Ogni individuo viene valutato addestrando un apprendista base (ad esempio, Ridge Regression, Random Decision Trees o Logistic Regression) sulle feature costruite. La fitness è determinata da $R^2$ (regressione) o AUC (classificazione).
2. Calcolo dell'Importanza delle Feature: Dopo la valutazione, l'importanza ($I_j$) di ogni feature costruita (albero) all'interno di un individuo viene calcolata. Il documento valuta tre metodi distinti per dimostrare la generalità:
   • Coefficienti Integrati: Utilizzo dei coefficienti assoluti per modelli lineari o della diminuzione dell'impurezza per gli alberi decisionali.
   • Valori SHAP: Utilizzo dei valori medi assoluti di Shapley per misurare il contributo marginale attraverso i sottoinsiemi di feature.
   • Contributo Marginale: Misurazione del calo di $R^2$ quando una specifica feature viene rimossa e il modello viene riaddestrato.
3. Protezione Adattiva (La Novità):
   • Prima delle operazioni genetiche (crossover/mutazione), gli alberi originali di un individuo vengono salvati.
   • Dopo l'applicazione delle operazioni, viene calcolato un punteggio di protezione ($s_j$) per ogni albero $j$: $s_j = m_{protect} \cdot \tilde{I}_j$, dove $\tilde{I}_j$ è l'importanza normalizzata e $m_{protect}$ è un coefficiente di protezione regolabile.
   • Viene campionato un numero casuale uniforme $u \sim U(0,1)$. Se $u < s_j$, l'albero modificato viene ripristinato al suo stato originale salvato.
   • Logica: Le feature altamente importanti hanno una probabilità più elevata di essere ripristinate (protette), mentre le feature meno importanti rimangono libere di essere modificate o sostituite, permettendo alla ricerca di esplorare nuove combinazioni.

Setup Sperimentale

• Dataset: 98 dataset di benchmark per la regressione dal Penn Machine Learning Benchmarks (PMLB) e due dataset di classificazione del credito (Australian e German Credit).
• Apprendisti Base (Base Learners): Ridge Regression, Random Decision Trees e Logistic Regression.
• Metriche: $R^2$ per la regressione e AUC per la classificazione. La significatività statistica è stata testata tramite il test Wilcoxon signed-rank.

Contributi Chiave

1. Meccanismo di Protezione Adattiva Universale: Il documento introduce un meccanismo che preserva selettivamente le feature costruite in base ai punteggi di importanza. A differenza dei metodi precedenti che spesso richiedono la riprogettazione degli operatori genetici, questo approccio si avvale degli operatori esistenti, fornendo una protezione più forte per le feature importanti pur mantenendo la diversità in quelle meno importanti.
2. Generalità tra Metriche e Apprendisti: Lo studio confronta sistematicamente molteplici metodi di calcolo dell'importanza delle feature (coefficienti, SHAP, contributo marginale) e dimostra la robustezza del meccanismo attraverso diversi apprendisti base (modelli lineari, alberi decisionali e modelli di classificazione).
3. Validazione Empirica: Estesi esperimenti su 98 dataset di regressione mostrano miglioramenti consistenti nella qualità della soluzione rispetto agli approcci baseline privi di protezione. Il metodo è inoltre validato su compiti di classificazione del credito, provandone l'applicabilità oltre la pura regressione simbolica.

Risultati

• Miglioramento delle Prestazioni: Il meccanismo proposto migliora costantemente la qualità della soluzione (maggiore $R^2$ e AUC) rispetto agli approcci baseline attraverso i 98 dataset di regressione.
• Robustezza: L'approccio dimostra efficacia indipendentemente dalla specifica metrica di importanza delle feature o dall'apprendista base impiegato.
• Classificazione del Credito: Gli esperimenti sui dataset Australian e German Credit confermano che il metodo si estende efficacemente anche ai problemi di classificazione, migliorando l'efficacia della ricerca in contesti finanziari reali.

Significato e Rivendicazioni

Gli autori affermano che il Meccanismo di Protezione Adattiva affronta una lacuna critica nella costruzione evolutiva di feature: la perdita di materiale genetico prezioso a causa di operatori genetici dirompenti. Sfruttando le metriche di importanza delle feature per guidare il ripristino, il metodo assicura che i blocchi costruttivi di alta qualità siano preservati in modo più affidabile rispetto ai processi evolutivi standard.

Il documento posiziona questo lavoro come una soluzione "universale" che non vincola l'utente a specifici operatori genetici o tipi di modello. Afferma di fornire una forma più adattiva di elitismo che opera a livello di feature (blocco costruttivo) piuttosto che a livello di individuo, preservando così i componenti più preziosi della popolazione pur consentendo alla ricerca evolutiva di esplorare nuove combinazioni di feature. Lo studio conclude che questo meccanismo offre un modo robusto e indipendente dagli operatori per migliorare le prestazioni della regressione simbolica evolutiva e della costruzione di feature.