Sintesi Tecnica: Miglioramento della Generalizzazione nella Costruzione Evolutiva di Feature attraverso la Minimizzazione del Vicinal Jensen Gap

Definizione del Problema

La costruzione di feature basata sulla Programmazione Genetica (GP) è emersa come una potente tecnica di apprendimento automatico automatizzato per la regressione simbolica. Tuttavia, una sfida persistente che ne limita l'applicabilità più ampia è l'overfitting. Sebbene i metodi GP raggiungano spesso prestazioni elevate sui dati di addestramento, le feature costruite spesso non riescono a generalizzare su dati non visti. Gli approcci tradizionali per controllare l'overfitting, come la regolazione della dimensione del modello (pressione di parsimonia), si sono dimostrati insufficienti per caratterizzare la complessità dei moderni modelli evolutivi. Inoltre, le metriche teoriche esistenti come la dimensione VC o la complessità di Rademacher spesso non riescono a prevedere accuratamente le prestazioni di generalizzazione in contesti ispirati al deep learning. Inoltre, l'applicazione diretta della Minimizzazione del Rischio Vicinale (VRM) — una tecnica di successo nel deep learning per mitigare l'overfitting tramite l'augmentation dei dati — alla regressione GP è problematica perché la VRM standard assume che i target rimangano stabili sotto piccole perturbazioni, un'assunzione che spesso fallisce nei compiti di regressione dove i valori target sono continui.

Metodologia

Il documento propone un framework per migliorare la generalizzazione decomponendo il Rischio Vicinale in una componente di perdita empirica e un termine di regolarizzazione. Questa decomposizione permette l'ottimizzazione indipendente dell'accuratezza di addestramento e della fluidità (smoothness) del modello.

1. Decomposizione Teorica del Rischio Vicinale

Gli autori dimostrano che il rischio vicinale è limitato dalla somma del rischio empirico e di un termine di regolarizzazione, a seconda della strategia di augmentation dei dati:

• Perturbazione del Rumore: Se gli esempi vicinali sono sintetizzati tramite perturbazione del rumore (es. rumore Gaussiano), il termine di regolarizzazione è una Differenza Finita. Questo penalizza i cambiamenti rapidi nell'output della funzione in risposta a piccole variazioni dell'input.
• Augmentation Mixup: Se gli esempi vicinali sono sintetizzati utilizzando il metodo Mixup (interpolazione lineare di input e label), il termine di regolarizzazione è il Vicinal Jensen Gap. Questo termine, definito come $(\lambda f(x_i) + (1-\lambda)f(x_j) - f(\lambda x_i + (1-\lambda)x_j))^2$, penalizza convessità e concavità, promuovendo la linearità locale tra punti dati vicini.

Gli autori sostengono che scomporre il rischio sia superiore all'ottimizzazione del rischio vicinale grezzo perché consente:

• Trade-off Flessibili: Controllo fine sull'equilibrio tra perdita empirica e fluidità.
• Stima Accurata dell'Errore: Garantire che la perdita empirica sia calcolata precisamente sui dati originali piuttosto che essere confusa con campioni aumentati rumorosi.
• Integrazione della Loss di Validazione: Consentire l'uso della loss di cross-validation (invece della sola loss empirica) come metrica di accuratezza primaria.

2. L'Algoritmo Proposto (VJM-GP)

Gli autori introducono il VJM-GP (Vicinal Jensen Gap Minimization-based GP), un framework di costruzione evolutiva delle feature che ottimizza congiuntamente:

1. Perdita Empirica: Misurata tramite Leave-One-Out Cross-Validation (LOOCV) per garantire robustezza.
2. Termine di Regolarizzazione: Il Vicinal Jensen Gap (o la Differenza Finita).

I componenti chiave dell'algoritmo includono:

• Ottimizzazione Multi-Obiettivo: Utilizza l'ordinamento non dominato con crowding distance per evolvere una frontiera di Pareto di soluzioni, bilanciando la loss di cross-validation e il termine di regolarizzazione.
• Strategia di Stima del Rumore: Poiché i dataset variano nei livelli di rumore, gli autori propongono una strategia dinamica per regolare il peso della regolarizzazione ($\tau$). Utilizzano il punteggio $R^2$ di Extremely Randomized Trees (Extra Trees) sul dataset per stimare il rumore; livelli di rumore più elevati attivano un peso di regolarizzazione più forte per evitare l'adattamento al rumore.
• Rilevamento dell'Intrusione del Manifold: Per affrontare il problema in cui i campioni generati da Mixup cadono al di fuori del vero manifold dei dati (creando campioni irrealistici), gli autori propongono un meccanismo di rilevamento. Se la label di un campione sintetizzato (predetta da un modello Extra Trees addestrato sui dati originali) devia significamente dall'interpolazione lineare dei suoi genitori, il campione viene scartato. Ciò impedisce al minimo del Jensen gap di penalizzare eccessivamente modelli efficaci in regioni altamente non lineari.

Contributi Chiave

1. Decomposizione Teorica: Il documento deriva i limiti superiori mostrando che la VRM basata su perturbazione si decompone in rischio empirico e differenza finita, mentre la VRM basata su mixup si decompone in rischio empirico e vicinal Jensen gap.
2. Framework GP Regolarizzato: Viene proposto un nuovo framework GP (VJM-GP) che ottimizza simultaneamente la loss di cross-validation e il vicinal Jensen gap, offrendo un controllo più efficace sull'overfitting rispetto alle misure di complessità tradizionali.
3. Regolarizzazione Adattiva: Viene introdotta una strategia di stima del rumore per regolare dinamicamente la forza della regolarizzazione in base alle caratteristiche del dataset, evitando penalizzazioni eccessive in scenari a basso rumore.
4. Mitigazione dell'Intrusione del Manifold: È proposta una strategia di rilevamento per filtrare campioni aumentati irrealistici, garantendo che il termine di regolarizzazione rifletta la reale geometria del manifold dei dati.

Risultati Sperimentali

Il metodo proposto è stato valutato su 58 dataset di regressione reali dal Penn Machine Learning Benchmark (PMLB).

• Confronto tra Regolarizzatori: Il Vicinal Jensen Gap è risultato un regolarizzatore più efficace della Differenza Finita, superandola su 15 dataset e sottoperformando su soli 5.
• Confronto con le Misure di Complessità: VJM-GP ha superato significativamente la GP standard e altri sette metodi di controllo della complessità (inclusi Parsimony Pressure, Tikhonov Regularization, Rademacher Complexity e P-VRM) in termini di punteggi $R^2$ di test. Ha ottenuto una generalizzazione superiore su 36 dataset rispetto alla GP standard.
• Confronto con i Baseline: VJM-GP è stato confrontato con 15 algoritmi di regressione simbolica e machine learning allo stato dell'arte (inclusi XGBoost ed ExcelFormer). Ha ottenuto prestazioni competitive o superiori, particolarmente in scenari con campioni limitati, mantenendo al contempo dimensioni del modello significativamente più piccole rispetto ai metodi di gradient boosting.
• Studi di Ablazione:
  • Rilevamento dell'Intrusione del Manifold: Rimuovere questa strategia ha portato a prestazioni di test inferiori su 6 dataset, confermando la sua necessità.
  • Stima del Rumore: La strategia di pesatura adattiva ha migliorato significativamente le prestazioni su 12 dataset rispetto a un peso fisso, validando la necessità di una regolarizzazione dinamica.
• Rumore delle Label: Negli esperimenti con label rumorose, VJM-GP ha dimostrato una robustezza superiore rispetto alla GP standard e alla P-VRM.

Significato e Rivendicazioni

Il documento afferma che la decomposizione proposta del rischio vicinale fornisce una comprensione teorica più profonda dell'overfitting nella costruzione evolutiva di feature. Separando la perdita empirica dal termine di regolarizzazione, il metodo consente un controllo più sfumato della complessità del modello che si concentra sulla complessità funzionale (fluidità e linearità) piuttosto che sulla semplice complessità sintattica (dimensione dell'albero).

Gli autori asseriscono che il loro approccio consente alla GP di raggiungere prestazioni di alto livello nei compiti di regressione simbolica, particolarmente quando i dati sono scarsi o rumorosi. Sottolineano che un controllo efficace dell'overfitting richiede il bilanciamento tra accuratezza e fluidità, e che minimizzare ciecamente la dimensione del modello è insufficiente. Il lavoro suggerisce che il framework proposto può essere integrato in altri algoritmi evolutivi e potenzialmente adattato a metodi di regressione simbolica basati sul deep learning in futuro.