Riepilogo Tecnico: LLM-FE: Ingegneria Automatica delle Feature per Dati Tabellari con LLM come Ottimizzatori Evolutivi

Enunciato del Problema

L'ingegneria delle feature è un componente critico, ma laborioso, del flusso di lavoro di machine learning su dati tabellari. Sebbene feature ben progettate possano migliorare significativamente le prestazioni dei modelli basati su alberi (spesso superando gli approcci di deep learning sui dati strutturati), il processo di esplorazione dello vasto spazio combinatorio delle trasformazioni delle feature è dispendioso in termini di tempo e risorse. I metodi tradizionali di ingegneria automatica delle feature si basano su spazi di ricerca predefiniti, progettati manualmente, e trasformazioni fisse, spesso fallendo nell'incorporare conoscenze di dominio preziose. Al contrario, i recenti approcci basati su Large Language Model (LLM) tentano di integrare conoscenze di dominio ma si affidano tipicamente a prompt diretti o punteggi di validazione semplici. Questi metodi LLM esistenti spesso non sfruttano le intuizioni derivanti da esperimenti di scoperta precedenti, mancano di un ragionamento significativo tra la generazione delle feature e le prestazioni guidate dai dati, e tendono a generare feature semplici e ripetitive a causa di bias intrinseci nel preaddestramento degli LLM.

Metodologia: Il Framework LLM-FE

Gli autori propongono LLM-FE, un framework innovativo che formula l'ingegneria delle feature come un problema di ricerca di programmi, combinando le conoscenze di dominio e le capacità di ragionamento degli LLM con la ricerca evolutiva e il feedback guidato dai dati. Il framework opera come un ciclo iterativo costituito da quattro fasi principali:

1. Generazione di Nuove Feature (Prompting):
   L'LLM agisce come un ottimizzatore evolutivo guidato dalla conoscenza. Riceve un prompt strutturato contenente:

   • Descrizione del Compito e Metadati: Dettagli specifici sul compito a valle e descrizioni delle feature.
   • Campioni di Dati: Esempi serializzati del dataset per fornire contesto.
   • Funzione di Valutazione: Un frammento di codice che definisce come viene misurata la qualità della feature (addestramento di un modello e punteggio su un set di validazione).
   • Dimostrazioni in Contesto: Una selezione di programmi di trasformazione delle feature ad alte prestazioni da iterazioni precedenti.
     All'LLM viene esplicitamente istruito a generare programmi di trasformazione delle feature complessi e nuovi (codice Python) piuttosto che semplici operazioni aritmetiche, sfruttando la sua conoscenza di dominio incorporata per ragionare sulla rilevanza delle feature.

2. Ingegneria delle Feature (Esecuzione):
   I programmi Python generati vengono eseguiti sul dataset sottostante. Questo passo applica le trasformazioni proposte per creare un dataset aumentato. Per garantire la robustezza, il sistema impone limiti di tempo di esecuzione e di memoria, scartando programmi soggetti a errori o inefficienti.

3. Valutazione delle Feature (Feedback Guidato dai Dati):
   Il dataset aumentato viene utilizzato per addestrare un modello predittivo a valle (ad es. XGBoost, MLP, TabPFN). La prestazione del modello su un set di validazione tenuto da parte funge da punteggio di fitness per il programma di trasformazione delle feature. Questo punteggio fornisce il feedback guidato dai dati necessario per guidare la ricerca.

4. Gestione dell'Esperienza (Ricerca Evolutiva):
   Per evitare ottimi locali e mantenere la diversità, LLM-FE impiega un modello a "isole" multi-popolazione.

   • Memoria Multi-Isola: Lo spazio di ricerca è diviso in $m$ isole indipendenti. Ogni isola mantiene un buffer di programmi ad alto punteggio.
   • Clustering e Campionamento: I programmi all'interno di un'isola vengono raggruppati in cluster in base ai loro punteggi di validazione. Il sistema utilizza il campionamento di Boltzmann per selezionare i cluster per gli esempi in contesto, bilanciando l'esplorazione (cluster con punteggi più bassi) e lo sfruttamento (cluster con punteggi più alti).
   • Raffinamento Iterativo: In ogni iterazione, l'LLM campiona dal buffer di memoria per generare nuovi candidati, effettuando efficacemente mutazione e crossover impliciti attraverso la generazione condizionata dal prompt.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Framework Innovativo: L'introduzione di LLM-FE, che tratta l'ingegneria delle feature come un problema di ottimizzazione evolutiva guidato da LLM. Integra in modo unico conoscenze di dominio, valutazione guidata dai dati e memoria a lungo termine per il raffinamento iterativo.
2. Efficacia Empirica: I risultati sperimentali dimostrano che LLM-FE supera costantemente le linee di base dello stato dell'arte (sia metodi classici come OpenFE/AutoFeat che metodi basati su LLM come CAAFE/FeatLLM) su diversi dataset tabellari, compiti e modelli predittivi.
3. Analisi dei Componenti: Attraverso studi di ablazione completi, gli autori evidenziano i ruoli critici delle conoscenze di dominio, della ricerca evolutiva, del feedback guidato dai dati e dei campioni di dati nel guidare l'LLM a esplorare efficientemente lo spazio delle feature e scoprire feature impattanti.

Risultati Sperimentali

Gli autori hanno valutato LLM-FE utilizzando GPT-3.5-Turbo e Llama-3.1-8B-Instruct come backbones su 19 dataset di classificazione e 10 di regressione. Il framework è stato testato contro le linee di base utilizzando XGBoost, MLP e TabPFN come predittori a valle.

• Prestazioni: LLM-FE ha ottenuto il rango medio più basso (indicante le prestazioni complessive migliori) sia per i compiti di classificazione che per quelli di regressione. Ha migliorato costantemente le prestazioni predittive rispetto alle linee di base sui dati grezzi e ad altri metodi di ingegneria delle feature.
• Generalizzabilità: Il framework ha dimostrato robustezza su diversi backbones LLM e architetture di modelli predittivi. Le feature generate da LLM-FE hanno migliorato le prestazioni per modelli basati su alberi, reti neurali e modelli tabellari basati su transformer.
• Complessità e Mitigazione dei Bias: A differenza del prompting LLM ingenuo che tende a favorire operatori semplici (addizione, sottrazione), il raffinamento evolutivo in LLM-FE ha scoperto con successo trasformazioni complesse (ad es. aggregazioni group-by, residui, funzioni sigmoide). Circa il 45% delle feature scoperte è stato classificato come complesso, rispetto a quantità trascurabili nei metodi LLM di base.
• Efficienza: Un'analisi di Pareto delle prestazioni rispetto al tempo di esecuzione ha mostrato che LLM-FE si trova sul fronte di Pareto, raggiungendo una maggiore accuratezza rispetto a competitor come CAAFE e OCTree con costi computazionali comparabili o inferiori.
• Studi di Ablazione: La rimozione delle conoscenze di dominio ha causato un calo significativo delle prestazioni (da ~0.687 a ~0.626 di accuratezza), sottolineandone l'importanza. Allo stesso modo, la rimozione del raffinamento evolutivo ha portato al calo maggiore (a ~0.587), evidenziando la necessità di un feedback iterativo guidato dai dati.
• Memorizzazione: Esperimenti su dataset rilasciati dopo le date di taglio del training degli LLM hanno mostrato che LLM-FE ha fornito guadagni costanti e modesti, suggerendo che i miglioramenti derivano da ragionamento genuino e selezione evolutiva piuttosto che dalla memorizzazione dei dati.

Significato e Affermazioni

Il documento posiziona LLM-FE come un passo significativo in avanti nell'automazione della pipeline centrata sui dati. Il suo significato risiede nel colmare il divario tra ragionamento informato dal dominio e ottimizzazione. Trattando l'LLM non solo come un generatore ma come un ottimizzatore evolutivo, il framework supera i limiti degli spazi di ricerca statici e il bias verso feature semplici intrinseco nel prompting diretto.

Gli autori affermano che LLM-FE offre una soluzione robusta e generalizzabile per l'apprendimento su dati tabellari che riduce lo sforzo manuale migliorando al contempo le prestazioni predittive. Sottolineano che il framework è progettato per integrare, non sostituire, gli esperti di dominio, fornendo feature interpretabili e guidate da ipotesi che possono essere esaminate e validate. Il lavoro suggerisce che combinare gli LLM con meccanismi di ricerca evolutiva è un percorso praticabile verso la scoperta di feature di alta qualità e interpretabili che sono difficili da ingegnerizzare manualmente.