Riepilogo Tecnico: CoFEH

Enunciato del Problema

L'Ingegneria delle Caratteristiche (FE) è una pietra angolare delle pipeline di machine learning, ma rimane un collo di bottiglia per i metodi automatizzati tradizionali. Gli approcci esistenti soffrono di tre limitazioni fondamentali:

1. Agnosticismo Semantico: Si basano su spazi di ricerca rigidi e predefiniti e su tentativi ed errori, senza sfruttare le conoscenze a priori del dominio.
2. Topologia Rigida: Impongono sequenze di pipeline fisse (ad esempio, generazione seguita da selezione), impedendo l'intercalazione dinamica o la composizione flessibile di operazioni eterogenee.
3. Insiemi di Operazioni Limitati: Sono confinati a librerie chiuse di algoritmi integrati o aritmetica di base, incapaci di scoprire operazioni specifiche per il compito oltre le primitive predefinite.

Inoltre, sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) offrano un'alternativa promettente per generare operatori semantici fondati e illimitati, i metodi FE basati su LLM attuali si concentrano tipicamente su sottocompiti isolati (come la generazione di caratteristiche) e non riescono a costruire pipeline a forma libera. Crucialmente, questi metodi raramente accoppiano la FE con l'Ottimizzazione degli Iperparametri (HPO) del modello a valle. Ciò porta a un flusso di lavoro sequenziale "avido" (FE poi HPO) che ignora la forte dipendenza tra la rappresentazione delle caratteristiche e la capacità del modello, intrappolando spesso il sistema in minimi locali subottimali.

Metodologia: Framework CoFEH

Gli autori propongono CoFEH (Collaborative Feature Engineering and Hyperparameter Optimization), un framework progettato per intercalare FE guidata da LLM e HPO Bayesiana per un AutoML robusto end-to-end. Il sistema comprende tre componenti principali:

1. Ottimizzatore FE Tree-of-Thought (ToT) Guidato da LLM

Per affrontare la sfida della FE a forma libera, CoFEH riformula la costruzione della pipeline come un problema di decisione sequenziale risolto tramite la Ricerca ad Albero Monte Carlo (MCTS).

• Rappresentazione dello Stato: Il dataset in qualsiasi fase di trasformazione è trattato come un nodo di stato in un albero di ricerca.
• Ragionamento Guidabile: L'LLM genera nuove operazioni FE basandosi su un prompt strutturato contenente metadati del dataset, la pipeline ancestrale e un direttivo ($d$) dinamico:
  • Inizializzazione: Genera operazioni iniziali di alta qualità per il nodo radice.
  • Esplorazione: Propone operazioni nuove per sondare regioni sconosciute dello spazio di ricerca.
  • Sfruttamento: Affina lo stato corrente riutilizzando e adattando operazioni storiche ad alte prestazioni.
• Memoria Globale: Un meccanismo di recupero basato su Pareto archivia operazioni di successo (catene di ragionamento, sottoinsiemi di caratteristiche, punteggi e guadagni relativi) per guidare l'LLM durante la fase di Sfruttamento.

2. Meccanismo di Condizionamento Reciproco

Per risolvere la sfida della Collaborazione FE–HPO, CoFEH stabilisce un flusso di informazioni bidirezionale tra l'LLM (FE) e l'Ottimizzazione Bayesiana (BO) (HPO), evitando la sintonizzazione isolata.

• HPO Condizionato alla FE: Il modello surrogato BO utilizza metacaratteristiche ($\phi(s)$) estratte dallo stato del dataset per caratterizzare la pipeline FE. Ciò permette alla BO di modellare l'influenza congiunta della pipeline e degli iperparametri, raccomandando la configurazione ottimale ($\lambda^*$) per uno specifico stato del dataset ($s^*$).
• FE Condizionata all'HPO: Le fasi di selezione e playout del MCTS sono informate dai risultati dell'HPO. La metrica "migliore prestazione" per un nodo è determinata dagli iperparametri ottimali trovati per quello specifico stato del dataset, assicurando che l'LLM valuti la qualità delle caratteristiche sotto configurazioni di modello ottimali piuttosto che impostazioni predefinite.

3. Selettore Dinamico dell'Ottimizzatore

Per affrontare la pianificazione adattiva al compito, CoFEH modella l'allocazione del budget di ottimizzazione tra FE e HPO come un problema di Bandit Multi-Arma (MAB) utilizzando una politica Predictor Upper Confidence Bound (PUCB).

• Il selettore decide dinamicamente se eseguire un passo FE o un passo HPO ad ogni iterazione basandosi sui tassi di successo empirici ($Q(a)$) e sui pesi a priori variabili nel tempo ($\omega_a$).
• Pianificazione del Peso a Priori: Il sistema inizia con un bias verso la FE (per garantire che i dati siano "pronti per il modello") e decresce linearmente questo bias verso un equilibrio 50/50 man mano che il budget si esaurisce. Ciò garantisce una distribuzione bilanciata del budget in scenari neutri, consentendo al contempo alle ricompense empiriche specifiche del compito di guidare l'allocazione nella pratica.

Contributi Chiave

1. Ottimizzazione di Pipeline a Forma Libera: Un ottimizzatore ToT guidato da LLM che esplora topologie e operatori di pipeline non vincolati, abilitando una vera ingegneria delle caratteristiche a forma libera che compone dinamicamente pre-elaborazione, trasformazione, generazione e selezione.
2. Meccanismo di Condizionamento Reciproco: Un nuovo accoppiamento bidirezionale in cui FE e HPO si informano a vicenda nelle decisioni, prevenendo la "miopia avida" dell'ottimizzazione sequenziale e permettendo la scoperta di ottimi globali nello spazio congiunto.
3. Allocazione Dinamica delle Risorse: Un selettore basato su PUCB che alloca adattivamente il budget computazionale tra FE e HPO in base all'utilità specifica di ciascuno per il dato compito.
4. Validazione Empirica: Esperimenti estesi che dimostrano come CoFEH superi sia i sistemi AutoML tradizionali che le basi di riferimento esistenti basate su LLM.

Risultati Sperimentali

Gli autori hanno valutato CoFEH su 28 dataset pubblici (19 classificazione, 9 regressione) attraverso tre scenari di modello a valle: XGBoost, MLP e CASH (Combined Algorithm Selection and Hyperparameter Optimization).

• FE Autonoma: CoFEH ha ottenuto il miglior rango medio (1.82) tra tutte le basi di riferimento, superando significativamente i metodi tradizionali (Mindware, OpenFE) e altri approcci basati su LLM (OCTree, ELLM, LFG).
• FE+HPO Congiunta: Nell'impostazione end-to-end, CoFEH ha dimostrato una riduzione dell'errore relativo del 7,03% rispetto alla propria prestazione FE autonoma, superando tutte le basi di riferimento. Ha ottenuto un rango medio di 1.75, stabilendo un nuovo stato dell'arte.
• Generalizzazione: Il framework ha mostrato una generalizzazione robusta tra diversi tipi di modello (MLP, CASH), mantenendo prestazioni superiori e ottenendo riduzioni significative dell'errore (ad esempio, un miglioramento del +45,1% negli scenari CASH).
• Efficienza dei Costi: CoFEH ha raggiunto il miglior compromesso costo-prestazioni, richiedendo solo ~0,07$ per compito con il backbone Gemini-2.0-flash, mentre i metodi tradizionali pesanti nella ricerca (OpenFE, Mindware) richiedevano tempi di esecuzione significativamente maggiori.
• Studi di Ablazione: La rimozione del meccanismo di condizionamento reciproco o del selettore dinamico ha degradato significativamente le prestazioni, confermando la necessità sia della gestione delle informazioni accoppiate che della pianificazione adattiva delle risorse.

Significato e Affermazioni

Il documento afferma che CoFEH colma il divario tra le capacità di ragionamento semantico degli LLM e l'efficienza numerica dell'Ottimizzazione Bayesiana. Spostandosi da flussi di lavoro rigidi e sequenziali a una strategia di ottimizzazione intercalata e collaborativa, CoFEH supera il "paradosso dell'integrazione delle capacità" in cui gli LLM eccellono nella FE ma rimangono indietro nell'accoppiamento FE-HPO.

Gli autori affermano che CoFEH:

• Sblocca il pieno potenziale degli LLM per creare pipeline a forma libera simili a quelle di esperti umani.
• Risolve il problema dei minimi locali subottimali causati dalla FE e dall'HPO disaccoppiati.
• Fornisce una base scalabile ed estendibile per futuri lavori AutoML che possono essere adattati a dati di immagini e testo tramite modifiche ai prompt.

Il lavoro è presentato come un passo significativo verso l'ottimizzazione olistica delle pipeline ML, dove la scoperta delle caratteristiche e la sintonizzazione del modello sono trattate come un processo unificato e reciprocamente rafforzante, piuttosto che come fasi isolate.