🤖 machine learning

TopoFE: topology-aware LLM-guided Automated Feature Engineering

TOPOFE è un framework evolutivo multi-isola consapevole della topologia che potenzia l'ingegneria delle caratteristiche automatizzata guidata da LLM integrando l'esplorazione specializzata per famiglia, la memoria dei prompt adattiva e il trasferimento di conoscenza guidato dalla topologia per superare i limiti della generazione stateless e della ricerca omogenea, scoprendo così programmi di caratteristiche diversificati e ad alte prestazioni su 29 dataset tabulari.

Autori originali: Sha Li, Naren Ramakrishnan

Pubblicato 2026-07-28

📖 4 min di lettura☕ Lettura da pausa caffè

CC0 1.0

Autori originali: Sha Li, Naren Ramakrishnan

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un computer come prendere decisioni intelligenti, come prevedere se un richiedente un prestito restituirà i soldi o se un paziente ha una specifica malattia. Il computer non parte con le risposte; deve esaminare un foglio di calcolo di dati grezzi — numeri, categorie e date — e capire quali schemi sono importanti. Questo processo è chiamato machine learning. Ma ecco la parte complicata: i dati grezzi sono spesso disordinati e difficili da comprendere. Proprio come uno chef non può preparare una zuppa eccellente con solo verdure crude e non tagliate, un computer spesso non riesce a trovare i migliori schemi a meno che i dati non vengano prima trasformati. Questa fase di trasformazione è chiamata feature engineering. È l'arte di prendere numeri grezzi e mescolarli insieme per creare nuovi indizi più intelligenti che aiutino il computer a vedere la verità. Per molto tempo, gli esseri umani hanno dovuto farlo a mano, ipotizzando quali combinazioni di numeri potessero essere utili. Recentemente, abbiamo iniziato a usare programmi per computer super intelligenti chiamati Large Language Models (LLM) per aiutarci. Pensa a questi LLM come a brillanti assistenti molto istruiti che ne sanno molto di matematica e scienza e possono suggerire nuovi modi per mescolare i dati. Tuttavia, anche questi assistenti brillanti hanno un problema: a volte si incantano in un vicolo cieco, suggerendo gli stessi tipi di miscele ripetutamente, o dimenticano ciò che hanno provato in precedenza, sprecando tempo in vicoli ciechi.

È qui che entra in gioco un nuovo framework chiamato TOPOFE. I ricercatori, Sha Li e Naren Ramakrishnan della Virginia Tech, si sono resi conto che lo spazio delle possibili miscele di dati è così vasto e variegato che una singola strategia di ricerca uniforme non è sufficiente. Hanno proposto un sistema che tratta la ricerca dei migliori indizi di dati come una squadra di esploratori specializzati che lavorano in territori diversi, piuttosto che come una singola grande folla.

Invece di avere un unico grande gruppo di programmi per computer che cercano tutti di risolvere il problema contemporaneamente, TOPOFE divide il lavoro in cinque "isole" distinte. Ogni isola è un team di specialisti concentrato su un tipo specifico di trucco matematico. Un'isola guarda solo all'aritmetica semplice, come l'addizione o la moltiplicazione di numeri. Un'altra si concentra sulla statistica, come medie e conteggi. Una terza osserva i modelli basati sul tempo, come come cambiano le vendite nell'ultima settimana. Un'altra gestisce le relazioni tra diversi gruppi, e l'ultima si occupa di forme curve e non lineari. Mantenendo separati questi specialisti, il sistema assicura che nessun tipo di trucco matematico prenda il sopravvento e blocchi la scoperta degli altri.

Ma la vera magia avviene quando queste isole comunicano tra loro. Nei sistemi precedenti, se un team rimaneva bloccato, poteva semplicemente scambiare idee casualmente con un altro team, il che spesso non aiutava. TOPOFE è più intelligente. Utilizza un "grafo topologico", che è come una mappa dinamica che impara quali team sono più bravi ad aiutarsi a vicenda. Se l'isola del "Tempo" rimane bloccata, il sistema controlla la sua mappa e vede che l'isola dell' "Aritmetica" ha le idee migliori per aiutarla. In tal caso, attiva un evento speciale in cui i due team combinano le loro migliori idee per creare qualcosa di completamente nuovo — una caratteristica "ibrida" che nessuna delle due squadre avrebbe potuto inventare da sola. Per esempio, potrebbe combinare una media basata sul tempo con un'operazione di divisione per creare un nuovo indizio altamente predittivo.

Il sistema possiede anche una "memoria" che impara dai propri errori. Se un certo tipo di trucco matematico continua a fallire su un particolare dataset, il sistema lo ricorda e smette di suggerirlo, pur rinforzando i trucchi che funzionano. Questo avviene senza dover riaddestrare il cervello principale del computer, rendendo la ricerca incredibilmente efficiente.

I ricercatori hanno testato questa idea su 29 diversi dataset del mondo reale, che vanno dalla previsione delle malattie cardiache alla previsione del noleggio di biciclette. Hanno scoperto che TOPOFE supera costantemente i migliori metodi esistenti. Non ha solo trovato risposte migliori; ha trovato risposte più diverse. Mentre altri metodi finivano spesso con un mucchio di indizi molto simili (ridondanza), le isole specializzate e il lavoro di squadra intelligente di TOPOFE hanno prodotto un insieme di indizi che coprivano più terreno e funzionavano bene con diversi tipi di modelli di previsione. Lo studio suggerisce che organizzando la ricerca in gruppi specializzati e comunicanti, e lasciando che imparino quando scambiare idee, possiamo sbloccare modi molto più potenti per insegnare ai computer come comprendere i nostri dati. I risultati mostrano che questo approccio è robusto, funzionando bene anche quando il "cervello" informatico sottostante cambia, provando che la formula segreta è nella struttura della ricerca stessa, non solo nell'intelligenza del modello.

Sintesi Tecnica: TOPOFE

Definizione del Problema

L'Automated Feature Engineering (AutoFE) per i dati tabulari è fondamentalmente un problema di sintesi di programmi volto a scoprire trasformazioni predittive da uno spazio di ricerca esponenzialmente grande. Sebbene i recenti approcci basati su Large Language Models (LLM) abbiano ampliato l'espressività dell'AutoFE oltre le librerie di operatori predefiniti, essi soffrono di tre critiche limitazioni strutturali:

Dinamiche di Ricerca Omogenee: I metodi evolutivi basati su LLM esistenti operano su una singola popolazione indifferenziata. Ciò causa il collasso della ricerca verso un sottoinsieme ristretto di tipi di trasformazione (ad esempio, interazioni aritmetiche) una volta che alcuni motivi ad alte prestazioni saturano il buffer di esperienza, lasciando sotto-esplorate famiglie ortogonali (ad esempio, dinamiche temporali, codifiche relazionali).
Interrogazione LLM Stateless: La generazione di feature manca di una memoria persistente delle valutazioni precedenti. Le proposte vengono generate da prompt statici senza un adattamento cumulativo ai pattern specifici del dataset, portando a suggerimenti ripetitivi e improduttivi.
Struttura di Transfer Rigida: Quando vengono utilizzate più popolazioni, la migrazione è tipicamente periodica o casuale. Non esiste un meccanismo principato per rilevare quando la ricerca locale è stagnata o per identificare quale famiglia sorgente sia più complementare a una famiglia target in stagnazione, impedendo la scoperta di composizioni cross-famiglia complesse.

Metodologia: TOPOFE

TOPOFE (Topology-Aware LLM-Guided Automated Feature Engineering) inquadra l'AutoFE come una ricerca evolutiva multi-isola strutturata a grafo. Decompone lo spazio dei programmi delle feature in "famiglie di trasformazione" semanticamente coerenti e coordina la loro esplorazione attraverso tre componenti principali:

1. Decomposizione Multi-Isola (Decomposizione del Bias Induttivo)

Lo spazio dei programmi $\mathcal{P}$ è partizionato in $M$ isole dedicate, ciascuna assegnata a una specifica famiglia di trasformazione (ad esempio, interazioni aritmetiche, aggregati statistici, feature temporali, codifiche relazionali, mappe univariate non lineari).

Stato dell'Isola: Ogni isola $i$ mantiene una popolazione $\Pi_i$ , un archivio degli élite $A_i$ , una cronologia di accettazione/rigetto $H_i$ e un vettore di memoria del prompt $\rho_i$ .
Esplorazione Specializzata: All'interno di ogni isola, l'LLM esegue operazioni di mutazione e crossover condizionate dal bias induttivo specifico della famiglia e dalla cronologia accumulata dell'isola, prevenendo la convergenza prematura verso un singolo tipo di trasformazione.

2. Memoria di Adattamento del Prompt (PAM)

Per affrontare la generazione stateless, TOPOFE implementa un leggero meccanismo di memoria per isola che adatta le proposte dell'LLM senza aggiornamenti dei parametri.

Meccanismo: Dopo ogni generazione, il sistema riassume i pattern dei programmi accettati e rifiutati da una finestra scorrevole in un segnale testuale "preferisci/evita" ( $\rho_i$ ).
Condizionamento: Questo segnale viene iniettato in ogni prompt dell'LLM insieme ai metadati del task e alle dimostrazioni degli élite, consentendo un adattamento cumulativo e specifico per il dataset durante tutta la ricerca.

3. Transfer Cross-Isola Consapevole della Topologia

Per scoprire feature che richiedono operatori da più famiglie (ad esempio, una feature temporale combinata con un rapporto aritmetico), TOPOFE impiega un grafo topologico diretto appreso $G(t)$ .

Rilevamento della Saturazione: Il transfer non è periodico ma innescato da un criterio di saturazione. Un'isola è considerata satura quando il suo miglioramento marginale su una finestra scorrevole scende al di sotto di una soglia $\epsilon$ , indicando l'esaurimento della ricerca locale.
Routing Adattivo: Al verificarsi della saturazione, il sistema interroga il grafo topologico per selezionare un'isola precursore $j^*$ che massimizzi l'utilità di transfer osservata empiricamente $w_{j \to i}$ .
Sintesi Ibrida: Invece di copiare programmi, l'LLM esegue una sintesi ibrida. Riceve i programmi sia dall'isola target satura che dall'isola precursore selezionata come contesto, generando un nuovo programma che compone elementi strutturali da entrambe le famiglie.
Apprendimento del Grafo: I pesi degli archi nel grafo topologico vengono aggiornati online tramite una media mobile esponenziale basata sul guadagno di fitness osservato degli eventi di transfer, apprendendo un modello dei dati di complementarità tra le famiglie.

Contributi Chiave

Formulazione Consapevole della Topologia: Il paper propone di formulare l'AutoFE come una ricerca multi-isola strutturata a grafo dove la topologia di migrazione non è fissa ma appresa online tramite una regola di tipo bandit basata sull'utilità di transfer empirica.
Transfer Adattivo Innescato dalla Saturazione: Un criterio basato sull'utilità innesca il transfer cross-isola solo quando la ricerca locale è esausta, accoppiato a una Prompt Adaptation Memory che consente l'adattamento cumulativo senza aggiornamenti dei parametri.
Framework di Valutazione Principato: Gli autori introducono tre metriche appositamente create:
- Mean Pairwise Output Correlation (MPOC): Misura la ridondanza delle feature.
- Effective Rank (EffRank): Misura la copertura dello spazio sottospaziale.
- Topology Graph Specialisation Score (TGSS): Quantifica il grado in cui il grafo topologico acquisisce conoscenze di transfer specifiche per il task.
Validazione Empirica: Esperimenti estesi su 29 dataset pubblici tabulari (19 di classificazione, 10 di regressione) dimostrano miglioramenti costanti rispetto ai metodi di AutoFE classici e basati su LLM allo stato dell'arte.

Risultati

Performance Predittiva: TOPOFE ha ottenuto le migliori prestazioni su 15 dei 19 dataset di classificazione e su 9 dei 10 di regressione. I guadagni di performance sono stati più pronunciati sui dataset che richiedono complesse interazioni cross-famiglia (ad esempio, balance-scale, heart, bike), dove i metodi a singola popolazione non sono riusciti a scoprire le necessarie feature compositive.
Robustezza: Il framework è rimasto stabile attraverso diversi backbone LLM (Qwen2.5-Coder, Qwen3-8B, GPT-4o-mini) e diversi predittori a valle (XGBoost, CatBoost, MLP, TabPFN), confermando che i guadagni sono guidati dai meccanismi architettonici piuttosto che dalle capacità specifiche del modello.
Diversità delle Feature: TOPOFE ha prodotto set di feature con significativamente minore ridondanza (MPOC più basso) e maggiore copertura di sottospazio (EffRank più alto) rispetto ai baseline. Ciò è stato attribuito al filtro di ridondanza esplicito e alla capacità di importare template strutturalmente ortogonali tramite la sintesi ibrida.
Specializzazione del Grafo Topologico: La metrica TGSS ha confermato che il grafo topologico ha appreso con successo i percorsi di transfer specifici per il task. I dataset con valori TGSS elevati (che indicano una forte preferenza appresa per specifici transfer cross-famiglia) correlavano con maggiori guadagni di performance rispetto ai baseline a singola famiglia.

Significato e Rivendicazioni

Il paper sostiene che la complementarità tra famiglie è una quantità apprendibile e sfruttabile che gli esistenti metodi AutoFE lasciano inespressa. Andando oltre la ricerca omogenea e il prompting statico, TOPOFE dimostra che:

La decomposizione strutturata dello spazio dei programmi preserva la diversità e previene la convergenza prematura.
Il transfer adattivo, innescato dalla saturazione, permette di scoprire feature compositive complesse che sono irraggiungibili dalle grammatiche a singola famiglia.
Il grafo topologico appreso agisce come un meccanismo principato per instradare il flusso di conoscenza esattamente quando e dove è più prezioso.

Gli autori concludono che il loro approccio apre direzioni promettenti per l'induzione automatica degli schemi di famiglia e la pianificazione del transfer specifica per il tipo di task, stabilendo un nuovo paradigma per l'ingegneria delle feature guidata da LLM che bilancia l'esplorazione specializzata con l'esplorazione strutturata.