SIGMA: SHAP-Guided Implicit-Trajectory Generation for Metadata-Free LLM-Based AutoFE

Nel mondo della scienza dei dati, i computer vengono spesso forniti con vasti fogli di calcolo pieni di numeri per risolvere problemi, dalla previsione del mancato pagamento di prestiti alla diagnosi di malattie. Tuttavia, questi numeri grezzi raramente sono sufficienti da soli. Per ottenere i migliori risultati, gli esperti devono eseguire un processo chiamato ingegneria automatizzata delle caratteristiche (automated feature engineering), che consiste nel creare nuove colonne di dati più intelligenti combinando o trasformando quelle esistenti. Immaginate uno chef che non si limita a usare gli ingredienti presenti in dispensa, ma inventa nuove combinazioni di sapori per rendere un piatto più gustoso. Per decenni, i computer hanno cercato di farlo mescolando e accoppiando numeri in modo cieco, ma questo approccio è lento e spesso produce risultati confusionari. Recentemente, gli scienziati hanno iniziato a utilizzare i grandi modelli linguistici — potenti sistemi di intelligenza artificiale in grado di ragionare e apprendere dal contesto — per agire come questi chef creativi. Si pensava che questi sistemi di IA fossero la chiave per sbloccare previsioni migliori, ma hanno affrontato un ostacolo importante: di solito avevano bisogno di descrizioni dettagliate di ciò che ogni numero rappresentasse per funzionare correttamente. Nel mondo reale, tali descrizioni mancano spesso a causa delle norme sulla privacy o semplicemente perché i dati provengono da sensori che non parlano il linguaggio umano. Inoltre, quando questi sistemi di IA cercavano di imparare dai loro tentativi passati per migliorare i dati, l'elenco della loro cronologia diventava così lungo da sovraccaricare la memoria del computer, causando il blocco del sistema in un ciclo di ripetizione degli stessi errori.

Un team di ricercatori della Yokohama National University ha sviluppato un nuovo metodo chiamato SIGMA per risolvere questi problemi, permettendo all'intelligenza artificiale di progettare dati migliori senza bisogno di descrizioni di ciò che i numeri rappresentano. Invece di fare affidamento sul linguaggio umano per comprendere i dati, SIGMA utilizza uno strumento matematico chiamato SHAP per misurare quanto ogni informazione sia effettivamente importante per la previsione finale. Pensate a questo strumento come a un riflettore che illumina i numeri più importanti e oscura quelli meno utili, dando all'IA un senso di direzione chiaro senza bisogno di sapere come vengono chiamati i numeri. I ricercatori hanno poi raggruppato questi numeri in tre categorie: i più importanti, quelli moderatamente utili e quelli deboli. Hanno chiesto all'IA di creare nuove colonne di dati mescolando i numeri all'interno di questi gruppi o collegando quelli forti con quelli deboli, insegnando efficacementamente al sistema a concentrare la sua creatività dove conta di più.

L'innovazione più significativa di questo lavoro è una tecnica che i ricercatori chiamano "traiettoria implicita di feature esposte" (exposed-feature implicit trajectory). Nei tentativi precedenti, i sistemi di IA tenevano un elenco scritto di ogni caratteristica che avevano mai creato per evitare duplicati, ma questo elenco diventava rapidamente troppo lungo per entrare nella memoria del computer. SIGMA adotta un approccio diverso. Invece di scrivere una cronologia, nasconde semplicemente le caratteristiche che sono già state utilizzate alla vista dell'IA per un breve periodo. Se l'IA tenta di creare una caratteristica utilizzando un numero che è attualmente nascosto, è costretta a cercare altrove. Questo semplice atto di nascondere e rivelare funge da guida silenziosa, indirizzando l'IA lontano dalla ripetizione di sé stessa senza mai dover memorizzare un lungo registro storico. Ciò consente al sistema di operare per periodi molto più lunghi, perfezionando il proprio lavoro in molti passaggi senza essere rallentato dai limiti di memoria o bloccato in un ciclo di generazione delle stesse caratteristiche inutili.

I risultati di questo nuovo approccio sono sorprendenti. Quando testato su sedici diversi dataset del mondo reale, SIGMA è stato performante quanto i migliori metodi di IA esistenti che si basano su descrizioni dettagliate, dimostrando che il sistema non ha bisogno di etichette umane per essere efficace. Ancora più importante, ha risolto il problema della ripetizione. Nei sistemi precedenti, quasi il trentasette percento delle caratteristiche generate erano duplicati, sprecando preziosa potenza di calcolo. Con il metodo di SIGMA di nascondere le caratteristiche utilizzate, il tasso di duplicazione è sceso drasticamente a meno del sette percento. Il sistema si è anche dimostrato incredibilmente efficiente. Mentre i metodi tradizionali generano spesso centinaia di nuove caratteristiche per trovarne alcune buone, SIGMA ha raggiunto prestazioni di alto livello utilizzando una media di soli cinque nuovi elementi per dataset. Ciò significa che il sistema trova i miglioramenti più preziosi rapidamente, lasciando il resto dei dati pulito e gestibile.

I ricercatori hanno anche scoperto che questo metodo consente all'IA di costruire strutture di dati complesse e multistrato che prima erano fuori portata. In alcuni test, il sistema è riuscito a combinare le caratteristiche in una catena, utilizzando l'output di un passaggio come input per il successivo, creando una rete profonda di relazioni che ha migliorato significativamente le previsioni. Questa capacità ha permesso a SIGMA di superare i vecchi metodi non basati sull'IA che si affidano a regole rigide e predefinite. Lo studio conferma che sostituendo la necessità del linguaggio umano con segnali di importanza matematica e utilizzando un astuto sistema di nascondere e rivelare i dati, l'intelligenza artificiale può diventare uno strumento più potente e pratico per migliorare l'analisi dei dati, anche in situazioni in cui non sono disponibili descrizioni umane.