Nel mondo dei dati, le informazioni arrivano spesso sotto forma di ordinate griglie rettangolari: righe di clienti, colonne di transazioni e celle riempite di numeri o categorie. Per decenni, il modo più affidabile per trovare schemi in queste griglie è stato l'utilizzo di un tipo specifico di programma informatico noto come albero di decisione con potenziamento del gradiente (gradient-boosted decision tree). Questi programmi sono come un team di esperti che pongono una serie di semplici domande sì-o-no per smistare i dati, costruendo pezzo per pezzo una complessa struttura decisionale. Sono incredibilmente efficaci, ma presentano un limite significativo: devono essere addestrati da zero per ogni nuovo dataset. Se un'azienda vuole prevedere l'abbandono dei clienti per un prodotto e poi passare alla previsione del mancato pagamento di un prestito per un altro, il modello deve essere riaddestrato, un processo che richiede tempo, potenza di calcolo e una cura attenta della regolazione dei parametri.

Recentemente, è emersa un nuovo approccio che prende in prestito una tecnica dallo studio del linguaggio. Invece di addestrare un nuovo modello per ogni compito, questi nuovi sistemi utilizzano un unico modello di base (foundation model) pre-addestrato che può apprendere da esempi forniti sul momento. Questo metodo, chiamato apprendimento in-context (in-context learning), permette al modello di osservare alcuni esempi del problema che sta cercando di risolvere e poi fare una previsione per un nuovo caso senza mai modificare le proprie impostazioni interne. Sebbene ciò offra una strada promettente verso uno strumento universale per i dati tabulari, rimane un ostacolo importante. Man mano che la quantità di dati storici che il modello deve considerare cresce, il tempo necessario per effettuare una singola previsione esplode. Il modello deve confrontare ogni nuova domanda con ogni singolo pezzo di dato passato che ha mai visto, creando un collo di bottiglia computazionale che lo rende impraticabile per un uso su larga scala e in tempo reale.

I ricercatori dell'Università di Cambridge hanno affrontato questo collo di bottiglia con un metodo che chiamano Localized TabICLv2. Il loro lavoro si concentra su una versione specifica del modello di apprendimento in-context nota come TabICLv2, che ha già dimostrato prestazioni all'avanguardia in varie attività di classificazione. Il problema principale del modello originale è che, durante la sua fase finale di previsione, costringe ogni nuovo punto dati a prestare attenzione all'intero dataset di addestramento simultaneamente. Se un dataset contiene centinaia di migliaia di righe, il modello deve elaborare una quantità enorme di informazioni per ogni singola query, portando a tempi di risposta lenti e costi energetici elevati. I ricercatori si sono posti una domanda semplice: un modello ha davvero bisogno di guardare ogni singolo esempio passato per fare una buona previsione, o può trovare un gruppo più piccolo e rilevante di esempi che contenga gli indizi necessari?

Per rispondere a questo, il team ha introdotto un passaggio di recupero (retrieval) che funge da filtro prima che la previsione finale venga effettuata. Invece di alimentare il modello con l'intera cronologia dei dati, il sistema converte prima ogni riga di dati in una rappresentazione matematica che ne cattura le caratteristiche essenziali. Quando arriva una nuova query, il sistema cerca nella cronologia memorizzata le poche decine di righe più simili al nuovo caso. Successivamente, alimenta il motore di previsione solo con questi match più vicini, anziché con l'intero dataset. Questo approccio è simile a come un essere umano potrebbe risolvere un problema ricordando un manipolo di esperienze passate rilevanti piuttosto che cercare di ricordare ogni singolo evento della propria vita. Limitando il contesto a questi vicini più prossimi, i ricercatori hanno ridotto drasticamente la quantità di informazioni che il modello deve elaborare in una volta sola.

Tuttavia, non era sufficiente ridurre semplicemente la quantità di dati per mantenere l'alta precisione del sistema originale. Il modello era stato addestrato per aspettarsi il contesto completo, quindi rimuovere la maggior parte di esso ha inizialmente causato un calo delle prestazioni. Per risolvere il problema, i ricercatori hanno perfezionato i meccanismi interni del modello. Hanno regolato il modo in cui il modello crea le sue rappresentazioni dei dati e il modo in cui utilizza tali rappresentazioni per fare previsioni, addestrandolo specificamente a lavorare bene con questa visione localizzata e ridotta. Questo processo ha garantito che il modello imparasse a estrarre le informazioni più critiche da solo pochi esempi, piuttosto che fare affidamento sulla massa di dati per trovare schemi.

I risultati di questo approccio sono stati misurati rispetto a una vasta gamma di dataset del mondo reale, coprendo tutto, dal rilevamento delle frodi con carta di credito all'abbandono dei clienti. Quando i ricercatori hanno testato il modello localizzato su un benchmark standard contenente trentotto diversi dataset, hanno scoperto che la versione perfezionata manteneva quasi tutta la precisione del modello completo. Nello specifico, preservava il 98,64 percento delle prestazioni originali, il che significa che faceva quasi tante previsioni corrette quanto la versione molto più lenta a contesto completo. Il compromesso è stato un guadagno enorme in termini di velocità. In scenari in cui il modello doveva elaborare i dati in batch, è stato più del doppio più veloce. Nelle situazioni in cui il modello doveva rispondere a una singola domanda alla volta, l'accelerazione è stata ancora più drammatica, raggiungendo un miglioramento mediano di 249 volte rispetto al sistema originale.

Lo studio ha anche rivelato che la dimensione del dataset conta significativamente per questi guadagni di velocità. Più grande è il set di addestramento, più diventa vantaggioso il processo di localizzazione. Per i dataset più piccoli, il tempo speso per cercare i vicini corretti a volte compensava il tempo risparmiato dall'elaborazione di meno dati. Ma man mano che il numero di righe di addestramento cresceva nelle centinaia di migliaia, il metodo localizzato diventava sempre più efficiente, dimostrando che l'approccio scala bene con quelle stesse dimensioni di dati che di solito rallentano questi modelli. Inoltre, i ricercatori hanno confrontato il loro metodo con alternative più semplici, come l'uso di un albero di decisione standard solo sui vicini recuperati o un sistema di voto di base. Il loro modello localizzato ha superato costantemente questi baseline più semplici, dimostrando che la combinazione di un recupero intelligente e di un motore di previsione specializzato era la chiave del successo.

Questo lavoro suggerisce che il futuro del machine learning tabulare potrebbe non risiedere nella costruzione di modelli più grandi che consumano più energia, ma nel rendere i modelli esistenti più intelligenti su quali informazioni necessitano. Insegnando a un potente modello di base a concentrarsi solo sugli esempi più rilevanti, i ricercatori hanno dimostrato che è possibile ottenere un'alta precisione senza l'ingente costo computazionale dell'elaborazione di interi dataset. I risultati indicano che questi modelli possono essere resi pratici per l'implementazione nel mondo reale, dove la velocità e l'efficienza sono importanti quanto il potere predittivo. Sebbene il metodo si basi sull'assunto che gli esempi passati più simili siano i più informativi, i risultati mostrano che tale assunto è valido attraverso una vasta gamma di tipi di dati. Lo studio conclude che, con le giuste regolazioni, la promessa dell'apprendimento in-context per i dati tabulari può essere realizzata senza sacrificare l'efficienza richiesta per le applicazioni su larga scala.