Nei vasti e disorganizzati magazzini di internet, i dati giacciono nelle tabelle, in attesa di essere utilizzati. Queste tabelle contengono di tutto, dalle date di uscita dei film ai nomi delle università, ma senza un'etichetta che indichi a un computer cosa rappresenti effettivamente una colonna, i dati sono solo un groviglio di testo. Un sistema non può sapere che un elenco di nomi si riferisce a "Scienziati" piuttosto che a semplici "Persone", o che una stringa di numeri è un "Anno" e non un "Numero di telefono". Questo processo di attribuzione di un significato semantico a una colonna è chiamato annotazione del tipo di colonna. È la base che permette ai computer di cercare, pulire e combinare dati provenienti da diverse fonti. Per anni, i migliori strumenti per questo compito sono stati programmi informatici specializzati addestrati su set di dati specifici. Funzionavano bene nel loro ambiente domestico, ma fallivano miseramente quando venivano spostati in un nuovo magazzino dati, perché il nuovo luogo utilizzava etichette e tipi di informazioni differenti. Riaddestrare questi programmi da zero per ogni nuovo data lake richiedeva così tanto sforzo umano e denaro che spesso era impossibile, lasciando vaste quantità di dati bloccati e inutilizzabili.

Ricercatori dell'HKUST e di Ant Group hanno sviluppato un nuovo approccio chiamato LakeHopper che risolve questo problema cambiando il modo in cui questi programmi si adattano ai nuovi ambienti. Invece di cercare di riaddestrare l'intero sistema da zero o di chiedere a un'intelligenza artificiale potente di indovinare le etichette, trattano il compito come una questione di gestione della conoscenza. Si sono resi conto che quando si sposta un programma da un data lake all'altro, parte della vecchia conoscenza è inutile e deve essere scartata, parte è ancora utile ma deve essere regolata, e nuova conoscenza deve essere appresa. Il loro metodo separa attentamente questi tre tipi di conoscenza. Conserva le parti del programma che funzionano bene, aggiorna le parti che devono essere regolate e utilizza un modello linguistico di grandi dimensioni non per prendere la decisione finale, ma per agare come un rigoroso verificatore. Questo verificatore controlla le ipotesi del programma e segnala solo le colonne in cui il programma è incerto o probabilmente errato, assicurando che il sistema chieda aiuto all'uomo solo sugli elementi specifici che ne hanno davvero bisogno.

Il risultato è un sistema in grado di prendere un programma addestrato su un set di dati e farlo funzionare su un set completamente diverso con una frazione minima dello sforzo consueto. Nei loro test, i ricercatori hanno spostato i programmi tra tre diversi data lake, tra cui uno contenente dati aziendali pubblici e un altro con tabelle scientifiche. Hanno scoperto che LakeHopper poteva raggiungere una qualità quasi identica a quella che si otterrebbe se il programma fosse stato addestrato sull'intero nuovo dataset, ma lo faceva utilizzando meno del sei per cento dei soliti etichette umane. Questa è una riduzione massiccia di costi e tempi. Inoltre, poiché il sistema si affida a un programma specializzato per emettere l'etichetta finale piuttosto che a un'intelligenza artificiale generale, non produce mai un'etichetta che esca dall'elenco consentito dei tipi. I modelli di intelligenza artificiale generale spesso allucinano, o inventano, etichette che non esistono nel sistema target, rendendo il loro output inutilizzabile per le pipeline automatizzate. LakeHopper evita interamente questo problema, garantendo strutturalmente che ogni output si adatti al formato richiesto.

I ricercatori hanno dimostrato che questo metodo funziona attraverso diversi livelli di difficoltà. In alcuni casi, il nuovo data lake aggiungeva semplicemente nuovi tipi di etichette alla vecchia lista, il che era un'estensione diretta. In altri casi, il nuovo lake richiedeva al sistema di dimenticare le vecchie etichette apprese e di impararne di completamente nuove, una sfida molto più difficile. Anche in questi scenari difficili, LakeHopper ha migliorato le prestazioni dei programmi sottostanti fino al settantauno per cento rispetto ai metodi standard. Il sistema è anche straordinariamente veloce, adattandosi a nuovi dati da ventisette a centotrentuno volte più velocemente di altri metodi che tentano di perfezionare (fine-tuning) i grandi modelli linguistici. Questa velocità deriva dal fatto che il sistema non deve riapprendere tutto; deve solo apprendere le lacune specifiche tra ciò che sa e ciò che ha bisogno di sapere.

Un'intuizione chiave di questo lavoro è il ruolo specifico assegnato al modello linguistico di grandi dimensioni. I tentativi precedenti spesso chiedevano a questi modelli di agire come l'annotatore primario, indovinando direttamente il tipo di una colonna. I ricercatori hanno scoperto che, sebbene questi modelli siano dotati di una buona conoscenza generale, sono scarsi riguardo alle regole specifiche e rigide richieste per l'etichettatura dei dati e spesso inventano etichette che non si adattano allo schema del sistema. LakeHopper inverte questa dinamica. Il modello linguistico di grandi dimensioni viene utilizzato solo per verificare le ipotesi fatte dal programma specializzato. Risponde a una domanda semplice sì o no: "Questa etichetta è corretta?". Questo è un compito molto più facile per il modello rispetto alla scelta dell'etichetta corretta tra centinaia di opzioni. Limitando il modello alla verifica, il sistema ottiene il vantaggio della vasta conoscenza del modello per individuare gli errori senza rischiare l'introduzione di etichette non valide.

Il processo prevede un ciclo di controllo e apprendimento. Il sistema prima regola la sua struttura interna per adattarsi alla nuova lista di etichette possibili, trapiantando la conoscenza che già condivide con il nuovo ambiente e resettando le parti che non conosce. Successivamente, analizza i nuovi dati, cercando le colonne in cui si sente incerto. Per queste colonne incerte, chiede al verificatore di controllare il suo lavoro. Se il verificatore dice che l'etichetta è errata o che non conosce l'etichetta, il sistema segna quella colonna come difficile. Successivamente, trova altre colonne simili a quelle difficili e richiede etichette umane per l'intero gruppo. Ciò consente al sistema di apprendere da un campione piccolo ma altamente informativo piuttosto che da uno casuale. Mentre impara, si esercita sui nuovi dati pur ricordando i vecchi dati che deve ancora utilizzare, assicurando di non dimenticare ciò che già sa.

Questo approccio affronta un collo di bottiglia fondamentale nella gestione dei dati: il costo dell'etichettatura. In molti scenari reali, gli esperti sono troppo impegnati o troppo costosi per etichettare ogni singola colonna in un nuovo data lake. LakeHopper dimostra che è possibile ottenere risultati di alta qualità essendo intelligenti su dove investire quello sforzo umano limitato. Il sistema è abbastanza robusto da funzionare anche se il verificatore è un modello più piccolo ed eseguito localmente, il che significa che non dipende da servizi esterni costosi. Ciò rende la tecnologia accessibile alle organizzazioni che devono gestire i propri dati sensibili senza inviarli a terze parti.

Lo studio conferma che il metodo funziona costantemente attraverso diversi tipi di dati e diversi programmi sottostanti. Che i dati provengano da dashboard pubbliche, tabelle scientifiche o repository di codice, il sistema si adatta efficacemente. Gestisce la transizione da semplici estensioni di dati esistenti a cambiamenti complessi in cui la natura stessa dei dati cambia. I ricercatori hanno osservato che, sebbene il sistema sia altamente efficace, non è una soluzione magica che elimina del tutto la necessità di supervisione umana. Negli scenari più difficili, l'accuratezza è ancora inferiore rispetto a quella che si potrebbe ottenere con un'etichettatura umana illimitata, ma porta il sistema abbastanza vicino da essere utile per molte applicazioni pratiche. Il lavoro rappresenta un passaggio dal tentativo di costruire un singolo modello perfetto per tutti i dati al creare un processo flessibile che possa spostare la conoscenza da un contesto all'altro in modo efficiente.

Trattando l'adattamento degli strumenti di dati come un problema di gestione della conoscenza, i ricercatori hanno fornito una via chiara per l'integrazione dei dati. Hanno dimostrato che il divario tra ciò che un computer sa e ciò che ha bisogno di sapere può essere colmato identificando con cura le differenze e riempiendole con un apprendimento mirato. Questo approccio rispetta i limiti dell'attuale intelligenza artificiale, utilizzandola dove è forte ed evitando di usarla dove è debole. Il risultato è un modo pratico, efficiente e affidabile per sbloccare il valore dei data lake che prima erano troppo costosi da utilizzare. Man mano che i dati continuano a crescere in volume e varietà, metodi come LakeHopper saranno essenziali per trasformare le informazioni grezze in conoscenza azionabile senza richiedere una quantità impossibile di lavoro umano.