In de uitgestrekte, ongeorganiseerde magazijnen van het internet ligt data in tabellen te wachten om gebruikt te worden. Deze tabellen bevatten alles, van releasedata van films tot universiteitsnamen, maar zonder een label dat een computer vertelt wat een kolom daadwerkelijk representeert, is de data slechts een brij van tekst. Een systeem kan niet weten dat een lijst met namen verwijst naar "Wetenschappers" in plaats van alleen maar "Mensen", of dat een reeks cijfers een "Jaar" is en geen "Telefoonnummer". Dit proces van het toekennen van een semantische betekenis aan een kolom wordt kolomtype-annotatie genoemd. Het is het fundament dat computers in staat stelt om data uit verschillende bronnen te doorzoeken, op te schonen en te combineren. Jarenlang waren de beste tools voor deze taak gespecialiseerde computerprogramma's die getraind waren op specifieke datasets. Ze werkten goed in hun eigen omgeving, maar faalden jammerlijk wanneer ze naar een nieuw datawarehouse werden verplaatst, omdat die nieuwe plek andere labels en andere soorten informatie gebruikte. Het opnieuw trainen van deze programma's vanaf nul voor elke nieuwe data lake vereiste zoveel menselijke inspanning en geld dat het vaak onmogelijk was, waardoor enorme hoeveelheden data opgesloten bleven en onbruikbaar waren.

Onderzoekers van HKUST en Ant Group hebben een nieuwe aanpak ontwikkeld genaamd LakeHopper die dit probleem oplost door te veranderen hoe deze programma's zich aanpassen aan nieuwe omgevingen. In plaats van te proberen het hele systeem vanaf nul opnieuw te trainen of een krachtige kunstmatige intelligentie te vragen om de labels te raden, behandelen zij de taak als een kwestie van kennisbeheer. Ze realiseerden zich dat wanneer een programma van de ene data lake naar een andere wordt verplaatst, een deel van de oude kennis nutteloos is en moet worden weggegooid, een deel nog steeds nuttig is maar moet worden aangepast, en er nieuwe kennis moet worden geleerd. Hun methode scheidt deze drie soorten kennis zorgvuldig. Het behoudt de onderdelen van het programma die goed werken, werkt de onderdelen bij die aanpassing nodig hebben, en gebruikt een groot taalmodel niet om de uiteindelijke beslissing te nemen, maar om te fungeren als een strikte verifieerder. Deze verifieerder controleert de gissingen van het programma en markeert alleen de kolommen waar het programma onzeker over is of waarschijnlijk fout zit, waardoor het systeem alleen om menselijke hulp vraagt voor de specifieke items die dat echt nodig hebben.

Het resultaat is een systeem dat een programma dat getraind is op één dataset kan nemen en het werkend kan maken op een compleet andere dataset met slechts een fractie van de gebruikelijke inspanning. In hun tests verplaatsten de onderzoekers programma's tussen drie verschillende data lakes, waaronder één met publieke zakelijke gegevens en een andere met wetenschappelijke tabellen. Ze ontdekten dat LakeHopper bijna dezelfde kwaliteit kon bereiken als wanneer het programma op de gehele nieuwe dataset was getraind, maar dat het dit deed met minder dan zes procent van de vereiste menselijke labels. Dit is een enorme reductie in kosten en tijd. Bovendien, omdat het systeem vertrouwt op een gespecialiseerd programma om het uiteindelijke label te maken in plaats van een algemene kunstmatige intelligentie, produceert het nooit een label dat buiten de toegestane lijst van typen valt. Algemene kunstmatige intelligentiemodellen hallucineren vaak, of verzinnen labels die niet bestaan in het doelsysteem, waardoor hun output onbruikbaar is voor geautomatiseerde pipelines. LakeHopper vermijdt dit volledig door structureel te garanderen dat elke output voldoet aan het vereiste formaat.

De onderzoekers demonstreerden dat deze methode werkt over verschillende niveaus van moeilijkheid. In sommige gevallen voegde de nieuwe data lake simpelweg nieuwe soorten labels toe aan de oude lijst, wat een eenvoudige uitbreiding was. In andere gevallen vereiste de nieuwe lake dat het systeem oude labels die het had geleerd moest vergeten en geheel nieuwe moest leren, wat een veel moeilijkere uitdaging was. Zelfs in deze moeilijke scenario's verbeterde LakeHopper de prestaties van de onderliggende programma's met wel zevenentwintig procent vergeleken met standaardmethoden. Het systeem is ook opmerkelijk snel en past zich aan nieuwe data aan achtenentwintig tot een honderdvijfentwintig keer sneller aan dan andere methoden die proberen grote taalmodellen te finetunen. Deze snelheid komt voort uit het feit dat het systeem niet alles opnieuw hoeft te leren; het leert alleen de specifieke hiaten tussen wat het weet en wat het moet weten.

Een belangrijke inzichten van dit werk is de specifieke rol die aan het grote taalmodel is toegewezen. Eerdere pogingen vroegen deze modellen vaak om de primaire annotator te zijn, die direct het type van een kolom raadt. De onderzoekers kwamen tot de conclusie dat hoewel deze modellen goed zijn in algemene kennis, ze slecht zijn in de specifieke, rigide regels die vereist zijn voor datalabeling en regelmatig labels verzinnen die niet in het schema passen. LakeHopper draait deze dynamiek om. Het grote taalmodel wordt alleen gebruikt om de gissingen van het gespecialiseerde programma te verifiëren. Het beantwoordt een simpele ja/nee-vraag: "Is dit label correct?" Dit is een veel eenvoudigere taak voor het model dan het kiezen van het juiste label uit honderden opties. Door het model te beperken tot verificatie, krijgt het systeem het voordeel van de brede kennis van het model om fouten op te sporen zonder het risico te lopen op de introductie van ongeldige labels.

Het proces omvat een cyclus van controleren en leren. Het systeem past eerst zijn interne structuur aan om overeen te komen met de nieuwe lijst van mogelijke labels, waarbij het de kennis die het al deelt met de nieuwe omgeving transplanteert en de delen die het niet kent, reset. Vervolgens loopt het door de nieuwe data om kolommen te vinden waar het onzeker over is. Voor deze onzekere kolommen vraagt het de verifieerder om het werk te controleren. Als de verifieerder zegt dat het label fout is of dat hij het niet weet, markeert het systeem deze kolom als moeilijk. Het zoekt vervolgens naar andere kolommen die vergelijkbaar zijn met de moeilijke kolommen en vraagt om menselijke labels voor die hele groep. Dit stelt het systeem in staat om te leren van een kleine, zeer informatieve steekproef in plaats van een willekeurige. Terwijl het leert, oefent het op de nieuwe data terwijl het de oude data onthoudt die het nog steeds moet gebruiken, wat ervoor zorgt dat het niet vergeet wat het al weet.

Deze aanpak pakt een fundamentele flessenhals in databeheer aan: de kosten van labeling. In veel real-world scenario's zijn experts te druk of te duur om elke kolom in een nieuwe data lake te labelen. LakeHopper laat zien dat het mogelijk is om hoogwaardige resultaten te behalen door slim te zijn over waar die beperkte menselijke inspanning wordt ingezet. Het systeem is robuust genoeg om te werken, zelfs als de verifieerder een kleiner, lokaal gedraaid model is, wat betekent dat het niet afhankelijk is van dure externe diensten. Dit maakt de technologie toegankelijk voor organisaties die hun eigen gevoelige data moeten beheren zonder deze naar derden te sturen.

De studie bevestigt dat de methode consistent werkt over verschillende soorten data en verschillende onderliggende programma's. Of de data nu afkomstig is van publieke dashboards, wetenschappelijke tabellen of code-repositories, het systeem past zich effectief aan. Het handelt de overgang af van eenvoudige uitbreidingen van bestaande data naar complexe verschuivingen waarbij de aard van de data volledig verandert. De onderzoekers merkten op dat hoewel het systeem zeer effectief is, het geen wondermiddel is dat de noodzaak voor menselijk toezicht volledig wegneemt. In de meest uitdagende scenario's is de nauwkeurigheid nog steeds lager dan wat bereikt zou kunnen worden met onbeperkte menselijke labeling, maar het brengt het systeem dicht genoeg bij het bruikbare voor veel praktische toepassingen. Het werk vertegenwoordigt een verschuiving van het proberen te bouwen van één enkel, perfect model voor alle data naar het creëren van een flexibel proces dat kennis efficiënt van de ene context naar de andere kan verplaatsen.

Door de adaptatie van datatools te behandelen als een kennisbeheervraagstuk, hebben de onderzoekers een duidelijk pad vooruit geboden voor data-integratie. Ze hebben aangetoond dat de kloof tussen wat een computer weet en wat hij moet weten, overbrugd kan worden door zorgvuldig de verschillen te identificeren en deze aan te vullen met gerichte leerprocessen. Deze aanpak respecteert de beperkingen van de huidige kunstmatige intelligentie door het te gebruiken waar het sterk is en het te vermijden waar het zwak is. Het resultaat is een praktische, efficiënte en betrouwbare manier om de waarde van data lakes te ontsluiten die voorheen te duur waren om te gebruiken. Naarmate data blijft groeien in volume en variëteit, zullen methoden zoals LakeHopper essentieel zijn om ruwe informatie om te zetten in bruikbare kennis zonder dat daar een onmogelijke hoeveelheid menselijke arbeid voor nodig is.