GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

In de wereld van data science komt informatie vaak voor in de vorm van spreadsheets: rijen met getallen en categorieën die alles beschrijven, van leningaanvragen tot medische dossiers van patiënten. Decennialang was de meest betrouwbare manier om patronen in deze tabellen te vinden het trainen van gespecialiseerde computerprogramma's op de specifieke data die voorhanden is. Deze programma's leren door middel van voorbeelden en passen hun interne instellingen aan totdat ze de uitkomst voor een nieuwe rij kunnen voorspellen op basis van de patronen die ze eerder hebben gezien. Echter, een nieuwe generatie modellen is opgekomen die anders werkt. In plaats van een vaste set regels te leren, fungeren deze "foundation models" als een universele expert die een gelabelde tabel kan bekijken en direct kan voorspellen wat er daarna gebeurt, simpelweg door de verstrekte context te lezen. Hoewel deze aanpak ongelooflijk krachtig en nauwkeurig is, brengt het een zware prijs met zich mee. Om een voorspelling te doen, moet het model de gehele originele tabel in zijn geheugen houden en deze elke keer opnieuw verwerken, wat traag, duur en vaak onmogelijk is voor alledaagse apparaten.

Onderzoekers zoeken al lang naar een manier om de intelligentie van deze krachtige experts te behouden terwijl ze hun zware bagage afwerpen. Het doel is om een klein, snel en eenvoudig computerprogramma te leren het gedrag van de expert na te bootsen, zodat het op eigen kracht voorspellingen kan doen zonder de originele tabel of het enorme model nodig te hebben. Een team wetenschappers heeft nu een methode genomeerd genaamd GEAR om dit probleem op te lossen. Hun aanpak probeert niet het kleine programma alles in één keer te laten leren. In plaats daarvan splitsen ze het proces op in twee duidelijke stappen. Eerst genereren ze duizenden nieuwe, synthetische datapunten die lijken op de echte data en gebruiken ze deze om het kleine programma te leren hoe de expert denkt. Daarna brengen ze het programma terug naar de echte data om het begrip ervan te verfijnen, zodat het geworteld blijft in de realiteit. Dit tweestaps-proces stelt het kleine programma in staat om de geheimen van de expert te leren zonder de expert ooit weer nodig te hebben tijdens daadwerkelijk gebruik.

De kernuitdaging waar de onderzoekers voor stonden, was dat de echte data die beschikbaar is voor training vaak beperkt is. Als een klein programma alleen leert van de weinige rijen data die het heeft, mist het mogelijk de bredere patronen die de expert heeft beheerst. Om dit op te lossen, omvat de eerste stap van het team het creëren van een enorme hoeveelheid nieuwe, nepdata die de structuur van de echte wereld nabootst. Ze voeden deze synthetische rijen aan het krachtige expertmodel om te zien wat het voorspelt, en leren vervolgens het kleine programma om die voorspellingen te kopiëren. Dit breidt de ervaring van het kleine programma uit, waardoor het kan oefenen op een veel grotere variëteit aan scenario's dan het met alleen echte data zou kunnen. Het vertrouwen op uitsluitend nepdata is echter riskant; het kleine programma kan leren om de expert te veel te imiteren op de nepdata, maar falen wanneer het geconfronteerd wordt met de rommelige realiteit van werkelijke records.

Om dit op te lossen, voegden de onderzoekers een tweede stap toe, die ze "real anchoring" noemen. Zodra het kleine programma heeft geleerd van de synthetische data, brengen ze het terug naar de echte, originele tabel. Hier laten ze het programma niet simpelweg de antwoorden uit het hoofd leren. In plaats daarvan gebruiken ze een slimme techniek waarbij het programma leert van de voorspellingen van de expert op data die de expert nog nooit eerder heeft gezien. Dit voorkomt dat het programma vertrouwt op uit het hoofd geleerde antwoorden die het eigenlijk niet zou moeten memoriseren. Door de echte antwoorden te mengen met de begeleiding van de expert, corrigeert het kleine programma de fouten die het maakte tijdens het leren van de synthetische data. Het resultaat is een model dat de brede ervaring heeft van de synthetische training, maar de precieze nauwkeurigheid van de echte wereld.

Het team testte deze methode op een breed scala aan taken, van binaire keuzes zoals "ja of nee" tot complexere classificaties met veel mogelijke uitkomsten. Ze ontdekten dat de kleine programma's die met deze tweestapsmethode waren getraind, aanzienlijk beter waren dan die die enkel op echte data waren getraind. Bij binaire taken verbeterde de nieuwe methode de nauwkeurigheid met bijna twee procentpunten vergeleken met standaardtraining, en bij complexere taken won het nog steeds meer dan één procentpunt. Deze verbeteringen hielden stand, zelfs toen de onderzoekers verschillende soorten kleine programma's gebruikten, inclusief die gebaseerd op beslissingsbomen, die gebruikelijk zijn in de industrie. De kleine modellen waren niet alleen nauwkeuriger, maar ook vele malen efficiënter. Wat betreft snelheid maakten de nieuwe methode voorspellingen tussen de 57 en 2.866 keer sneller dan de originele grote modellen. Het verminderde ook de hoeveelheid computergeheugen die nodig is om een voorspelling te doen met bijna drie keer, waardoor deze krachtige tools op standaard computerprocessoren kunnen draaien in plaats van op dure, gespecialiseerde hardware.

De onderzoekers verkenden ook hoeveel synthetische data er daadwerkelijk nodig was. Ze ontdekten dat het toevoegen van meer nepdata in het begin hielp, maar slechts tot een bepaald punt. Zodra het kleine programma genoeg synthetische voorbeelden had gezien, leverde het toevoegen van meer geen verbetering meer op en schaadde het soms zelfs de prestaties als de nepdata niet perfect overeenkwam met de echte wereld. Dit bevestigde dat de tweede stap, de terugkeer naar de echte data, essentieel was. Zonder deze stap zou het kleine programma gevangen blijven in de wereld van de synthetische data, onbekwaam om de nuances van de realiteit aan te kunnen. De studie toonde aan dat het simpelweg langer trainen of het starten met een ander type vooraf getraind model niet dezelfde resultaten opleverde. De specifieke combinatie van het verbreden van de trainingsomvang met synthetische data en het vervolgens verankeren met echte data was de sleutel tot succes.

Dit werk demonstreert dat het mogelijk is om de intelligentie van enorme, contextafhankelijke modellen te distilleren in lichtgewicht, onafhankelijke instrumenten zonder veel van hun kracht te verliezen. De methode vereist niet dat het kleine programma toegang heeft tot de originele expert of de trainingsdata op het moment van voorspelling. Dit opent de deur voor het inzetten van deze geavanceerde modellen in omgevingen waar snelheid en privacy cruciaal zijn, zoals op mobiele apparaten of in beveiligde omgevingen waar data niet gedeeld kan worden. De onderzoekers hebben aangetoond dat door zorgvuldig de balans te bewaken tussen het gebruik van gegenereerde data en verificatie in de echte wereld, zij modellen kunnen creëren die zowel slim als praktisch zijn. De bevindingen suggereren dat de toekomst van krachtige data-analyse wellicht niet ligt in het bouwen van grotere modellen, maar in het leren denken van kleinere modellen zoals de reuzen, met een mix van verbeelding en realiteit.