In de wereld van data arriveert informatie vaak in nette, rechthoekige rasters: rijen klanten, kolommen met transacties en cellen gevuld met getallen of categorieën. Decennialang was de meest betrouwbare manier om patronen in deze rasters te vinden het gebruik van een specifiek type computerprogramma dat bekend staat als een gradient-boosted decision tree. Deze programma's zijn als een team van experts die een reeks eenvoudige ja-of-nee-vragen stellen om door de data te sorteren, waarbij ze stukje bij beetje een complexe besluitvormingsstructuur opbouwen. Ze zijn ongelooflijk effectief, maar hebben een aanzienlijke beperking: ze moeten voor elke nieuwe dataset vanaf nul worden getraind. Als een bedrijf klantverloop voor één product wil voorspellen en vervolgens wil overschakelen naar het voorspellen van wanbetalingen voor een ander, moet het model opnieuw worden getraind, een proces dat tijd, rekenkracht en zorgvuldige afstemming van instellingen vereist.

Onlangs is er een nieuwe aanpak naar voren gekomen die een techniek leent uit de taalstudie. In plaats van voor elke taak een nieuw model te trainen, gebruiken deze nieuwere systemen een enkel, vooraf getraind basismodel dat kan leren van voorbeelden die op het moment zelf worden aangeboden. Deze methode, in-context learning genoemd, stelt het model in staat om naar een paar voorbeelden van het probleem dat het probeert op te lossen te kijken en vervolgens een voorspelling te doen voor een nieuwe casus zonder ooit zijn interne instellingen te veranderen. Hoewel dit een veelbelovend pad biedt naar een universeel hulpmiddel voor tabulaire data, blijft er een grote hindernis bestaan. Naarmate de hoeveelheid historische data die het model moet overwegen groeit, explodeert de tijd die nodig is om een enkele voorspelling te doen. Het model moet elke nieuwe vraag vergelijken met elk stukje historische data dat het ooit heeft gezien, wat een computationele flessenhals creëert die het onpraktisch maakt voor grootschalig, real-time gebruik.

Onderzoekers aan de Universiteit van Cambridge hebben deze flessenhals aangepakt met een methode die ze Localized TabICLv2 noemen. Hun werk richt zich op een specifieke versie van het in-context learning model genaamd TabICLv2, die al state-of-the-art prestaties heeft laten zien op diverse classificatietaken. Het kernprobleem met het oorspronkelijke model is dat het tijdens de laatste fase van de voorspelling elke nieuwe datapunt dwingt om tegelijkertijd aandacht te besteden aan de volledige trainingsdataset. Als een dataset honderdduizenden rijen bevat, moet het model een enorme hoeveelheid informatie verwerken voor elke enkele query, wat leidt tot trage reactietijden en hoge energiekosten. De onderzoekers stelden een simpele vraag: heeft een model echt nodig om naar elk enkel vorig voorbeeld te kijken om een goede voorspelling te doen, of kan het een kleinere, meer relevante groep voorbeelden vinden die de noodzakelijke aanwijzingen bevatten?

Om dit te beantwoorden, introduceerde het team een retrieval-stap die fungeert als een filter voordat de uiteindelijke voorspelling wordt gedaan. In plaats van de volledige geschiedenis van de data in het model te voeren, zetten ze eerst elke rij data om in een wiskundige representatie die de essentiële kenmerken ervan vastlegt. Wanneer een nieuwe query binnenkomt, doorzoekt het systeem de opgeslagen geschiedenis om de paar tientallen rijen te vinden die het meest lijken op de nieuwe casus. Het voert vervolgens alleen deze dichtstbijzijnde overeenkomsten, in plaats van de hele dataset, in de voorspellingsmotor. Deze aanpak is vergelijkbaar met hoe een mens een probleem oplost door een handvol relevante ervaringen uit het verleden op te roepen, in plaats van te proberen elke gebeurtenis in hun leven te herinneren. Door de context te beperken tot deze dichtstbijzijnde buren, hebben de onderzoekers de hoeveelheid informatie die het model tegelijkertijd moet verwerken drastisch verminderd.

Het was echter niet genoeg om simpelweg de data in te korten om de hoge nauwkeurigheid van het oorspronkelijke systeem te behouden. Het model was getraind om de volledige context te verwachten, dus het verwijderen van het grootste deel ervan veroorzaakte aanvankelijk een daling in de prestaties. Om dit op te lossen, hebben de onderzoekers de interne mechanismen van het model fijn afgestemd. Ze pasten de manier waarop het model zijn representaties van de data creëert en de manier waarop het die representaties gebruikt om voorspellingen te doen aan, specifiek door het te trainen om goed te werken met dit kleinere, gelokaliseerde perspectief. Dit proces zorgde ervoor dat het model leerde om de meest kritieke informatie uit slechts een paar voorbeelden te extraheren, in plaats van te vertrouwen op de loutere omvang van de data om patronen te vinden.

De resultaten van deze aanpak werden gemeten tegen een breed scala aan real-world datasets, variërend van detectie van creditcardfraude tot klantverloop. Toen de onderzoekers het gelokaliseerde model testten op een standaard benchmark die uit drieëndertig verschillende datasets bestaat, ontdekten ze dat de fijn afgestemde versie bijna alle nauwkeurigheid van het volledige model behield. Specifiek behield het 98,64 procent van de oorspronkelijke prestaties, wat betekent dat het bijna evenveel correcte voorspellingen deed als de veel tragere, full-context versie. De trade-off was een enorme winst in snelheid. In scenario's waar het model werd gevraagd om data in batches te verwerken, draaide het meer dan twee keer zo snel. In situaties waarin het model een enkele vraag tegelijk moest beantwoorden, was de snelheidswinst nog dramatischer, met een mediane verbetering van 249 keer sneller dan het oorspronkelijke systeem.

De studie onthulde ook dat de grootte van de dataset een significante rol speelde bij deze snelheidswinsten. Hoe groter de trainingsset, hoe groter het voordeel van de lokalisatie werd. Voor kleinere datasets werd de tijd die besteed werd aan het zoeken naar de juiste buren soms ten koste van de tijd die werd bespaard door minder data te verwerken. Maar naarmate het aantal trainingsrijen groeide naar de honderdduizenden, werd de gelokaliseerde methode steeds efficiënter, wat bewees dat de aanpak goed schaalt met precies die groottes aan data die deze modellen gewoonlijk vertragen. Bovendien vergeleken de onderzoekers hun methode met eenvoudigere alternatieven, zoals het gebruik van een standaard beslissingsboom op alleen de opgehaalde buren of een basis stemmechanisme. Hun gelokaliseerde model presteerde consequent beter dan deze eenvoudigere baselines, wat aantoont dat de combinatie van slimme retrieval en een gespecialiseerde voorspellingsmotor de sleutel tot succes was.

Dit werk suggereert dat de toekomst van tabulaire machine learning niet ligt in het bouwen van grotere modellen die meer energie verbruiken, maar in het slimmer maken van bestaande modellen over welke informatie ze nodig hebben. Door een krachtig basismodel te leren zich alleen te concentreren op de meest relevante voorbeelden, hebben de onderzoekers aangetoond dat het mogelijk is om een hoge nauwkeurigheid te bereiken zonder de zware computationele kosten van het verwerken van volledige datasets. De bevindingen wijzen erop dat deze modellen praktisch kunnen worden ingezet voor real-world toepassingen, waar snelheid en efficiëntie net zo belangrijk zijn als voorspellende kracht. Hoewel de methode steunt op de aanname dat de meest vergelijkbare voorbeelden uit het verleden het meest informatief zijn, laten de resultaten zien dat deze aanname standhoudt over een breed scala aan datatypen. De studie concludeert dat met de juiste aanpassingen, de belofte van in-context learning voor tabulaire data gerealiseerd kan worden zonder het offer te brengen van de efficiëntie die vereist is voor grootschalige toepassingen.