In-Context Density Estimation for Tabular Data

Stel je voor dat je een nieuwe stad probeert te begrijpen. In de oude dagen, als je wilde weten waar de menigten zich meestal verzamelden, waar de rustige parken waren, of waar de gevaarlijke steegjes zich verborgen, moest je voor elke buurt een ander team cartografen inhuren. Elk team bracht weken door met het bestuderen van slechts één blok, tekende hun eigen kaart, en pakte het dan in om naar het volgende blok te verhuizen. Het was traag, duur en vereiste een andere set hulpmiddelen voor elke klus.

In de wereld van de informatica, specifiek in een vakgebied genaamd machine learning, is dit precies hoe we vroeger omgingen met tabulaire data—het soort data dat lijkt op een spreadsheet met rijen en kolommen. Het doel is densiteitschatting: uitzoeken waar de "waarschijnlijkheidsmassa" ligt. Denk hierbij aan een kaart van hoe druk verschillende gebieden zijn. Als je weet waar de data druk is, kun je de vreemde uitschieters (anomalieën) opsporen, dingen vinden die er niet thuishoren (out-of-distribution detectie), of zelfs nieuwe, realistische nepdata bedenken om andere computers te helpen trainen (data-augmentatie). Jarenlang was de regel: "Eén dataset, één op maat getraind model." Maar wat als je één superintelligente gids kon bouwen die de vaardigheid van het in kaart brengen leert, in plaats van alleen maar één specifieke kaart uit het hoofd te leren?

Dit is waar een nieuw artikel ICED introduceert (In-Context Energy-based Density estimator). De onderzoekers, van de Jagiellonian Universiteit in Polen, hebben een enkele, bevroren AI-model gebouwd die fungeert als een universele stadsgids. In plaats van voor elke nieuwe spreadsheet een nieuw model te hertrainen, leest ICED de data die je het geeft als een "context" en vertelt het direct hoe "dens" of druk een specifiek punt is. Dit doet het zonder iets te hoeven leren, af te stemmen of aan te passen voor de nieuwe data. Het is alsof je een gids hebt die tijdens zijn training miljoenen verschillende steden heeft bestudeerd en nu een nieuwe stad binnenloopt, de straten bekijkt en onmiddellijk de drukke pleinen en de lege, verdachte hoekjes kan aanwijzen met één enkele blik.

Het Probleem: De "One-Size-Fits-None"-benadering

Lange tijd, als je een naald in een hooiberg wilde vinden (een anomalie) of nieuw stro wilde genereren (data-augmentatie), moest je een aangepaste machine bouwen voor die specifiek gevormde hooiberg. Je voerde het model data, draaide aan de knoppen (hyperparameters) en hoopte dat het de vorm van die specifieke hooiberg zou leren. Als je een nieuwe hooiberg kreeg met een andere vorm, moest je weer helemaal opnieuw beginnen.

Het artikel stelt dat dit inefficiënt is. Hoewel andere velden zoals taalverwerking zijn bewogen naar "foundation models"—enorme AI-hersenen die algemene regels leren en direct kunnen worden toegepast op nieuwe taken—is densiteitschatting voor tabulaire data blijven hangen in de oude methode. Zelfs bestaande "foundation models" voor tabellen lossen meestal slechts één specifiek probleem op, zoals het classificeren of een e-mail spam is of het voorspellen van een huizenprijs. Ze geven je niet de onderliggende kaart van waar de data zich bevindt.

De Oplossing: Een Universele Kaartmaker

De auteurs creëerden ICED, een model gebaseerd op een Transformer (dezelfde architectuur achter veel moderne AI-chatbots). Zo werkt het, met behulp van een speelse analogie:

Stel je voor dat je een detective traint. In plaats van hem één plaats delict te laten zien en hem te vragen deze op te lossen, laat je hem miljoenen verschillende plaatsen delict zien, allemaal met de antwoorden in de kantlijn. Je leert hem patronen herkennen: "Oh, wanneer de ramen gebroken zijn en de vloer nat is, is de verdachte waarschijnlijk hier."

ICED werd getraind op een synthetische prior. Dit betekent dat de onderzoekers het niet alleen met echte wereldgegevens hebben gevoed; ze hebben een enorme, kunstmatige universum van data gebouwd. Ze creëerden miljoenen nepdatasets met allerlei vreemde vormen: sommige waren glad en rond (Gaussiaans), sommige hadden lange, zware staarten (heavy-tailed), sommige waren gedraaid in complexe curven (flows), en sommige hadden gemengde typen informatie (zoals getallen en categorieën). Cruciaal is dat ze, omdat ze deze data zelf gemaakt hebben, de exacte "ware densiteit" van elk afzonderlijk punt kenden.

Het model leerde om naar een dataset (de context) en een specifiek punt (de query) te kijken en een energie te voorspellen. In dit artikel is "energie" gewoon een chic woord voor "ongenormaliseerde densiteit". Denk aan het als een hoogtemap: hoge energie betekent een druk, veilig, typisch gebied; lage energie betekent een eenzaam, verdacht of leeg gebied. Het model hoeft niet de exacte totale oppervlakte van de stad te berekenen (wat wiskundig gezien onmogelijk perfect te doen is); het hoeft alleen maar te weten welke plekken hoger zijn dan andere.

Wat ICED Kan (Zonder Moeite te Doen)

Zodra ICED is getraind, is het bevroren. Het verandert nooit meer. Je kunt dit enkele, onveranderlijke model vervolgens gebruiken om vier zeer verschillende taken tegelijkertijd uit te voeren, zonder te hertrainen:

1. Densiteitschatting: Het vertelt je hoe typerend een datapunt is.
2. Anomaliedetectie: Het spot de vreemde eenden in de bij'. Als een punt een zeer lage energie heeft (het bevindt zich in een "dal" ver van de menigte), markeert ICED dit als een anomalie.
3. Out-of-Distribution (OOD) Detectie: Het vertelt je of een nieuw stukje data er totaal niet bij hoort.
4. Data-augmentatie: Het kan nieuwe, nep-datapunten genereren die er echt uitzien. Dit doet het door de "energiegradiënt" te volgen (als een wandelaar die bergop loopt naar de meest drukke gebieden) om nieuwe monsters te creëren die in het patroon passen.

De Resultaten: Snel, Accuraat en Universeel

De onderzoekers hebben ICED getest tegen een uitgebreide lijst van andere methoden, van klassieke statistiek tot moderne deep learning-modellen.

• Snelheid: Omdat ICED niet op de nieuwe data hoeft te trainen, is het ongelooflijk snel. Het artikel merkt op dat ICED ongeveer 50 keer sneller is dan sommige andere geavanceerde modellen (zoals TabPFN), omdat het alles in één enkele "forward pass" doet. Het is alsoal een foto van een stad maken versus wekenlang handmatig een kaart tekenen.
• Nauwkeurigheid: In synthetische tests waarbij zij de grondwaarheid kenden, was ICED consequent de beste of de op één na beste in het correct rangschikken van punten. Het gokte niet alleen; het begreep de vorm van de data.
• Robuustheid: Dit is het meest indrukwekkende deel. Wanneer de "context"-data vervuild was met ruis (wat betekent dat de trainingsdata zelf enkele slechte punten bevatte), stortten veel andere modellen in. Hun prestaties daalden aanzienlijk. ICED bleef echter in de top drie. Het was gebouwd om met rommelige, heavy-tailed en ruizige data om te gaan tijdens de training, dus raakte het niet in paniek toen de echte wereld rommelig werd.
• Datageneratie: Wanneer het werd gebruikt om nepdata te genereren om andere classificaties te trainen, presteerde ICED net zo goed als de beste gespecialiseerde tools (zoals TabEBM), en versloeg ze vaak zelfs.

De Keerzijde (en de Toekomst)

Het artikel is eerlijk over de beperkingen. ICED geeft je een "relatieve" kaart. Het kan je vertellen dat Punt A drukker is dan Punt B, maar het geeft je niet zonder extra stap een perfect genormaliseerd probabilistisch getal (zoals "er is een kans van 45,2% dat dit gebeurt"). Ook, omdat het de hele dataset in één keer bekijkt, kan het bij een zeer massieve dataset een beetje traag worden, hoewel de auteurs suggereren dat dit beheersbaar is.

De auteurs beweren niet dat ze elk probleem in het universum hebben opgelost. Ze suggereren dat ICED een krachtige stap is naar het behandelen van densiteitschatting als een herbruikbare primitieve. Net zoals we niet langer een nieuwe motor bouwen voor elke auto, zullen we misschien ook stoppen met het bouwen van een nieuw densiteitsmodel voor elke spreadsheet. We kunnen gewoon de universele gids, ICED, gebruiken om elke datalandschap te navigeren dat we ervoor werpen.

Kortom, ICED is een "leer-éénmaal, gebruik-voor-altijd"-instrument dat het complexe, trage proces van het in kaart brengen van data verandert in een enkele, instant blik. Het bewijst dat je niet het wiel opnieuw hoeft uit te vinden voor elke nieuwe dataset; je hebt alleen een wiel nodig dat weet hoe het over elk terrein moet rollen.