🤖 machine learning

TAROT: Task-Adaptive Refinement of LLM-prior Graphs for Few-shot Tabular Learning

TAROT is een nieuw op GNN gebaseerd framework voor few-shot tabular learning dat de voorspellende prestaties verbetert door een taakadaptieve semantische graaf te construeren uit door LLM'en geïnferreerde feature-relaties en deze te verfijnen om hallucinatie-geïnduceerde ruis te mitigeren, waardoor betekenisvolle feature-interacties effectief worden gevangen zonder dat extra training vereist is of ruwe data aan LLM'en wordt blootgesteld.

Oorspronkelijke auteurs: Ruxue Shi, Yili Wang, Mengnan Du, Hangting Ye, Yi Chang, Xin Wang

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruxue Shi, Yili Wang, Mengnan Du, Hangting Ye, Yi Chang, Xin Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een misdaad probeert op te lossen, maar je hebt slechts vijf getuigenverklaringen in plaats van de gebruikelijke honderden. Dit is de uitdaging van Few-Shot Tabular Learning: proberen nauwkeurige voorspellingen te doen vanuit een spreadsheet met heel weinig gelabelde gegevens.

Normaal gesproken raken traditionele computermodellen in de war wanneer gegevens schaars zijn en maken ze wilde gissingen. Nieuwere methoden die gebruikmaken van Large Language Models (LLMs) — de "slimme" AI-chatbots — zijn beter in het begrijpen van context, maar ze hebben hun eigen problemen: ze kunnen traag zijn, duur zijn en soms "hallucineren" (dingen verzinnen) als je ze rechtstreeks ruwe gegevens voert.

Het artikel introduceert TAROT, een nieuw systeem dat is ontworpen om de "perfecte detective" te zijn voor deze minuscule datasets. Zo werkt het, onderverdeeld in eenvoudige stappen:

1. Het Probleem: De "Ruisende Kaart"

Stel je voor dat je een stad probeert te navigeren, maar je hebt geen kaart. Je vraagt een zeer deskundige maar licht afgeleide vriend (de LLM) om een kaart voor je te tekenen op basis van de namen van de straten (de kolomkoppen in je spreadsheet).

Het Goede: Je vriend kent het algemene ontwerp van de stad beter dan wie dan ook.
Het Slechte: Omdat je vriend afgeleid is, kan hij een weg tekenen die twee plaatsen verbindt die in werkelijkheid niet met elkaar verbonden zijn (een "hallucinatie), of hij kan een cruciale afkorting vergeten te tekenen.
Het Resultaat: Als je probeert te rijden met deze slordige kaart, zul je verdwalen. In datatermen is dit "structurele ruis".

2. De Oplossing: Het Drie-Stappenproces van TAROT

TAROT werkt als een slim navigatieteam dat de kaart van de vriend gebruikt, maar deze corrigeert voordat je begint met rijden.

Stap 1: De Universele Vertaler (USTNE)

Eerst neemt TAROT je rommelige spreadsheet, die getallen bevat (zoals "Leeftijd: 58") en woorden (zoals "Opleiding: HS-grad"), en vertaalt deze naar een enkele, verenigde taal die de AI kan begrijpen. Denk hierbij aan het converteren van al je aanwijzingen naar een enkele, gestandaardiseerde code, zodat de detective ze allemaal gemakkelijk kan lezen.

Stap 2: De "Schets" van de Expert (LLM Constructie)

Vervolgens vraagt TAROT aan de LLM: "Op basis van de namen van deze kolommen (bijv. 'Beroep' en 'Inkomen'), welke soorten relaties denk je dat er bestaan?"
De LLM tekent een ruwe schets van een kaart (een semantische graaf). Het verbindt punten die met elkaar verbonden zouden moeten zijn. Het kan bijvoorbeeld een lijn trekken tussen "Gewerkte uren" en "Inkomen", omdat dat logisch van pas komt.

Cruciaal punt: De LLM kijkt alleen naar de namen van de kolommen, niet naar de werkelijke privégegevens. Dit houdt je gegevens veilig en privé.

Stap 3: De "Kaartverfijner" (Task-Adaptive Refinement)

Dit is het magische deel. De ruwe schets van de LLM is goed, maar heeft fouten (verkeerde wegen) en ontbrekende stukken.
TAROT kijkt naar je kleine set gelabelde voorbeelden (de 5 getuigenverklaringen) en fungeert als een verfijner:

Snoeien (Pruning): Het kijkt naar de schets van de LLM en zegt: "Wacht, deze weg tussen 'Ras' en 'Inkomen' maakt voor dit specifieke misdrijf geen zin. Laten we die wissen." (Verwijderen van valse verbindingen).
Verbeteren (Enhancing): Het zegt: "We zijn een afkorting tussen 'Opleiding' en 'Inkomen' vergeten die eigenlijk erg belangrijk is. Laten we die erbij tekenen." (Toevoegen van ontbrekende verbindingen).

Het resultaat is een schone, taakspecifieke kaart die perfect is afgestemd op het specifieke probleem dat je probeert op te lossen.

Stap 4: De Finale Voorspelling

Ten slotte gebruikt TAROT een Graph Neural Network (GNN) — denk aan een team van detectives die briefjes doorgeven langs de schone wegen van de kaart. Omdat de kaart nu accuraat en vrij van ruis is, kan het team informatie efficiënt delen en tot een veel nauwkeurigere conclusie komen dan wanneer ze de rommelige originele schets of helemaal geen kaart hadden gebruikt.

Waarom is dit beter dan de anderen?

Vs. Traditionele Methoden: Oude methoden proberen de kaart te leren door miljoenen keren door de stad te rijden (trainen op enorme hoeveelheden gegevens). TAROT heeft dat niet nodig; het gebruikt het "gezond verstand" van de LLM om de kaart direct op gang te helpen.
Vs. Directe LLM-methoden: Als je een LLM direct het antwoord laat raden, kan het overweldigd raken door de gegevens of privé-informatie lekken. TAROT vraagt de LLM alleen om de structuur (de kaart), niet het antwoord, wat het sneller en veiliger maakt.

De Kernboodschap

TAROT is een systeem dat het "gezond verstand" van een grote AI gebruikt om een conceptuele kaart van je gegevens te bouwen, en vervolgens een kleine hoeveelheid echte gegevens gebruikt om die kaart op te schonen, zodat de uiteindelijke voorspelling gebaseerd is op de meest logische en relevante verbindingen.

Het artikel heeft TAROT getest op 11 echte datasets (zoals het voorspellen van inkomen, hartziekten of kredietscores) en vond dat TAROT consequent alle andere methoden overtrof, vooral wanneer gegevens zeer schaars waren. Het bewees dat het hebben van een "schone kaart" van hoe kenmerken met elkaar samenhangen, de sleutel is tot het oplossen van problemen met zeer weinig voorbeelden.

Technische Samenvatting: TAROT

Probleemdefinitie

Few-shot tabular learning richt zich op scenario's waar het verwerven van voldoende gelabelde data kostbaar of moeilijk is, zoals bij fraudedetectie of de diagnose van zeldzame ziekten. Bestaande benaderingen vallen uiteen in twee categorieën, die beide aanzienlijke beperkingen kennen:

Traditionele Methoden: Benaderingen zoals SCARF, TabPFN en STUNT vertrouwen op aanvullende training op grootschalige ongelabelde of synthetische data. Hoewel effectief, brengt dit een aanzienlijke computationele overhead met zich mee.
LLM-gebaseerde Methoden: Methoden zoals In-context learning, TABLET en FeatLLM maken gebruik van Large Language Models (LLMs) voor redeneren. Zij worden echter vaak beperkt door contextlengte-limieten, roepen privacyzorgen op wanneer ruwe data naar externe modellen wordt gevoerd, en negeren frequent de semantische relaties tussen kenmerken (features).

Het geïdentificeerde kernprobleem is dat beide paradigma's grotendeels de structurele en semantische priors negeren die inherent zijn aan tabeldata. In few-shot scenario's leidt het direct leren van feature-interacties uit schaarse supervisie tot instabiliteit en vatbaarheid voor spuria (schijn)correlaties. Bovendien is het construeren van semantische grafen in few-shot settings uitdagend omdat: (1) feature-relaties niet expliciet worden verstrekt, en (2) bestaande methoden voor het leren van grafenstructuren grote hoeveelheden data vereisen om deze relaties nauwkeurig af te leiden. Daarnaast introduceert het uitsluitend vertrouwen op LLMs voor het genereren van grafenstructuren "hallucinatie"-ruis, zoals spuria randen of ontbrekende taakrelevante verbindingen.

Methodologie: TAROT

De auteurs stellen TAROT voor (Task-Adaptive Refinement of Task-Adaptive Refinement of LLM-prior Graphs), een GNN-gebaseerd framework ontworpen om structurele en semantische priors te coderen door een taak-adaptieve semantische graaf te construeren en te verfijnen. Het framework bestaat uit vier hoofdonderdelen:

1. Unified Semantic Tabular Node Encoder (USTNE)

Om heterogene tabeldata (numeriek en categorisch) te verwerken, gebruikt TAROT een training-vrije encoder.

Decompositie: De data wordt gesplitst in een tekstset (featurenamen en categorische waarden) en een numerieke set.
Encodering: Een vooraf getrainde tekstencoder (bijv. BERT) verwerkt de tekstset. Numerieke kenmerken worden genormaliseerd.
{% endblock %}
Node Representatie: Voor categorische kenmerken is de node-embedding de concatenatie van de featurenaam- en waarde-embeddings. Voor numerieke kenmerken is de featurenaam-embedding elementgewijs vermenigvuldigd met de genormaliseerde waarde. Dit resulteert in een uniforme node-representatiematrix $H$ .

2. Semantische Grafenstructuur Constructie

Om het gebrek aan expliciete grafenstructuren in few-shot settings aan te pakken, gebruikt TAROT een LLM als externe kennisbron zonder toegang tot ruwe datapunten (zero-shot).

Prompting: De LLM wordt geprompt met de taakbeschrijving en de namen van de kenmerken.
Code Generatie: In plaats van te vragen om een lijst met randen (edges), krijgt de LLM de instructie om een uitvoerbare code-snippet te genereren die direct de adjacency matrix $A$ produceert. Dit standaardiseert de output en voorkomt parseerfouten.
Output: Dit produceert een initiële "prior graaf" ( $A_{prior}$ ) gebaseerd op de wereldkennis van de LLM.

3. Taak-Adaptieve Semantische Graaf Verfijning

Om de structurele ruis (hallucinaties) die door de LLM wordt geïntroduceerd te mitigeren, verfijnt TAROT de prior graaf met behulp van een kleine set gelabelde samples.

Edge Scoring: Een lineair model scoort de representaties van de randen (afgeleid van node-embeddings) om hun relevantie voor de taak te bepalen.
Prior Learning Loss: Een loss-term ( $L_{prior}$ ) wordt geïntroduceerd om het model te reguleren richting de initiële door de LLM gegenereerde structuur, wat overfitting op de schaarse gelabelde data voorkomt.
Pruning en Enhancement:
- Pruning (Snoeien): Randen met semantische scores onder een drempelwaarde $\tau$ worden verwijderd (Taak-adaptieve Pruning).
- Enhancement (Verbetering): De top- $k$ randen met de hoogste scores die ontbraken in de prior graaf, worden toegevoegd (Taak-adaptieve Enhancement).
Resultaat: Een verfijnde adjacency matrix $A_{refine}$ die de grafenstructuur afstemt op het downstream doel.

4. Message Passing Mechanisme

Een Graph Neural Network (GNN) voert message passing uit over de verfijnde graaf $G = (A_{refine}, H)$ . Het model aggregeert buurtinformatie om taakgerelateerde semantische afhankelijkheden te vangen, die vervolgens door een lineaire laag worden gestuurd voor de uiteindelijke voorspelling. De totale loss-functie combineert de taak-loss, de prior learning loss en een sparsity-regularisator.

Belangrijkste Bijdragen

Nieuw Inzicht in Structurele Priors: Het artikel stelt voor om LLMs te gebruiken om een semantische graaf te induceren op basis van enkel taakbeschrijvingen en featurenamen. Dit adresseert de uitdaging om feature-relaties af te leiden zonder grote datasets, wat een sterke structurele prior biedt voor few-shot learning.
Taak-Adaptief Verfijningsmechanisme: Een nieuw mechanisme wordt geïntroduceerd om de door de LLM gegenereerde graaf te denoisen. Door taakongerelateerde randen te verwijderen en ontbrekende taakgerelateerde randen toe te voegen, maakt de methode effectieve GNN-gebaseerde feature-interactie modellering mogelijk, specifiek voor few-shot scenario's.
State-of-the-Art Prestaties: Uitgebreide experimenten op 11 real-world datasets (zowel classificatie als regressie) tonen aan dat TAROT consistent beter presteert dan state-of-the-art traditionele en LLM-gebaseerde baselines.

Experimentele Resultaten

Classificatie: Op acht classificatie-datasets (bijv. Adult, Heart, Diabetes) behaalde TAROT superieure AUC-scores vergeleken met baselines zoals FeatLLM, TabPFN en SCARF in 4-shot, 8-shot en 16-shot settings.
Regressie: Op drie regressie-datasets (Abalone, Boston, Cholesterol) behaalde TAROT state-of-the-art RMSE-prestaties, wat de toepasbaarheid van de semantische graaf-aanpak voor regressietaken aantoont.
Efficiëntie: TAROT is computationeel efficiënt. Het vereist geen aanvullende pre-training op ongelabelde data (in tegen tegenstelling tot traditionele methoden) en vermijdt per instantie LLM-queries tijdens inferentie (in tegenstelling tot andere LLM-gebaseerde methoden), aangezien de grafenstructuur eenmalig via een enkele API-call wordt gegenereerd.
Ablatie Studies:
- Het verwijderen van de Semantic Graph Structure Construction (SGSC) zorgde voor een prestatiedaling naar het niveau van willekeurige grafenstructuren, wat de waarde van de LLM-prior bevestigt.
- Het verwijderen van de prior learning loss ( $L_{prior}$ ) leidde tot significante prestatiedalingen, wat de noodzaak valideert om het verfijningsproces te beperken met de structurele kennis van de LLM.
- Kwalitatieve analyse op de Adult-dataset toonde aan dat TAROT er succesvol in slaagde om spuria randen (bijv. tussen "Sex" en "Race" voor inkomensvoorspelling) te verwijderen terwijl betekenisvolle verbindingen behouden bleven, terwijl baseline grafen-leermethoden in few-shot settings ruisige, bijna willekeurige structuren produceerden.

Betekenis

Het artikel beweert dat TAROT een nieuwe state-of-the-art vestigt in few-shot tabular learning door expliciet feature-interacties te modelleren via een taak-adaptieve semantische graaf. De betekenis ligt in het overbruggen van de kloof tussen de redeneerkracht van LLMs en de structurele efficiëntie van GNNs. Door LLMs te gebruiken om structurele priors te leveren en een verfijningsmechanisme om LLM-hallucinaties te corrigeren, biedt TAROT een robuuste, privacy-bewuste en computationeel efficiënte oplossing voor real-world toepassingen waar gelabelde data schaars is. Het werk benadrukt dat het integreren van semantische relaties tussen kenmerken essentieel is voor het stabiliseren van het leerproces en het verbeteren van de voorspellende prestaties in omgevingen met weinig data.