🤖 machine learning

LUCoS: Latent Unsupervised Context Selection for Tabular Foundation Models

Het artikel stelt LUCoS voor, een onbewaakte methode voor het selecteren van gelabelde instanties in tabulair leren met weinig labels door gebruik te maken van de latente geometrie van onbewaakte embeddings in plaats van onbetrouwbare ruwe kenruimtes, wat leidt tot prestaties op het hoogste niveau op 67 datasets door effectieve dekking en representatiekwaliteit te waarborgen.

Oorspronkelijke auteurs: Oroel Ipas, Guillermo Gomez-Trenado, Rocío Romero-Zaliz, Isaac Triguero

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Oroel Ipas, Guillermo Gomez-Trenado, Rocío Romero-Zaliz, Isaac Triguero

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Dilemma van het "Leeg Canvas"

Stel je voor dat je een chef bent (het AI-model) die ongelooflijk talentvol is in koken, maar je hebt slechts een kleine hoeveelheid ingrediënten (gelabelde data) om mee te werken. Je hebt een enorme voorraadkast vol met rauwe, ongemarkeerde groenten en kruiden (de ongelabelde data).

In de wereld van Tabulaire Foundation Modellen (zoals TabPFN) leert de chef niet door duizenden maaltijden te koken en het recept aan te passen. In plaats daarvan leert de chef via In-Context Learning (ICL). Dit betekent dat de chef kijkt naar een klein "proefmenu" van een paar voorbeelden (de contextset) en direct uitwerkt hoe de rest van de maaltijd op basis van die voorbeelden moet worden bereid.

De Haken en Ogen: De chef is extreem gevoelig voor welke voorbeelden je op dat proefmenu zet.

Als je de chef 5 willekeurige voorbeelden geeft, kan het zijn dat ze raden dat het recept "Kruidig" is.
Als je de chef 5 zorgvuldig gekozen voorbeelden geeft, kan het zijn dat ze raden dat het "Zoet en Hartig" is.
Beide sets hebben hetzelfde aantal items, maar de ene leidt tot een heerlijke maaltijd en de andere tot een ramp.

Het artikel vraagt zich af: Hoe kiezen we de beste 5 voorbeelden om aan de chef te laten zien als we de antwoorden (labels) nog niet kennen? Dit wordt het "cold-start"-probleem genoemd.

De Oude Manier: Gissen in het Donker

Meestal, als mensen proberen deze voorbeelden te kiezen zonder de antwoorden te kennen, kijken ze naar de ruwe data.

De Analogie: Stel je voor dat je probeert de beste 5 vruchten uit een krat te kiezen door ze te bekijken in een donkere kamer waar het licht uit is en de vruchten door elkaar liggen (appels naast stenen, bananen naast soepblikken).
Het Probleem: Tabulaire data is rommelig. Het bevat getallen, categorieën, ontbrekende waarden en vreemde schalen. Het meten van de "afstand" tussen twee rijen data in deze ruwe staat is als proberen de afstand tussen een steen en een banaan te meten met een liniaal die voor soep bedoeld is. Het heeft geen zin.
Het Resultaat: Het artikel vond dat als je gewoon willekeurige vruchten kiest of probeert "verschillende" vruchten te kiezen op basis van deze rommelige weergave, je vaak slechter presteert dan als je ze volledig willekeurig kiest.

De Oplossing: LUCoS (De "Magische Vertaler")

De auteurs stellen een nieuwe methode voor genaamd LUCoS (Latent Unsupervised Context Selection).

Stap 1: De Magische Vertaler (De Embedding)
In plaats van naar de ruwe, rommelige data te kijken, gebruikt LUCoS een speciale "vertaler" (een onbewaakte AI-model genaamd TabClustPFN).

De Analogie: Deze vertaler neemt alle rommelige vruchten en groenten en herschikt ze in een perfect georganiseerd, high-tech magazijn. In dit nieuwe magazijn zijn vergelijkbare items op natuurlijke wijze bij elkaar gegroepeerd. Appels liggen bij appels, bananen bij bananen, en stenen ver weg van soep.
Waarom het werkt: Deze "latente ruimte" (het nieuwe magazijn) creëert een geometrie waarbij "afstand" daadwerkelijk zinvol is. Items die dicht bij elkaar liggen in deze nieuwe ruimte, zijn op een manier die relevant is voor de taak, eigenlijk vergelijkbaar.

Stap 2: De Slimme Kiezer (K-Medoids)
Zodra de data in dit georganiseerde magazijn staat, gebruikt LUCoS een eenvoudige geometrische regel om de voorbeelden te kiezen.

De Analogie: Stel je voor dat je 5 vertegenwoordigers moet kiezen om aan de chef te laten zien. In het georganiseerde magazijn kies je gewoon de 5 vruchten die het meest "centraal" zijn binnen hun groepen. Je kiest de appel die precies in het midden van de appelstapel ligt, de banaan in het midden van de bananenstapel, enzovoort.
De Regel: Dit heet K-Medoids. Het zorgt ervoor dat je een goede dekking van het hele magazijn hebt zonder duplicaten te kiezen.

Stap 3: Het Labelen
Je neemt die 5 specifieke vruchten uit het magazijn, koppelt ze terug aan de echte wereld en vraagt een expert om ze te labelen (bijv. "Dit is een appel"). Nu heb je je "proefmenu".

Stap 4: De Voorspelling
Je voert dit perfecte proefmenu in bij de TabPFN-chef. De chef kijkt naar deze hoogwaardige voorbeelden en voorspelt de rest van de data met verbazingwekkende nauwkeurigheid.

Wat de Experimenten Toonden

De auteurs testten dit op 67 verschillende datasets (zoals gezondheidszorggegevens, financiële data, enz.) met zeer weinig labels (van 1 voorbeeld per categorie tot 32).

De "Orakel"-Test: Ze bewezen eerst dat als je zou kunnen magisch de antwoorden kennen en de absolute beste 5 voorbeelden zou kiezen, het model veel beter zou presteren. Dit bewees dat er een enorme "kloof" was om te overbruggen.
LUCoS versus Willekeurig: LUCoS dichte een aanzienlijk deel van die kloof zonder ooit de labels te hebben gezien.
Het "Reddings"-Effect:
- Bij zeer lage budgetten (1-2 voorbeelden): Het simpele feit dat je enige gestructureerde voorbeelden kiest (dekking) hielp.
- Bij gemiddelde budgetten (4-16 voorbeelden): Hier schitterde LUCoS. De oude methode (kiezen uit de rommelige ruwe data) begon eigenlijk te falen en presteerde slechter dan willekeurig gissen. LUCoS bleef echter goed presteren omdat het de "georganiseerde magazijn" (de latente ruimte) gebruikte.
- De Conclusie: Het artikel vond dat de geometrie van de ruimte belangrijker is dan de complexiteit van de kiezer. Het gebruik van een eenvoudige kiezer in een slimme ruimte (LUCoS) verslaat een complexe kiezer in een domme ruimte.

Samenvatting in één Zin

LUCoS lost het probleem op van het kiezen van de beste trainingsvoorbeelden voor AI door eerst rommelige data te vertalen naar een schone, georganiseerde "mentale kaart" waar vergelijkbare dingen op natuurlijke wijze bij elkaar groeperen, waardoor een eenvoudige geometrische regel de perfecte voorbeelden kan kiezen waar de AI van kan leren, zelfs wanneer er nog geen labels beschikbaar zijn.

Technische Samenvatting: LUCoS (Latent Unsupervised Context Selection)

Probleemstelling

Bij het leren van tabulaire data met weinig labels is het selecteren van welke instanties gelabeld moeten worden een kritieke uitdaging. Recente Tabulaire Fundamentmodellen (TFM's), zoals TabPFN, vertrouwen op In-Context Learning (ICL), waarbij de voorspellende prestatie zeer gevoelig is voor de specifieke gelabelde instanties die als "contextset" worden gekozen. Hoewel gesuperviseerde orakel-experimenten aantonen dat zorgvuldig geselecteerde contextsets onder hetzelfde labelbudget significant beter kunnen presteren dan willekeurige selectie, blijft de cold-start situatie—waarbij instanties geselecteerd moeten worden voordat er labels beschikbaar zijn—grotendeels onbehandeld in de TFM-literatuur.

Huidige ongesuperviseerde methoden voor instantieselectie werken doorgaans in de originele tabulaire kenruimte. Tabulaire data mist echter een natuurlijke metriek vanwege heterogene kenmerktypen, gemengde schalen, sparsiteit en niet-lineaire interacties. Gevolg is dat geometrische afstanden in de ruwe ruimte vaak onbetrouwbaar zijn voor voorspellende gelijkenis, waardoor selectiemethoden inconsistent presteren of zelfs slechter dan willekeurige steekproeven naarmate het labelbudget toeneemt.

Methodologie: LUCoS

De auteurs stellen LUCoS (Latent Unsupervised Context Selection) voor, een pijplijn bestaande uit vier fasen die is ontworpen om instantieselectie uit te voeren zonder toegang tot labels. De kernhypothese is dat het vervangen van de onbetrouwbare geometrie van de originele kenruimte door een betekenisvolle latente geometrie die wordt gegenereerd door een ongesuperviseerde TFM, eenvoudige geometrische selectiemethoden in staat stelt informatieve contextsets te identificeren.

Het raamwerk bestaat uit twee hoofdcomponenten:

Representatiemap ( $\phi$ ): Ongelabelde trainingsinstanties worden ingebed in een hoogdimensionale latente ruimte met behulp van de encoder van een ongesuperviseerde Prior-Fitted Network (PFN). Specifiek gebruiken de auteurs de PIN Encoder van TabClustPFN, die 512-dimensionale embeddings genereert die onafhankelijk zijn van cluster-toewijzingen. Deze stap creëert een taakrelevante representatieruimte waarin Euclidische afstanden voorspellende gelijkenis beter weerspiegelen.
Geometrische Selector ( $\sigma$ ): Representatieve instanties worden geselecteerd in deze latente ruimte met behulp van K-Medoids-clustering met Euclidische afstand. Het aantal medoïden ( $K$ $K$ ) is vastgesteld op het labelbudget. K-Medoids wordt gekozen omdat:
- Het echte trainingsinstanties (medoïden) selecteert in plaats van synthetische centroiden, waardoor wordt voldaan aan de vereiste dat geselecteerde steekproeven labelbaar zijn.
- Het een expliciet dekkingsdoel minimaliseert, waardoor wordt gegarandeerd dat de geselecteerde subset de dataverdeling dekt.
- Het deterministisch is (tot aan initialisatie) en geen klassenvoorafkennis vereist.

Pijplijnflow:

Embed ongelabelde trainingsdata in de latente ruimte via de ongesuperviseerde PFN-encoder.
Pas K-Medoids toe om $K$ representatieve medoïden te selecteren in de latente ruimte.
Map de geselecteerde indices terug naar de originele kenruimte en vraag een orakel (expert) om labels.
Gebruik de resulterende gelabelde subset als de in-context set voor een gesuperviseerde TFM (TabPFN-2.5) om voorspellingen te doen op ongezette testdata.

Belangrijkste Bijdragen

Empirische Validatie van Gevoeligheid: De auteurs tonen aan dat de prestatie van TFM's in regimes met weinig labels sterk gevoelig is voor de specifieke contextinstanties die worden geselecteerd. Een gesuperviseerde orakelanalyse (met behulp van een Steady-State Memetic Algorithm) onthult een aanzienlijke prestatiekloof (tot $\approx 0.19$ $\Delta$ AUC bij de kleinste budgetten) tussen willekeurige selectie en geoptimaliseerde selectie, wat wijst op aanzienlijke ruimte voor verbetering.
LUCoS-raamwerk: Het voorstellen van een principieel, labelvrij proces dat representatieleren ontkoppelt van selectie. Door selectie uit te voeren in de latente ruimte van een ongesuperviseerde PFN, stelt LUCoS eenvoudige geometrische methoden (K-Medoids) in staat hoogpresterende subsets te identificeren.
Uitgebreide Benchmarking: Evaluatie op 67 OpenML-CC18 datasets over zes labelbudgetten met weinig labels ( $1C$ tot $32C$ , waarbij $C$ het aantal klassen is). LUCoS behaalt de eerste rang in gemiddelde AUC, Nauwkeurigheid en F1 over alle budgetten.
Mechanisme Decompositie: Het artikel decomposeert de winst van LUCoS in selector- en representatie-componenten:
- Bij de kleinste budgetten ( $1C$ ) wordt de winst voornamelijk gedreven door het selectoreffect (dekking afdwingen via K-Medoids), waarbij de latente ruimte weinig bijdraagt boven de ruwe kenmerken.
- Vanaf middelhoge budgetten ( $4C$ ) wordt het representatie-effect dominant. In dit regime degradeert selectie in de originele kenruimte (vaak onder willekeurig), terwijl de latente ruimte de prestatie "redt". Dit "reddingseffect" wordt waargenomen in het merendeel van de datasets (78% van de gevallen).

Resultaten

Prestatie: LUCoS presteert consequent beter dan baselines, waaronder Willekeurige steekproeven, originele-ruimte K-Medoids, RDSS en ZCore. Het staat eerste over alle zes labelbudgetten.
Vergelijking met Orakel: LUCoS herstelt ongeveer 13–20% van de kloof tussen willekeurige selectie en het gesuperviseerde orakel, ondanks dat het werkt zonder enige labelinformatie.
Robuustheid: De resultaten zijn stabiel onder leave-one-dataset-out-analyse, progressieve datasetverwijdering en over verschillende evaluatiemetrics (AUC, ACC, F1).
Foutmodi van Alternatieven: Originele-ruimte K-Medoids en andere ongesuperviseerde methoden (RDSS, ZCore) slagen er niet in om betrouwbaar beter te presteren dan willekeurige selectie, vooral naarmate het budget groeit, wat bevestigt dat de geometrie van de representatieruimte de kritieke bottleneck is.

Betekenis en Claims

Het artikel betoogt dat betrouwbare ongesuperviseerde contextselectie voor tabulaire data minder afhankelijk is van de verfijning van het selectiealgoritme en meer van het definiëren van representativiteit binnen een betekenisvolle representatiegeometrie.

De auteurs claimen dat:

De "ruimte voor verbetering" in few-shot tabulair leren aanzienlijk is, maar niet toegankelijk is door simpelweg op afstand gebaseerde selectiemethoden toe te passen die zijn ontworpen voor visie of taal op ruwe tabulaire kenmerken.
Het induceren van een latente geometrie via ongesuperviseerde PFN's een noodzakelijke voorwaarde is voor effectieve instantieselectie in de cold-start situatie.
Het verbeteren van representatieleren voor tabulaire data even kritiek is als het ontwerpen van complexe selectieheuristieken.

Het werk positioneert ongesuperviseerde contextselectie als een brug tussen overvloedige ongelabelde data en de sterke, contextgevoelige voorspellingen van TFM's. De auteurs erkennen beperkingen, waaronder de beperking tot classificatietaken met $\le 10$ klassen, de rekenkosten van K-Medoids op zeer grote pools, en de huidige koppeling aan TabClustPFN als bron van representatie. Zij suggereren dat toekomstig werk regressietaken, schaalbare benaderingen en de vraag of andere embeddingmodellen of selectiestrategieën de prestatie verder kunnen verbeteren, moet verkennen.