🤖 machine learning

LUCoS: Latent Unsupervised Context Selection for Tabular Foundation Models

Der Artikel stellt LUCoS vor, eine unüberwachte Methode zur Auswahl gelabelter Instanzen beim tabellarischen Lernen mit wenigen Labels, die die latente Geometrie unüberwachter Einbettungen anstelle unzuverlässiger roher Merkmalsräume nutzt und durch die Sicherstellung einer effektiven Abdeckung und Qualitätsrepräsentation über 67 Datensätze hinweg State-of-the-Art-Leistung erzielt.

Ursprüngliche Autoren: Oroel Ipas, Guillermo Gomez-Trenado, Rocío Romero-Zaliz, Isaac Triguero

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Oroel Ipas, Guillermo Gomez-Trenado, Rocío Romero-Zaliz, Isaac Triguero

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma der „leeren Leinwand"

Stellen Sie sich vor, Sie sind ein Koch (das KI-Modell), der unglaublich talentiert im Kochen ist, aber nur über eine winzige Menge an Zutaten (gelabelte Daten) verfügt, mit denen er arbeiten kann. Sie haben einen riesigen Vorratsraum voller roher, unmarkierter Gemüse und Gewürze (die ungelabelten Daten).

In der Welt der Tabular Foundation Models (wie TabPFN) lernt der Koch nicht, indem er tausende Mahlzeiten zubereitet und das Rezept anpasst. Stattdessen lernt der Koch durch In-Context Learning (ICL). Das bedeutet, der Koch betrachtet ein kleines „Degustationsmenü" mit ein paar Beispielen (dem Kontext-Set) und erschließt sich sofort, wie der Rest der Mahlzeit basierend auf diesen Beispielen zubereitet werden muss.

Der Haken: Der Koch ist extrem empfindlich gegenüber der Frage, welche Beispiele Sie auf dieses Degustationsmenü legen.

Wenn Sie dem Koch 5 zufällige Beispiele geben, könnte er raten, das Rezept sei „scharf".
Wenn Sie dem Koch 5 sorgfältig ausgewählte Beispiele geben, könnte er raten, es sei „süß und herzhaft".
Beide Sätze haben die gleiche Anzahl an Items, aber einer führt zu einem köstlichen Essen, der andere zu einer Katastrophe.

Das Papier fragt: Wie wählen wir die besten 5 Beispiele aus, um sie dem Koch zu zeigen, wenn wir die Antworten (Labels) noch nicht kennen? Dies wird als „Cold-Start"-Problem bezeichnet.

Der alte Weg: Im Dunkeln tappen

Normalerweise versuchen Menschen, diese Beispiele auszuwählen, ohne die Antworten zu kennen, indem sie sich die Rohdaten ansehen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die besten 5 Früchte aus einer Kiste auszuwählen, indem Sie sie in einem dunklen Raum betrachten, in dem das Licht aus ist und die Früchte durcheinander liegen (Äpfel neben Steinen, Bananen neben Suppendosen).
Das Problem: Tabellarische Daten sind chaotisch. Sie enthalten Zahlen, Kategorien, fehlende Werte und seltsame Skalen. Den „Abstand" zwischen zwei Datenzeilen in diesem rohen Zustand zu messen, ist wie der Versuch, den Abstand zwischen einem Stein und einer Banane mit einem Lineal zu messen, das für Suppe gedacht ist. Es ergibt keinen Sinn.
Das Ergebnis: Das Papier fand heraus, dass Sie, wenn Sie einfach zufällige Früchte auswählen oder versuchen, „unterschiedliche" Früchte basierend auf dieser chaotischen Ansicht auszuwählen, oft schlechter abschneiden als wenn Sie sie völlig zufällig auswählen.

Die Lösung: LUCoS (Der „magische Übersetzer")

Die Autoren schlagen eine neue Methode namens LUCoS (Latent Unsupervised Context Selection) vor.

Schritt 1: Der magische Übersetzer (die Einbettung)
Anstatt die rohen, chaotischen Daten zu betrachten, verwendet LUCoS einen speziellen „Übersetzer" (ein unüberwachtes KI-Modell namens TabClustPFN).

Die Analogie: Dieser Übersetzer nimmt all das chaotische Gemüse und Obst und ordnet es in einem perfekt organisierten, hochtechnologischen Lagerhaus neu an. In diesem neuen Lagerhaus sind ähnliche Gegenstände auf natürliche Weise gruppiert. Äpfel liegen bei Äpfeln, Bananen bei Bananen, und Steine sind weit weg von Suppe.
Warum es funktioniert: Dieser „latente Raum" (das neue Lagerhaus) schafft eine Geometrie, in der „Abstand" tatsächlich einen Sinn ergibt. Gegenstände, die in diesem neuen Raum nahe beieinander liegen, sind tatsächlich auf eine Weise ähnlich, die für die Aufgabe relevant ist.

Schritt 2: Der intelligente Auswähler (K-Medoids)
Sobald sich die Daten in diesem organisierten Lagerhaus befinden, verwendet LUCoS eine einfache geometrische Regel, um die Beispiele auszuwählen.

Die Analogie: Stellen Sie sich vor, Sie müssen 5 Repräsentanten auswählen, um sie dem Koch zu zeigen. Im organisierten Lagerhaus wählen Sie einfach die 5 Früchte aus, die ihren Gruppen am „zentralsten" sind. Sie wählen den Apfel, der genau in der Mitte des Apfelhaufens liegt, die Banane in der Mitte des Bananenhaufens usw.
Die Regel: Dies nennt man K-Medoids. Es stellt sicher, dass Sie eine gute Abdeckung des gesamten Lagerhauses haben, ohne Duplikate auszuwählen.

Schritt 3: Die Kennzeichnung
Sie nehmen diese 5 spezifischen Früchte aus dem Lagerhaus, bilden sie zurück in die reale Welt ab und bitten einen Experten, sie zu kennzeichnen (z. B. „Dies ist ein Apfel"). Jetzt haben Sie Ihr „Degustationsmenü".

Schritt 4: Die Vorhersage
Sie füttern dieses perfekte Degustationsmenü mit dem TabPFN-Koch. Der Koch betrachtet diese hochwertigen Beispiele und sagt den Rest der Daten mit erstaunlicher Genauigkeit voraus.

Was die Experimente zeigten

Die Autoren testeten dies an 67 verschiedenen Datensätzen (wie Gesundheitsakten, Finanzdaten usw.) mit sehr wenigen Labels (von 1 Beispiel pro Kategorie bis zu 32).

Der „Oracle"-Test: Zuerst bewiesen sie, dass, wenn man die Antworten magisch kennen und die absolut besten 5 Beispiele auswählen könnte, das Modell deutlich besser abschneiden würde. Dies bewies, dass eine große „Lücke" zu füllen war.
LUCoS vs. Zufall: LUCoS schloss einen erheblichen Teil dieser Lücke, ohne jemals die Labels gesehen zu haben.
Der „Rettungs"-Effekt:
- Bei sehr geringen Budgets (1-2 Beispiele): Der einfache Akt, irgendeine strukturierte Beispiele auszuwählen (Abdeckung), half.
- Bei mittleren Budgets (4-16 Beispiele): Hier glänzte LUCoS. Die alte Methode (Auswahl aus den chaotischen Rohdaten) begann tatsächlich zu versagen und performte schlechter als zufälliges Raten. LUCoS hingegen blieb leistungsfähig, weil es das „organisierte Lagerhaus" (den latenten Raum) nutzte.
- Das Fazit: Das Papier fand heraus, dass die Geometrie des Raums wichtiger ist als die Komplexität des Auswählers. Ein einfacher Auswähler in einem klugen Raum (LUCoS) schlägt einen komplexen Auswähler in einem dummen Raum.

Zusammenfassung in einem Satz

LUCoS löst das Problem der Auswahl der besten Trainingsbeispiele für KI, indem es zunächst chaotische Daten in eine saubere, organisierte „mentale Karte" übersetzt, in der sich ähnliche Dinge auf natürliche Weise gruppieren, was es einer einfachen geometrischen Regel ermöglicht, die perfekten Beispiele für das Lernen der KI auszuwählen, selbst wenn noch keine Labels verfügbar sind.

Technische Zusammenfassung: LUCoS (Latent Unsupervised Context Selection)

Problemstellung

Beim tabellarischen Lernen mit wenigen Labels ist die Auswahl der zu labelnden Instanzen eine kritische Herausforderung. Jüngste Tabular Foundation Models (TFMs), wie TabPFN, verlassen sich auf In-Context Learning (ICL), bei dem die Vorhersageleistung stark von den spezifischen gelabelten Instanzen abhängt, die als „Kontextmenge" gewählt werden. Während überwachtes Orakel-Experimente zeigen, dass sorgfältig ausgewählte Kontextmengen unter demselben Label-Budget die zufällige Auswahl deutlich übertreffen können, bleibt die Cold-Start-Situation—in der Instanzen ausgewählt werden müssen, bevor überhaupt Labels verfügbar sind—in der TFM-Literatur weitgehend unbehandelt.

Gängige unüberwachte Instanzauswahlmethoden operieren typischerweise im ursprünglichen tabellarischen Merkmalsraum. Tabellarische Daten verfügen jedoch aufgrund heterogener Merkmaltypen, gemischter Skalen, Sparsity und nichtlinearer Interaktionen über keine natürliche Metrik. Folglich sind geometrische Distanzen im rohen Raum oft unzuverlässig für die Vorhersageähnlichkeit, was dazu führt, dass Auswahlmethoden inkonsistent performen oder sogar schlechter abschneiden als das zufällige Sampling, wenn das Label-Budget steigt.

Methodik: LUCoS

Die Autoren schlagen LUCoS (Latent Unsupervised Context Selection) vor, eine vierstufige Pipeline, die eine Instanzauswahl ohne Zugriff auf Labels ermöglicht. Die Kernhypothese lautet, dass der Ersatz der unzuverlässigen Geometrie des ursprünglichen Merkmalsraums durch eine aussagekräftige latente Geometrie, die durch ein unüberwachtes TFM induziert wird, einfache geometrische Auswahlmethoden in die Lage versetzt, informative Kontextmengen zu identifizieren.

Das Framework besteht aus zwei Hauptkomponenten:

Repräsentationsabbildung ( $\phi$ ): Unbeschriftete Trainingsinstanzen werden mittels des Encoders eines unüberwachten Prior-Fitted Network (PFN) in einen hochdimensionalen latenten Raum eingebettet. Konkret nutzen die Autoren den PIN Encoder aus TabClustPFN, der 512-dimensionale Embeddings erzeugt, die unabhängig von Cluster-Zuordnungen sind. Dieser Schritt schafft einen aufgabenrelevanten Repräsentationsraum, in dem euklidische Distanzen die Vorhersageähnlichkeit besser widerspiegeln.
Geometrischer Selektor ( $\sigma$ ): Repräsentative Instanzen werden in diesem latenten Raum mittels K-Medoids-Clustering mit euklidischer Distanz ausgewählt. Die Anzahl der Medoide ( $K$ $K$ ) wird auf das Label-Budget festgelegt. K-Medoids wird gewählt, weil:
- Es echte Trainingsinstanzen (Medoide) statt synthetischer Zentren auswählt und damit die Anforderung erfüllt, dass ausgewählte Stichproben annotierbar sein müssen.
- Es ein explizites Abdeckungsziel minimiert und sicherstellt, dass die ausgewählte Teilmenge die Datenverteilung abdeckt.
- Es deterministisch (bis auf die Initialisierung) ist und keine Klassenpriors erfordert.

Pipeline-Ablauf:

Einbetten der unbeschrifteten Trainingsdaten in den latenten Raum über den Encoder des unüberwachten PFN.
Anwendung von K-Medoids zur Auswahl von $K$ repräsentativen Medoiden im latenten Raum.
Rückmapping der ausgewählten Indizes in den ursprünglichen Merkmalsraum und Abfrage eines Orakels (Experten) nach Labels.
Verwendung der resultierenden gelabelten Teilmenge als In-Context-Menge für ein überwachtes TFM (TabPFN-2.5), um Vorhersagen auf ungesehenen Testdaten zu treffen.

Hauptbeiträge

Empirische Validierung der Sensitivität: Die Autoren zeigen, dass die TFM-Leistung in Regimen mit wenigen Labels stark sensitiv auf die spezifisch ausgewählten Kontextinstanzen reagiert. Eine überwachte Orakel-Analyse (unter Verwendung eines Steady-State Memetic Algorithm) offenbart eine erhebliche Leistungslücke (bis zu $\approx 0,19$ $\Delta$ AUC bei den kleinsten Budgets) zwischen zufälliger Auswahl und optimierter Auswahl, was auf ein signifikantes Verbesserungspotenzial hindeutet.
LUCoS-Framework: Die Vorstellung einer prinzipiellen, labelfreien Pipeline, die Repräsentationslernen von der Auswahl entkoppelt. Durch die Durchführung der Auswahl im latenten Raum eines unüberwachten PFN ermöglicht LUCoS einfachen geometrischen Methoden (K-Medoids), hochperformante Teilmengen zu identifizieren.
Umfassendes Benchmarking: Evaluation auf 67 OpenML-CC18-Datensätzen über sechs niedrige Label-Budgets hinweg ( $1C$ bis $32C$ , wobei $C$ die Anzahl der Klassen ist). LUCoS erreicht den ersten Rang in Bezug auf mittlere AUC, Genauigkeit und F1 über alle Budgets hinweg.
Mechanismuszerlegung: Das Papier zerlegt die Gewinne von LUCoS in Selektor- und Repräsentations-Komponenten:
- Bei den kleinsten Budgets ( $1C$ ) wird der Gewinn primär durch den Selektoreffekt (Durchsetzung der Abdeckung via K-Medoids) getrieben, wobei der latente Raum über rohe Merkmale hinaus wenig beiträgt.
- Ab mittleren Budgets ( $4C$ ) wird der Repräsentationseffekt dominant. In diesem Regime verschlechtert sich die Auswahl im ursprünglichen Merkmalsraum (oft unter das Zufallsniveau), während der latente Raum die Leistung „rettet". Dieser „Rettungseffekt" wird in der Mehrheit der Datensätze beobachtet (78 % der Fälle).

Ergebnisse

Leistung: LUCoS übertrifft Baselines konsistent, darunter Random Sampling, K-Medoids im Originalraum, RDSS und ZCore. Es belegt den ersten Platz über alle sechs Label-Budgets hinweg.
Vergleich mit Orakel: LUCoS deckt etwa 13–20 % der Lücke zwischen zufälliger Auswahl und dem überwachten Orakel ab, obwohl es ohne jegliche Label-Information operiert.
Robustheit: Die Ergebnisse sind stabil unter Leave-One-Dataset-Out-Analyse, progressiver Datensatzentfernung und über verschiedene Evaluationsmetriken hinweg (AUC, ACC, F1).
Versagensmodi von Alternativen: K-Medoids im Originalraum und andere unüberwachte Methoden (RDSS, ZCore) schlagen die zufällige Auswahl nicht zuverlässig, insbesondere wenn das Budget wächst, was bestätigt, dass die Geometrie des Repräsentationsraums den kritischen Engpass darstellt.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass eine zuverlässige unüberwachte Kontextauswahl für tabellarische Daten weniger von der Raffinesse des Auswahlalgorithmus und mehr von der Definition von Repräsentativität innerhalb einer aussagekräftigen Repräsentationsgeometrie abhängt.

Die Autoren behaupten, dass:

Das „Verbesserungspotenzial" beim Few-Shot-Lernen für tabellarische Daten erheblich ist, aber nicht zugänglich ist, indem man einfach distanzbasierte Auswahlmethoden, die für Vision oder Sprache entwickelt wurden, auf rohe tabellarische Merkmale anwendet.
Die Induktion einer latenten Geometrie via unüberwachte PFNs eine notwendige Voraussetzung für eine effektive Instanzauswahl im Cold-Start-Setting ist.
Die Verbesserung des Repräsentationslernens für tabellarische Daten ebenso kritisch ist wie die Entwicklung komplexer Auswahlheuristiken.

Die Arbeit positioniert die unüberwachte Kontextauswahl als Brücke zwischen abundanten ungelabelten Daten und den starken, kontextsensitiven Vorhersagen von TFMs. Die Autoren erkennen Einschränkungen an, darunter die Beschränkung auf Klassifikationsaufgaben mit $\le 10$ Klassen, die Rechenkosten von K-Medoids bei sehr großen Pools und die derzeitige Kopplung an TabClustPFN als Repräsentationsquelle. Sie schlagen vor, dass zukünftige Arbeiten Regressionsaufgaben, skalierbare Approximationen und die Frage untersuchen sollten, ob andere Embedding-Modelle oder Auswahlstrategien die Leistung weiter verbessern können.