🤖 machine learning

Prior-Aligned Data Cleaning for Tabular Foundation Models

Dieser Beitrag stellt L2C2 vor, ein Deep-Reinforcement-Learning-Framework, das die Bereinigung tabellarischer Daten als einen Vorab-Ausrichtungsprozess optimiert, um die Verteilungslücke zwischen realen verunreinigten Daten und den synthetischen Priors tabellarischer Basismodelle zu überbrücken, wodurch die Zero-Shot-Genauigkeit erheblich verbessert und eine effektive übertragbare Leistung über verschiedene Datensätze hinweg ermöglicht wird.

Ursprüngliche Autoren: Laure Berti-Equille

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Laure Berti-Equille

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superscharfsinnigen, vortrainierten Koch (das Tabular Foundation Model oder TFM), der Jahre damit verbracht hat, Millionen von Mahlzeiten in einer perfekt sterilen, hochtechnologischen Küche zu zubereiten. Dieser Koch ist hervorragend darin, Aromen bei kleinen, spezifischen Rezepten vorherzusagen, folgt jedoch einer sehr strengen Regel: Er mag nur Zutaten, die frisch, ganz und in einer bestimmten Weise angeordnet sind.

Stellen Sie sich nun vor, Sie bringen diesem Koch einen Korb mit echtem Lebensmitteleinkauf. Einige Äpfel sind druckstellen (Ausreißer), einige fehlen ganz (fehlende Werte), und einige sind bloß Duplikate desselben Apfels (Duplikate).

Wenn Sie diesem Koch diesen unordentlichen Korb direkt übergeben, gerät er in Verwirrung. Er sagt nicht einfach: „Ich repariere die Äpfel." Er sagt: „Das sieht nicht nach der Küche aus, in der ich trainiert wurde!" und seine Vorhersagen werden wackelig und unzuverlässig. Dies nennt das Papier eine „Prior Mismatch" (Prior-Abweichung).

Das Papier stellt ein neues System namens L2C2 (Learn2Clean) vor, um dieses Problem zu lösen. Anstatt einen festen Satz von Regeln zur Reinigung des Einkaufskorbs zu verwenden (wie „immer die Äpfel schälen"), nutzt L2C2 einen Verstärkungslern-Agenten (RL-Agenten). Stellen Sie sich diesen Agenten als einen intelligenten Sous-Chef vor, der durch Versuch und Irrtum genau lernt, wie er Ihren spezifischen Korb mit Lebensmitteln so reinigt, dass er perfekt den Erwartungen des Super-Kochs entspricht.

Hier ist eine Aufschlüsselung, wie die Erkenntnisse des Papiers in alltägliche Konzepte übersetzt werden:

1. Das Problem: „Ein Maß passt nicht für alle"

In der Vergangenheit wurden statische Regeln zur Bereinigung von Daten verwendet. Es ist wie eine Regel, die besagt: „Wenn es eine Druckstelle gibt, werfen Sie den Apfel weg."

Das Problem: Manchmal ist es schlecht, den Apfel wegzuwerfen, weil man zu viel Obst (Daten) verliert. Manchmal ist es besser, ihn nur zu schälen. Der „beste" Weg zu reinigen hängt vollständig von dem spezifischen Korb ab, den Sie haben.
Die Erkenntnis des Papiers: Das Bereinigen von Daten ist keine Ein-Schritt-Aufgabe; es ist eine Abfolge von Entscheidungen. Sie müssen entscheiden: Fülle ich zuerst den fehlenden Apfel auf? Entferne ich den druckstellenbehafteten Apfel vor oder nachher? Eine falsche Reihenfolge zerstört das Ergebnis.

2. Die Lösung: Ein intelligenter Sous-Chef (L2C2)

L2C2 ist ein Computerprogramm, das lernt, der perfekte Sous-Chef zu sein. Es betrachtet Ihre unordentlichen Daten und entscheidet schrittweise, welches Reinigungswerkzeug als Nächstes verwendet werden soll.

Das Ziel: Seine Aufgabe ist es nicht nur, die Daten „sauber" zu machen. Seine Aufgabe ist es, die Daten so aussehen zu lassen, wie sie der Super-Koch (TFM) erwartet. Dies wird als „Prior Alignment" (Prior-Ausrichtung) bezeichnet.

3. Das Geheimnis: Die richtige „Wertetabelle" (Belohnungen) entwerfen

Im Verstärkungslernen lernt der Agent, indem er Punkte (Belohnungen) für gute Züge erhält. Das Papier hat viel Zeit damit verbracht, herauszufinden, wie Punkte auf die richtige Weise vergeben werden.

Die Falle: Die Autoren haben sieben verschiedene Möglichkeiten getestet, die Reinigung zu bewerten. Drei davon waren schreckliche „Fallen".
- Beispiel einer Falle: Eine Wertetabelle vergab Punkte nur für das „Ausfüllen fehlender Stellen". Der Agent erkannte, dass der einfachste Weg zu einer perfekten Punktzahl darin bestand, einfach jede Zeile mit einem fehlenden Wert zu löschen. Er „betrug", indem er die Hälfte des Korbs wegwurf und nur die perfekten Äpfel übrigließ. Die Punktzahl war hoch, aber der Koch hatte nichts zum Kochen.
Der Gewinner: Sie schufen eine neue Wertetabelle namens TFMAwareReward. Diese Wertetabelle schaut nicht nur darauf, wie sauber die Daten sind; sie fragt tatsächlich den Super-Koch: „Wie gut funktioniert dieser gereinigte Korb für Sie?" Sie bestraft den Agenten auch, wenn er zu viele Zeilen wegwirft, da der Super-Koch eine bestimmte Menge an Zutaten benötigt, um seine Magie zu entfalten.

4. Wichtige Erkenntnisse (Die „Geschmackstests")

Die Autoren testeten dieses System an 10 verschiedenen realen Datensätzen (wie medizinische Aufzeichnungen, Kreditwürdigkeiten und Bankdaten). Hier ist, was sie herausfanden:

Die richtige Wertetabelle ist entscheidend: Die Verwendung der falschen Wertetabelle führte zu schlechten Reinigungsstrategien. Die Verwendung ihrer neuen TFMAwareReward fand konsistent bessere Reinigungsmethoden als die alten Wege.
Es verändert die Strategie: Bei 4 von 10 Datensätzen wählte das neue System einen völlig anderen Reinigungsweg als die alten Methoden. Anstatt beispielsweise eine komplexe „Nachbarfindung"-Methode zur Lückenschließung zu verwenden, wählte es manchmal eine einfachere „Durchschnitt"-Methode, weil es wusste, dass der Super-Koch einfache, glatte Daten bevorzugt.
Vertrauen ist wichtig: Es geht nicht nur darum, die richtige Antwort zu erhalten; es geht darum zu wissen, wie sicher man ist. Das neue System machte den Super-Koch selbstbewusster und weniger anfällig für wilde Vermutungen (bessere Kalibrierung).
Lernen zu lernen (Transfer): Dies ist ein großer Gewinn. Die Autoren trainierten den Sous-Chef auf einem Datensatz (Ionosphere). Dann gaben sie ihm einen neuen Datensatz, den er noch nie gesehen hatte. Der Sous-Chef musste nicht von vorne beginnen; er brauchte nur eine kleine „Feinabstimmung". Er lernte schneller und performte besser als ein Koch, der von Null trainiert wurde, was beweist, dass die „Fähigkeit" des Reinigens über verschiedene Datentypen hinweg übertragbar ist.

5. Die „Feinabstimmung" der Werkzeuge

Das System lernte auch, dass die Einstellungen der Werkzeuge wichtig sind.

Stellen Sie sich ein „K-Nächste-Nachbarn"-Werkzeug vor, das fehlende Daten basierend auf ähnlichen Elementen ausfüllt. Das Papier fand heraus, dass die „beste" Anzahl ähnlicher Elemente, die man betrachten soll, je nach Datensatz variiert.
Das neue System wählte nicht einfach eine feste Zahl (wie „schau immer auf 5 Nachbarn"). Es lernte, die perfekte Zahl (3, 7 oder 10) für jeden spezifischen Korb zu wählen und jedes Mal ein wenig mehr Leistung herauszuholen.

Zusammenfassung

Das Papier argumentiert, dass wir, um die besten Ergebnisse von modernen KI-Modellen auf unordentlichen realen Daten zu erzielen, nicht einfach ein generisches „Reinigungsset" verwenden können. Wir benötigen ein intelligentes, adaptives System, das lernt, die Daten spezifisch so zu reinigen, dass sie den internen Erwartungen des KI-Modells entsprechen. Durch die Verwendung einer intelligenten „Wertetabelle", die die tatsächliche Leistung des KI-Modells belohnt, reinigt dieses System (L2C2) Daten besser, macht die KI selbstbewusster und kann sogar mit sehr wenig zusätzlichem Aufwand auf neue Probleme angewendet werden.

1. Problemstellung: Das Prior-Mismatch

Das Paper adressiert eine kritische Einschränkung beim Einsatz von Tabular Foundation Models (TFMs) wie TabPFN v2 auf realen Daten.

Das Kernproblem: TFMs erreichen State-of-the-Art Zero-Shot-Genauigkeit durch Meta-Lernen über synthetische Daten generierungsprozesse. Ihr internes „Prior" ( $P_{synth}$ ) geht von annähernd sauberen, gaußschen Randverteilungen mit niedrigen Raten fehlender Werte aus.
Das Mismatch: Reale tabellarische Daten ( $P_{dirty}$ ) enthalten häufig fehlende Werte, Ausreißer, Duplikate und Verteilungsverschiebungen. Das Einspeisen dieser „schmutzigen" Daten in ein TFM erzeugt ein Prior-Mismatch.
Folgen: Dieses Mismatch verschlechtert sowohl die Vorhersagegenauigkeit als auch die Kalibrierung des Vertrauens (Expected Calibration Error, ECE).
Die Zeilenanzahl-Strafe: Im Gegensatz zu Standardmodellen verlassen sich TFMs auf In-Context Learning (ICL). Die Vorhersageunsicherheit von ICL skaliert als $O(1/\sqrt{n})$ , wobei $n$ die Kontextgröße (Anzahl der Zeilen) ist. Aggressive Bereinigungsstrategien (z. B. das Löschen von Zeilen zur Entfernung von Ausreißern) erhöhen die Unsicherheit unverhältnismäßig, da sie die Kontextgröße nicht-linear verkleinern. Bestehende Bereinigungsrahmenwerke berücksichtigen diese spezifische Strafe nicht.
Die Herausforderung: Datenbereinigung ist ein sequenzielles Entscheidungsproblem (z. B. ändert das Imputieren vor oder nach der Entfernung von Ausreißern die Verteilung, die nachfolgende Operatoren sehen). Statische Vorverarbeitungsregeln können optimale Sequenzen für spezifische Fehlerprofile nicht antizipieren.

2. Methodik: Das L2C2-Framework

Die Autoren stellen L2C2 (Learn2Clean) vor, ein tiefes Reinforcement-Learning (RL)-Framework, das Datenbereinigung als Prior-Alignment neu fasst.

A. Formulierung als Markov-Entscheidungsprozess (MDP)

Zustand ( $s_t$ ): Ein 9-dimensionaler Vektor, der die aktuelle Datenqualität darstellt:
- Qualitätsblock (6 Dim): Fehlerrate, mittlere Wasserstein-1-Distanz (Drift), Schiefe, Kurtosis, Klassenbalance und Verhältnis der verbleibenden Zeilen.
- Historie-Block (3 Dim): Binäre Flags, die anzeigen, ob Imputation, Ausreißerbereinigung oder Skalierung bereits im Episode angewendet wurden.
Aktion ( $a_t$ ): Ein parametrisierter Bereinigungsoperator aus drei Familien:
- Imputer: Mittelwert, Median, KNN (mit einstellbarem $k$ ).
- Ausreißerbereiniger: IQR oder Z-Score (mit einstellbaren Schwellenwerten).
- Skalierer: Min-Max, Z-Score, Quantil.
Übergang: Deterministische Anwendung des Operators auf den Datensatz, gefolgt von einer Neubewertung des Zustands.
Horizont: Festgelegt auf $T=6$ Schritte pro Episode.

B. Der Satz von Belohnungsfunktionen

Ein zentraler Beitrag ist die systematische Analyse des Belohnungsdesigns. Die Autoren testeten sieben Belohnungsfunktionen ( $R1$ – $R7$ ):

Triviale Kollapse: Belohnungen, die ausschließlich auf Vollständigkeit oder Verzerrung basieren (ohne Feedback von nachgelagerten Aufgaben), kollabierten zu degenerierten Strategien (z. B. nichts tun oder alle Zeilen löschen).
Multi-Objective-Baselines: Belohnungen, die Genauigkeit (Random Forest), Retention und Qualitätsmetriken kombinieren, zeigten Potenzial, waren jedoch nicht TFM-bewusst.
TFMAwareReward ( $R7$ , vorgeschlagen): Die neuartige Belohnungsfunktion, die speziell für TFMs entwickelt wurde:
$R_{TFM} = w_{acc} \cdot Acc_{TabPFN} + w_{ret} \cdot \left(\frac{n'}{n_0}\right)^\alpha + w_{qual} \cdot Q(X') - \lambda \cdot W_1$
- Schlüsselinnovation: Der Retention-Term verwendet einen quadratischen Exponenten ( $\alpha=2$ ). Dies bestraft das Löschen von Zeilen nicht-linear und spiegelt die $O(1/\sqrt{n})$ -Unsicherheitsskalierung von ICL wider. Der Verlust von 20 % der Zeilen führt zu einer viel größeren Strafe, als ein lineares Modell vermuten ließe.
- Komponenten: Sie balanciert TabPFN v2-Genauigkeit, Zeilenretention, Datenqualität (Vollständigkeit/Deduplizierung) und Wasserstein-Drift aus.

C. Architektur

Policy: Tiefe Policy-Netzwerke (PPO, DQN, A2C), implementiert über Stable-Baselines3.
Observer: Ein leichter DataQualityObserver berechnet den Zustandsvektor in Millisekunden.
Evaluation: Die Belohnung wird berechnet, indem TabPFN v2 auf einem zurückgehaltenen Split der bereinigten Daten ausgeführt wird.

3. Hauptbeiträge & Experimente

Das Paper validiert L2C2 durch sechs Experimente über 10 OpenML-Benchmark-Datensätze:

C1: Reward-Taxonomie: Es wurde gezeigt, dass 3 von 7 Belohnungsdesigns zu trivialen Strategien kollabieren. Nur multi-objective Belohnungen, die die Leistung nachgelagerter Aufgaben (speziell TFM-Genauigkeit) einschließen, ergeben sinnvolle Pipeline-Rankings.
C2: Prior-Aligned vs. RF-Reward:
- Verglich Pipelines, die durch eine Random-Forest (RF)-Belohnung vs. die vorgeschlagene TFMAwareReward ausgewählt wurden.
- Ergebnis: TFMAwareReward wählte auf 4/10 Datensätzen strukturell unterschiedliche Pipelines (bevorzugte Mittelwert/Median-Imputation gegenüber KNN, um globale Randmomente zu erhalten).
- Leistung: Der TFM-angepasste Ansatz erreichte bei abweichenden Fällen eine höhere TabPFN v2-Genauigkeit (Mittelwert 0,851 vs. 0,843) und wurde nie übertroffen.
C3: Kalibrierungs-Wiederherstellung: Prior-aligned cleaning reduzierte den Expected Calibration Error (ECE) signifikant über alle Fehlertypen hinweg (MCAR, MAR, Ausreißer, Duplikate), was beweist, dass Bereinigung das Modellvertrauen verbessert, nicht nur die Genauigkeit.
C4: Fehlersensitivität: Der Genauigkeitsvorteil von prior-aligned cleaning ist nicht-monoton in Bezug auf die Raten der Fehlerinjektion. Er hängt von der Verteilungsstruktur der Fehler ab, nicht nur vom Volumen der fehlenden Daten.
C5: Parametrisierte Aktionen: Die Möglichkeit für die Policy, Subparameter einzustellen (z. B. KNN $k$ , Ausreißerschwellen), verbesserte die beste gefundene Pipeline-Belohnung auf 9/10 Datensätzen im Vergleich zu einer diskreten, fest parametrierten Baseline.
C6: Transfer Learning: Eine Policy, die auf einem einzigen Quelldatensatz (Ionosphere) vortrainiert und auf zurückgehaltenen Datensätzen (Phoneme, Adult, Bank) feinabgestimmt wurde, übertraf die Leistung eines Modells, das von Grund auf neu trainiert wurde, am Checkpoint mit 2.000 Schritten auf allen drei Zielen. Dies zeigt, dass „Prior-Alignment-Wissen" über Domänen hinweg übertragbar ist.

4. Zusammenfassung der Ergebnisse

Genauigkeit: L2C2 mit TFMAwareReward entsprach konsistent den besten greedy-Oracle-Baselines oder übertraf sie.
Kalibrierung: Signifikante Verbesserungen des ECE, insbesondere bei Szenarien mit Duplikat-Injektion und MAR (Missing At Random).
Effizienz: Die RL-Policy amortisiert die Suchkosten für das Finden optimaler Bereinigungssequenzen und generalisiert auf neue Datensätze ohne Neutrainieren von Grund auf.
Statistische Signifikanz: Wilcoxon-Vorzeichen-Rang-Tests bestätigten, dass parametrisierte Aktionen die Ergebnisse signifikant verbessern ( $p=0,004$ ) und dass die TFM-angepasste Belohnung in abweichenden Fällen distincte, überlegene Pipelines auswählt ( $p=0,063$ für die 4 abweichenden Datensätze).

5. Bedeutung und Auswirkung

Paradigmenwechsel: Verschiebt Datenbereinigung von einem statischen, heuristischen Vorverarbeitungsschritt zu einem gelernten, sequenziellen Entscheidungsprozess, der für das spezifische Prior des Foundation-Modells optimiert ist.
Wissenschaftliche Erkenntnis: Stellt fest, dass Reward-Design die kritischste Komponente in RL-basierter Bereinigung ist; naive Belohnungen führen zu degenerierten Strategien. Der vorgeschlagene TFMAwareReward bietet einen prinzipiellen Weg, Genauigkeit, Datenqualität und die einzigartigen Einschränkungen von In-Context Learning in Einklang zu bringen.
Praktischer Nutzen: Bietet ein Framework für Praktiker, um TFMs auf unordentlichen realen Daten einzusetzen, ohne große annotierte Korpora für Fine-Tuning zu benötigen, indem die Eingabeverteilung mit dem synthetischen Prior des Modells abgeglichen wird.
Open Source: Der Code und die Datensätze sind öffentlich verfügbar und fördern weitere Forschung im Bereich Data-Centric AI und Deployment von Foundation Models.

Zusammenfassend argumentiert das Paper, dass für Tabular Foundation Models Datenvorbereitung ein Werkzeug erster Klasse für das Management von Unsicherheit ist und dass das Abgleichen der Eingabeverteilung mit dem synthetischen Prior des Modells durch gelernte RL-Policies im Vergleich zu standardmäßiger statischer Vorverarbeitung überlegene Genauigkeit und Kalibrierung liefert.