🤖 machine learning

End-to-End Compression for Tabular Foundation Models

Das Papier stellt TACO vor, ein End-to-End-Tabellenkompressionsmodell, das die Inferenzzeit und den Speicherverbrauch im Vergleich zu aktuellen Transformer-basierten Tabellen-Foundation-Modellen signifikant reduziert, während es die prädiktive Leistung auf groß angelegten Datensätzen beibehält oder verbessert.

Ursprüngliche Autoren: Guri Zabërgja, Rafiq Kamel, Arlind Kadra, Christian M. M. Frey, Josif Grabocka

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guri Zabërgja, Rafiq Kamel, Arlind Kadra, Christian M. M. Frey, Josif Grabocka

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „Bibliothek von Allem“

Stellen Sie sich vor, Sie haben einen brillanten Bibliothekar (das Tabular Foundation Model), der fast alles über einen Kunden, eine Maschine oder einen Patienten vorhersagen kann. Um dies zu tun, errät der Bibliothekar nicht einfach; er liest die gesamte Geschichte jedes einzelnen Menschen, der jemals durch die Tür gekommen ist (den Trainingsdatensatz), bevor er eine Vorhersage für eine neue Person trifft.

In der Vergangenheit war dieser Bibliothekar langsam, weil er jedes einzelne Buch in der Bibliothek nacheinander lesen musste. Vor kurzem kam ein neuer Typ von Bibliothekar auf den Markt, der extrem schnell beim Lesen ist, aber einen großen Makel hat: Er wird von der Größe der Bibliothek überwältigt.

Wenn die Bibliothek 100 Bücher hat, kommt der Bibliothekar zurecht. Aber wenn die Bibliothek 100.000 Bücher hat, explodiert das Gehirn des Bibliothekars (der Speicher des Computers). Er kann nicht alle Bücher gleichzeitig in seinem Kopf behalten, um eine Vorhersage zu treffen. Dies ist das „quadratische Komplexitätsproblem“, das in der Arbeit erwähnt wird: Wenn die Daten wachsen, wächst die benötigte Zeit und der Speicherbedarf explosiv an, was es unmöglich macht, diese intelligenten Modelle auf riesigen, realen Datensätzen zu verwenden.

Die Lösung: TACO (Der „Schlaue Zusammenfasser“)

Die Autoren dieser Arbeit haben ein neues Werkzeug namens TACO entwickelt. Betrachten Sie TACO als einen super-effizienten Zusammenfassungs-Experten, der zwischen der massiven Bibliothek und dem Bibliothekar sitzt.

So funktioniert es in drei einfachen Schritten:

Die Kompression (Der Zusammenfassungs-Experte): Bevor der Bibliothekar die Daten überhaupt sieht, nimmt TACO die massive Bibliothek von 100.000 Büchern und verdichtet sie zu einem einzigen, winzigen 100-seitigen „Greatest Hits“-Heftchen. Es wirft nicht die wichtigen Geschichten weg; es lernt die Muster und das Wesen der Daten und schreibt sie in einem kompakten Format auf.
Die Vorhersage (Der Bibliothekar): Der Bibliothekar liest dann dieses winzige 100-seitige Heftchen anstatt der massiven Bibliothek. Weil das Heftchen so klein ist, kann der Bibliothekar Vorhersagen fast augenblicklich treffen.
Das Ergebnis: Der Bibliothekar weiß immer noch fast alles, was er wissen muss, aber er tut dies mit einem Bruchteil des Aufwands.

Was TACO erreicht (Die magischen Zahlen)

Die Arbeit testete dieses System gegen die besten existierenden Modelle (wie TabPFN) und fand dabei unglaubliche Ergebnisse:

Geschwindigkeit: TACO ist bei der Erstellung von Vorhersagen bis zu 94-mal schneller. Wenn das alte Modell 10 Sekunden zum Nachdenken brauchte, benötigt TACO einen Bruchteil einer Sekunde.
Speicher: TACO verbraucht bis zu 97 % weniger Speicher. Stellen Sie sich vor, Sie versuchen, einen schweren Koffer (das alte Modell) zu tragen, im Vergleich zu einem kleinen Umschlag (TACO). Das alte Modell stürzt oft ab, weil der Koffer zu schwer ist, um vom Computer gehalten zu werden; TACO passt problemlos in eine Hosentasche.
Genauigkeit: Trotz der Tatsache, dass es die Daten auf nur 1 % ihrer ursprünglichen Größe geschrumpft hat, hat TACO kaum an Genauigkeit verloren. Es schnitt genauso gut ab wie die Modelle, die versucht haben, die ganze Bibliothek zu lesen.

Wie sie es gemacht haben (Das Geheimrezept)

Die Arbeit erklärt, dass TACO nicht einfach nur ein einfacher Filter ist, sondern ein gemeinsam trainiertes Team.

Stellen Sie sich einen Kompressor (den Zusammenfassungs-Experten) und einen Prädiktor (den Bibliothekar) vor, die gemeinsam im Fitnessstudio trainieren.
Sie üben gemeinsam: Der Kompressor lernt, die Daten speziell so zusammenzufassen, dass der Prädiktor sie am besten verstehen kann. Der Prädiktor lernt, diese Zusammenfassungen effektiv zu lesen.
Wenn sie separat trainiert hätten, könnte der Kompressor Dinge so zusammenfassen, dass der Prädiktor sie nicht verstehen kann. Aber da sie gemeinsam (End-to-End) trainieren, sprechen sie dieselbe Sprache.

Der „Chunking“-Trick (Den Umgang mit dem Unbeherrschbaren meistern)

Die Arbeit löste auch ein Problem für Datensätze, die so riesig sind, dass sie größer als jeder Computerspeicher sind (wie z. B. 1,5 Millionen Zeilen).

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen 1.000-seitigen Roman zusammenzufassen, aber Ihr Notizblock bietet nur Platz für 10 Seiten.
Die Strategie: TACO zerlegt den Roman in kleine Kapitel (Chunks). Es fasst Kapitel 1 zusammen, dann Kapitel 2, dann Kapitel 3. Schließlich fügt es diese kleinen Zusammenfassungen zu einer einzigen „Master-Zusammenfassung“ zusammen.
Dies ermöglichte es ihnen, Vorhersagen auf einem Datensatz mit 1,5 Millionen Zeilen durchzuführen – eine Aufgabe, die andere Modelle aufgrund der Speicherlimits sofort zum Absturz gebracht hätte.

Das Fazament

Die Arbeit behauptet, dass TACO es uns ermöglicht, die super-intelligenten „Foundation Models“ auf massiven, realen Datensätzen einzusetzen, ohne einen Supercomputer zu benötigen. Es verwandelt einen langsamen, speicherhungrigen Prozess in einen schnellen, leichtgewichtigen Prozess, während es gleichzeitig die Vorhersagen genau hält. Es löst effektiv das „Skalierungsproblem“, das den Einsatz dieser KI-Modelle bei den größten Datenproblemen verhindert hat.

Technisches Resümee: End-to-End-Kompression für Tabular Foundation Models

Problemstellung

Tabular Foundation Models (TFMs), insbesondere solche, die In-Context Learning (ICL) mit Decoder-only-Transformer-Architekturen nutzen, haben kürzlich die Dominanz von Gradient-Boosted Decision Trees herausgefordert. Diese Modelle stehen jedoch vor einem fundamentalen Skalierungsproblem: Ihre Inferenzkomplexität skaliert quadratisch ( $O(N^2)$ ) oder linear ( $O(N)$ mit KV-Caching) mit der Anzahl der Trainingsinstanzen $N$ . Diese quadratische Abhängigkeit von der bedingten Kontextgröße führt zu prohibitiven Speicher- und Rechenaufwand, was TFMs auf kleine oder mittelgroße Datensätze beschränkt. Infolgedessen verschlechtert sich die Leistung bei großen, informationsreichen Datensätzen oft, und die Modelle haben Schwierigkeiten, reale Szenarien zu bewältigen, die massive Kontextfenster erfordern.

Methodik: TACO

Um diesen Engpass zu adressieren, schlagen die Autoren TACO (Tabular Compression) vor, eine end-to-end modulare Architektur, die darauf ausgelegt ist, den Trainingsdatensatz vor der Vorhersage in einen latenten Raum zu komprimieren. Das Framework besteht aus zwei gemeinsam trainierten Komponenten:

Kompressor ( $g$ ): Ein Transformer-basiertes Modul, das den ursprünglichen Trainingsdatensatz $D_{train}$ (mit $N$ Zeilen) in eine kompakte, niedrigdimensionale Repräsentation $D_{mini-train}$ mit $K$ Zeilen abbildet, wobei $K \ll N$ . Der Kompressor wird trainiert, um eine verdichtete Einbettung zu lernen, die prototypische Muster der tabellarischen Daten erfasst. Er nutzt eine „Dummy“-Tabelle, die aus einer Teilmenge der Daten initialisiert wird und iterativ verfeinert wird, um den gesamten Datensatz zu repräsentieren.
Prädiktor ( $f$ ): Ein Standard-Tabular-Transformer (basierend auf der TabPFNv2-Architektur), der In-Context-Vorhersagen durchführt. Anstatt auf den vollständigen $N$ -Zeilen-Datensatz zu achten, konditioniert der Prädiktor auf den komprimierten Kontext $D_{mini-train}$ und die Test-Batch-Features.

Trainingsstrategie:
Der Kompressor und der Prädiktor werden end-to-end gemeinsam meta-gelernt. Das Ziel ist es, den Vorhersageverlust über einem Prior von Datensätzen zu minimieren, was den Kompressor dazu motiviert, eine Repräsentation zu erzeugen, die die Leistung des Prädiktors maximiert. Die Trainingspipeline umfasst:

Synthetisches Pretraining: Verwendung von strukturellen Kausalmodellen (SCMs), um diverse synthetische Datensätze zu generieren.
Curriculum Learning: Progressiv zunehmende Sequenzlängen während des Trainings (von 1k bis 60k Zeilen).
Anpassung an Realdaten: Fine-Tuning auf realen tabellarischen Datensätzen mittels selbstüberwachter Aufgaben (Bootstrapping von Zeilen/Features).
Multi-Rate-Training: Das Modell wird trainiert, um gleichzeitig verschiedene Kompressionsraten ( $r \in \{1, 2, 4, 8, 16\}\%$ ) zu handhaben, was es einem einzelnen Modell ermöglicht, unter verschiedenen Ressourcenbeschränkungen zu operieren.

Skalierungsmechanismus:
Für Datensätze, die die Speicherkapazität eines einzelnen Forward-Passes überschreiten (z. B. >1 Million Zeilen), verwendet TACO eine Chunking-and-Stitching-Strategie. Der Datensatz wird in disjunkte Chunks partitioniert, die jeweils unabhängig komprimiert werden, und die resultierenden Zusammenfassungen werden zu einem globalen Kontext für den Prädiktor konkateniert.

Zentrale Beiträge

Neuartige Architektur: Einführung von TACO, der ersten End-to-End-Methode zur Kompression des Trainingskontexts von Tabular Foundation Models, welche die Vorhersagequalität von der Rohgröße des bedingten Kontextes entkoppelt.
Effizienzgewinne: Empirische Demonstration, dass TACO eine bis zu 94-fache Beschleunigung der Inferenzzeit und 98 % Speicherersparnis im Vergleich zu State-of-the-Art Predictor-only Transformers (POT) erreicht, während die Leistung bei einer Kompressionsrate von 1 % aufrechterhalten wird.
Skalierbarkeit: Eine validierte Strategie zur Aufnahme von Datensätzen mit über einer Million Zeilen (z. B. der MetroPT-3 Datensatz mit ~1,5 Mio. Zeilen), indem diese auf einige tausend latente Zeilen komprimiert werden – eine Aufgabe, die für Standard-TFMs aufgrund von Speicherbeschränkungen unmöglich ist.
Gemeinsame Optimierung: Beleg dafür, dass das gemeinsame Training von Kompressor und Prädiktor dem Einfrieren des Prädiktors überlegen ist, da es dem Prädiktor ermöglicht, seinen Repräsentationsraum an die komprimierten Eingaben anzupassen.

Experimentelle Ergebnisse

Die Autoren evaluierten TACO auf dem TabArena Benchmark und zusätzlichen groß angelegten Datensätzen (TabFSBench, TableShift, MetroPT-3):

Performance vs. Geschwindigkeit: Bei einer Kompressionsrate von 1 % erzielt TACO eine 94-fache Beschleunigung bei nachfolgenden Vorhersagen und reduziert den Speicherverbrauch im Vergleich zum unkomprimierten POT-Baseline um 97,6 %. Die Leistungsdegradierung ist im Vergleich zur Full-Context-Baseline statistisch unbedeutend (ROC-AUC Differenz nahe Null).
Speichereffizienz: In Szenarien mit KV-Caching stößt POT häufig auf Out-of-Memory (OOM) Fehler bei Datensätzen mit mehr als 32.000 Zeilen, während TACO handhabbar bleibt. TACO reduziert den VRAM-Verbrauch in KV-Caching-Einstellungen um bis zu 92 %.
Baseline-Vergleiche: TACO schneidet signifikant besser ab als einfache Kompressions-Baselines wie Random Sampling und k-Nearest Neighbors (kNN) Subsampling über alle Kompressionsraten hinweg.
Umgang mit großen Skalen: Auf dem MetroPT-3 Datensatz (~1,5 Mio. Zeilen) komprimierte TACO den Trainingssatz auf ~1.200 Zeilen und erreichte eine überlegene Precision und AUPRC im Vergleich zu Baselines und XGBoost, während POT und TabPFNv2 nicht ausführbar waren.
Robustheit: Auf dem TableShift Benchmark konnte TACO erfolgreich auf 12 von 15 Datensätzen operieren, bei denen Standard-TFMs aufgrund von Speicherlimits scheiterten, wobei eine kompetitive Genauigkeit unter Verteilungsverschiebungen beibehalten wurde.

Bedeutung und Behauptungen

Das Paper behauptet, dass TACO die tabellarische In-Context-Inferenz grundlegend neu rahmt, indem es Datendarstellungen lernt, die unter strengen Inference-Time-Budgets prädiktiv bleiben. Die Autoren behaupten, dass ihre Methode einen prinzipisierten Accuracy-Latency-Trade-off ermöglicht, der es In-Context-Tabular-Prädiktoren erlaubt, auf reale, groß angelegte Datensätze zu skalieren, die zuvor für Transformer-basierte Ansätze unzugänglich waren.

Die Arbeit hebt hervor, dass die quadratische Komplexität von Attention-Mechanismen kein unüberwindbares Hindernis ist, wenn der Kontext intelligent komprimiert wird. Durch die Reduzierung der effektiven Kontextgröße um den Faktor $N/K$ linearisiert TACO die Skalierung der Speicher- und Rechenkosten, was hochperformante Foundation Models für industrielle Anwendungen mit massiven tabellarischen Daten praktikabel macht. Die Autoren schließen, dass TACO zwar die Skalierbarkeit vorantreibt, zukünftige Arbeiten jedoch diverse Priors für fehlende Werte, Verteilungsverschiebungen sowie Erweiterungen auf Regression und Zeitreihenaufgaben adressieren sollten.