🤖 machine learning

Statistically Indistinguishable, Operationally Distinct: A Formal Barrier for Tabular Foundation Models

Diese Arbeit etabliert eine formale Barriere für tabellarische Foundation-Modelle, indem sie aufzeigt, dass diese selbst mit fortgeschrittenen Fähigkeiten zur logischen Schlussfolgerung nicht zwischen legalen und regelwidrigen Datenbankzuständen unterscheiden können, sofern sie keinen Zugriff auf die den Daten zugrunde liegenden operativen Regeln haben, wie das Scheitern beim Bestehen des „Operational Turing Test“ belegt, bei dem nur regelbasierte Audits eine perfekte Genauigkeit erreichen.

Ursprüngliche Autoren: Tassilo Klein, Johannes Hoffart

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tassilo Klein, Johannes Hoffart

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Das Problem des „Magischen Kontobuchs“

Stellen Sie sich vor, Sie haben ein Bankkontobuch. Es ist eine riesige Tabelle, die zeigt, wer wie viel Geld hat, welche Transaktionen stattgefunden haben und wem was gehört.

Stellen Sie sich nun vor, Sie geben einer superintelligenten KI (einem „Tabular Foundation Model“) eine Kopie dieser Tabelle. Sie fragen die KI: „Ist diese Seite des Kontobuchs legal oder wurde sie manipuliert?“

Die Arbeit argumentiert, dass die KI scheitern wird. Selbst wenn die KI die klügste der Welt ist: Wenn sie nur die Zahlen auf der Seite betrachtet, kann sie nicht zwischen einer echten Seite und einer gefälschten Seite unterscheiden, die sorgfältig so verändert wurde, dass sie echt aussieht.

Die Arbeit nennt dies den „Operational Turing Test“. Sie beweist, dass die KI mathematisch blind für bestimmte Arten von Betrug ist, wenn sie die Regeln nicht kennt, nach denen die Bank das Kontobuch führt.

Die Analogie: Der „perfekt gefälschte Beleg“

Um zu verstehen, warum die KI scheitert, schauen wir uns an, wie die Forscher die „gefälschten“ Daten erstellt haben.

Stellen Sie sich einen Beleg eines Cafés vor.

Echter Beleg: Sie kaufen 2 Kaffees für je 5 $. Sie erhalten einen Rabatt von 10 %. Der Gesamtbetrag ist 9,00 $.
Gefälschter Beleg (Die Korruption): Jemand ändert die Rechnung. Er schreibt, Sie hätten 2 Kaffees gekauft, aber der Gesamtbetrag beträgt 9,05 $. Um dies zu vertuschen, senkt er den Preis für jeden anderen Kaffee, der an diesem Tag im Laden verkauft wurde, um einen winzigen Bruchteil eines Cents.

Das Ergebnis:

Die Zahlen sehen gleich aus: Wenn Sie den „Durchschnittspreis“ oder den „Gesamtumsatz“ für den ganzen Tag betrachten, ist der gefälschte Beleg statistisch identisch mit dem echten. Die „1-Wege“- und „2-Wege“-Zahlen (wie Mittelwerte und Paare von Zahlen) stimmen perfekt überein.
Die Logik ist fehlerhaft: Die Mathematik auf diesem spezifischen Beleg ist falsch. 5 $+ 5$ minus 10 % sollten 9,00 $ ergeben, nicht 9,05 $.

Das Dilemma der KI:
Die KI ist wie ein Detektiv, der nur die Endsummen auf dem Beleg sieht. Sie sieht den Durchschnittspreis und den Gesamtumsatz. Da der gefälschte Beleg die echten Statistiken perfekt widerspiegelt, hat die KI keine Möglichkeit zu wissen, dass es eine Fälschung ist. Sie muss raten, und sie rät nur in 50 % der Fälle richtig (wie beim Münzwurf).

Die „Zugangsleiter“: Wie hoch kann die KI klettern?

Die Forscher haben die KI auf verschiedenen Ebenen des „Zugangs“ getestet, wie beim Erklimmen einer Leiter:

Level 1: Die „blinde“ KI (Nur Werte)
- Was sie sieht: Nur eine Liste von Zahlen (Durchschnitte, Häufigkeiten, Standardabweichungen).
- Ergebnis: Sie scheitert völlig. Sie kann den Unterschied zwischen echt und gefälscht nicht erkennen. Sie rät 50/50.
- Analogie: Ein Puzzle zu lösen, indem man nur die Farben der Teile betrachtet, aber nicht das Bild, das sie bilden.
Level 2: Die „relationale“ KI (Verbindungen sehen)
- Was sie sieht: Sie kann sehen, wie Tabellen zusammenhängen (z. B. „Diese Bestellung gehört zu Kunde X“). Sie prüft, ob der Kunde existiert und ob die Bestellanzahl Sinn ergibt.
- Ergebnis: Sie wird besser darin, einige Fehler zu finden (wie etwa, wenn ein Kunde nicht existiert), aber sie scheitert weiterhin daran, die Rechenfehler (die „Value-Transformation“-Logik) zu entdecken.
- Analogie: Die KI kann sehen, dass der Kunde echt ist, aber sie kann immer noch nicht die Mathematik durchführen, um zu wissen, ob der Rabatt korrekt angewendet wurde.
Level 3: Die „Regel-lesende“ KI (Der Orakel-Typ)
- Was sie sieht: Sie sieht nicht nur die Zahlen; sie sieht den Quellcode und die Regeln (z. B. „Gesamt = Preis × Menge × (1 - Rabatt)“). Sie führt eine Prüfung durch, um die Mathematik selbst neu zu berechnen.
- Ergebnis: Sie erreicht eine Genauigkeit von 100 %. Sie erkennt den gefälschten Beleg sofort, weil sie die Rechnung selbst neu durchführen kann und den Fehler findet.
- Analogie: Dies ist der Detektiv, der das Original-Rezeptbuch besitzt. Er kann die Suppe probieren und sagen: „Das ist falsch, weil du Salz statt Zucker verwendet hast“, selbst wenn die Farbe richtig aussieht.

Die schockierende Erkenntnis: Selbst „Super-Gehirne“ scheitern

Die Forscher nahmen die fortschrittlichsten verfügbaren KI-Modelle (wie GPT-5.5 und Kimi-K2.6) und gaben ihnen alles:

Die Tabellendaten.
Die Datenbankstruktur (Schema).
Den eigentlichen Code, der die Regeln schreibt.
Die Trigger-Skripte.

Das Ergebnis: Selbst mit all diesen Informationen scheiterten die KI-Modelle weiterhin.

Sie konnten nicht zuverlässig zwischen einem legalen und einem illegalen Zustand unterscheiden.
Sie lehnten oft perfekt legale Zustände als „gefälscht“ ab.
Sie konnten nicht die korrekte SQL-Abfrage schreiben, um die Mathematik zu prüfen, obwohl sie die Regeln direkt vor sich hatten.

Warum? Die Arbeit legt nahe, dass das Problem nicht darin liegt, dass die KI nicht „klug“ genug ist oder mehr Daten benötigt. Das Problem ist die Identifizierbarkeit. Wenn die Daten statistisch identisch mit den echten Daten sind (weil der Fälscher clever war), kann kein Maß an „logischem Denken“ das Problem lösen, es sei denn, die KI ist explizit darauf programmiert, die spezifischen Regelprüfungen durchzuführen.

Das Fazit: Man braucht das „Regelbuch“

Die Arbeit kommt zu dem Schluss, dass eine KI, um mit realen Geschäftsdaten (wie im Bankwesen oder Verkauf) zu arbeiten, die Daten nicht einfach nur „lesen“ darf. Sie muss in den operativen Regeln verwurzelt sein.

Aktuelle KI: Schaut auf die Zahlen und rät. (Scheitert).
Zukünftige KI: Muss mit dem tatsächlichen Code verbunden sein, der die Regeln definiert, damit sie eine Prüfung durchführen kann. (Erfolgt).

Kurz gesagt: Man kann eine KI nicht lehren, ein guter Auditor zu sein, indem man ihr nur eine Million Tabellen zeigt. Man muss ihr den Taschenrechner und das Regelbuch geben, damit sie die Mathematik selbst durchführen kann. Ohne das ist sie nur am Raten.

Technisches Resümee: Statistisch ununterscheidbar, operativ distinkt

Problemstellung
Die Arbeit adressiert eine fundamentale Limitierung von Tabular Foundation Models: ihre Unfähigkeit, über Daten zu schlussfolgern, die von operativen Systemen erzeugt wurden, ohne Zugang zu den zugrunde liegenden operativen Regeln zu haben. Während diese Modelle bei einzelnen, in sich geschlossenen Tabellen exzellieren, sind Produktionsdaten Projektionen komplexer Systeme, in denen Applikationscode Zeilen schreibt, deklarative Constraints Werte einschränkt und prozedurale Trigger Übergänge erzwingt. Infolgedessen fehlt den Modellen in den verfügbaren Trainingsdaten oft die operative Logik (Regeln, Trigger, Code), welche die Werte generiert hat. Die Autoren postulieren, dass Modelle ohne Zugang zu dieser „operativen Erdung“ (operational grounding) vor einer formalen Barriere stehen, bei der legale und illegale Datenbankzustände allein basierend auf den Wertverteilungen statistisch ununterscheidbar sind.

Methodik: Der Operational Turing Test (OTT)
Um diese Barriere falsifizierbar zu machen, konstruieren die Autoren den Operational Turing Test (OTT), eine binäre Klassifikationsaufgabe zur Unterscheidung zwischen „legalen“ und „regelverletzenden“ Datenbankzuständen.

Konstruktion: Der Test nutzt ein Order-to-Cash-Schema über drei Tabellen (Kunden, Bestellungen, Bestellpositionen). Er generiert Paare von Zuständen, bei denen der „illegale“ Zustand eine spezifische Regel verletzt, aber die 1-Wege- und 2-Wege-Marginalverteilungen der Spaltenwerte innerhalb einer Total Variation (TV) Distanz von $\tau < 0,02$ bewahrt.
Korruptionstypen: Vier Familien operativer Regeln werden getestet:
1. Relationale Konsistenz der Werte: Verletzung von Foreign-Key-Constraints (z. B. Ersetzen von IDs durch unbekannte Werte).
2. Kardinalitätskonsistenz: Verletzung aggregierter Grenzen (z. B. Artikelanzahl pro Bestellung), während die individuellen Zeilenwerte erhalten bleiben.
3. Werttransformationslogik: Verletzung prozeduraler Formeln (z. B. $Gesamtbetrag = \sum Einzelposten \times (1 + Steuer)$ ) durch Hinzufügen von Offsets, die sich über die Spalte hinweg gegenseitig aufheben und so das Histogramm unverändert lassen.
4. Wert-Zustands-Übergänge: Verletzung von Zustandsübergangsregeln (z. B. pending $\to$ shipped), während die Marginalverteilung der Statuswerte erhalten bleibt.
Theoretische Schranke: Die Autoren führen das Le Cam’s Lemma an, um eine theoretische untere Schranke für den Bayes-Fehler eines jeden „Values-only“-Klassifikators (der auf Spaltenwert-Marginals beschränkt ist) zu etablieren. Wenn die TV-Distanz zwischen legalen und illegalen Verteilungen $\le \tau$ ist, ist der Fehler durch $\frac{1}{2} - \frac{\tau}{2}$ begrenzt. Mit $\tau < 0,02$ liegt der minimale Fehler bei $\ge 0,49$ , was bedeutet, dass die Genauigkeit $\approx 0,50$ (Zufall) nicht übersteigen kann.

Experimenteller Aufbau
Die Studie evaluiert Modelle entlang einer „Access Ladder“ (Zugangsleiter), um zu bestimmen, welche Informationen erforderlich sind, um die Barriere zu überwinden:

Values-Only Baselines: Modelle, die nur mit einem 35-dimensionalen Summary der Spaltenstatistiken (Mittelwert, Standardabweichung, Quartile etc.) gespeist werden. Zu den Architekturen gehören XGBoost, TabICL und TabPFN.
Row-Level Access: Modelle, die Rohdaten auf Zeilenebene ohne Regelkontext erhalten.
Relational Access: Modelle, die Features einschließlich Joins, Foreign-Key-Abdeckung und Gruppenanzahlen erhalten.
Operational Grounding: Modelle, die mit den skalaren Outputs von sieben ausführbaren, regelbasierten Audits (z. B. Neuberechnung der Gesamtsummen aus den Einzelposten zur Konsistenzprüfung) angereichert sind.
Frontier LLMs: Large Language Models (GPT-5.5, Kimi-K2.6), denen das vollständige Schema, der Trigger-Quellcode, die Regeltabellen und die State-Files im Prompt zur Verfügung gestellt wurden, getestet mit und ohne SQL-Ausführungsfähigkeiten.

Wesentliche Ergebnisse

Versagen der Values-Only Baselines: Alle Values-only Baselines (XGBoost, TabICL, TabPFN) erreichten eine Genauigkeit, die statistisch dem Zufall entspricht ( $\approx 0,50$ ). Präregistrierte zwei einseitige Tests (TOST) bestätigten, dass sie legale von illegalen Zuständen nicht unterscheiden konnten ( $p < 0,002$ ). Dies gilt auch bei erhöhter Menge an Trainingsdaten (bis zu 5.000 Paare) und beim Zugriff auf die rohen Zeilenwerte.
Relationaler Unzulänglichkeit: Relationale Modelle (HistGB, RDB-PFN) verbesserten sich signifikant und erreichten eine Genauigkeit von 0,89. Sie konnten Foreign-Key-Brüche, Kardinalitätsverletzungen und Zustandsübergangsfehler erfolgreich detektieren. Sie scheiterten jedoch vollständig an der Werttransformationslogik (Recall $\le 0,02$ ), da Konnektivität allein keine ausführbaren Formeln wie Steuer- oder Rabattberechnungen rekonstruieren kann.

Erfolg durch Operational Grounding: Ein Classifier, der mit den sieben ausführbaren, regelbasierten Audits angereichert wurde, erreichte eine Genauigkeit von 1,00 und schloss die Lücke vollständig. Dies bestätigt, dass die Barriere nicht ein Mangel an Modellkapazität ist, sondern ein Mangel an Zugang zur ausführbaren Logik.
LLM-Limitierungen: Frontier LLMs, denen die vollständigen Artefakte (Schema, Code, Regeln) im Prompt bereitgestellt wurden, scheiterten am Test. GPT-5.5 klassifizierte 0/50 legale Zustände als LEGAL, und Kimi-K2.6 klassifizierte lediglich 2/50. Selbst mit hoher Reasoning-Anstrengung und SQL-Ausführung konnten LLMs die Quellartefakte nicht zuverlässig in deterministische Legalitätsprüfungen kompilieren; sie stellten oft Prädikate falsch dar oder übersahen Transformationsprüfungen.

Bedeutung und Behauptungen
Das Paper behauptet, dass die Unfähigkeit von Tabular Foundation Models, über systemgenerierte Daten ohne operative Regeln zu schlussfolgern, ein Identifizierbarkeitsproblem ist, kein Kapazitätsproblem.

Formale Barriere: Die Autoren etablieren, dass dort, wo statistische Marginals mit hoher Präzision angeglichen wurden, kein Modell, dem der Zugang zu den zugrunde liegenden Regeln fehlt, besser als der Zufall performen kann.
Unabhängigkeit: Diese Barriere ist unabhängig von Modellarchitektur, Skalierung oder Feature-Reichtum. Skalierungsgesetze können das Fehlen der operativen Erdung nicht überwinden.
Implikation für den Fortschritt: Die Autoren argumentieren, dass Fortschritte in der Entwicklung von Tabular Foundation Models erfordern, dass deklarative und prozedurale Regeln als primäre Inputs behandelt werden – also Logik, die das Modell evaluieren kann – und nicht bloß als abgerufener Text. Aktuelle Benchmarks (wie TabArena) übersehen diesen Fehlermodus; nur operative Benchmarks, die gegen die „Access Ladder“ testen, offenbaren die wahren Limitierungen aktueller Modelle.

Das Paper schließt mit der Feststellung, dass für durch laufende Systeme erzeugte Daten die operative Verifikation (das Wissen, welche Regel evaluiert werden muss) eine Voraussetzung für Vertrauen ist, und dass aktuelle Foundation Models selbst mit vollem Kontext nicht in der Lage sind, diese Verifikation ohne explizite, ausführbare Regelableitung zuverlässig durchzuführen.