Statistically Indistinguishable, Operationally Distinct: A Formal Barrier for Tabular Foundation Models

Technische Samenvatting: Statistisch Ononderscheidbaar, Operationeel Onderscheidend

Probleemstelling
Het artikel behandelt een fundamentele beperking van tabelvormige foundation models: hun onvermogen om te redeneren over data die wordt geproduceerd door draaiende enterprise-systemen zonder toegang tot de operationele regels die die data aansturen. Hoewel deze modellen uitblinken in enkelvoudige, zelfstandige tabellen, zijn productietabellen projecties van complexe systemen waarbij applicatiecode rijen schrijft, declaratieve beperkingen waarden beperken en procedurele triggers transities afdwingen. Bijgevolg ontbreekt de operationele logica (regels, triggers, code) die de waarden genereerde vaak in de trainingsdata die beschikbaar is voor modellen. De auteurs stellen dat modellen zonder toegang tot deze "operationele gronding" te maken krijgen met een formele barrière waarbij legale en illegale database-toestanden op basis van alleen de distributie van waarden statistisch ononderscheidbaar zijn.

Methodologie: De Operationele Turingtest (OTT)
Om deze barrière falsifieerbaar te maken, construeren de auteurs de Operationele Turingtest (OTT), een binaire classificatietaak die onderscheid maakt tussen "legale" en "regel-schendende" database-toestanden.

• Constructie: De test maakt gebruik van een drie-tabel order-to-cash schema (klanten, orders, orderitems). Het genereert paren van toestanden waarbij de "illegale" staat een specifieke regel schendt, maar de 1-weg en 2-weg kolom-waarde marginalen binnen een totale variatieafstand (TV distance) van $\tau < 0.02$ behoudt.
• Corruptietypes: Vier families van operationele regels worden getest:
  1. Relationele Waardeconsistentie: Het schenden van foreign key-beperkingen (bijv. het vervangen van ID's door onbekende waarden).
  2. Cardinaliteitsconsistentie: Het schenden van aggregatiegrenzen (bijv. aantal items per order) terwijl individuele rijwaarden behouden blijven.
  3. Waartransformatie-logica: Het schenden van procedurele formules (bijv. $totaal = \sum orderitems \times (1 + belasting)$) door offsets toe te voegen die over de kolom heen wegvallen, waardoor het histogram ongewijzigd blijft.
  4. Waarde-toestandstransities: Het schenden van transitie-regels (bijv. pending $\to$ shipped) terwijl de marginale distributie van statuswaarden behouden blijft.
• Theoretische Grens: De auteurs beroepen zich op de Le Cam-stelling om een theoretische ondergrens vast te stellen voor de Bayes-fout van elke "alleen-waarden"-classifier (één die beperkt is tot kolom-waarde marginalen). Als de TV-afstand tussen legale en illegale distributies $\le \tau$ is, wordt de fout begrensd door $\frac{1}{2} - \frac{\tau}{2}$. Met $\tau < 0.02$ is de minimale fout $\ge 0.49$, wat betekent dat de nauwkeurigheid niet hoger kan zijn dan $\approx 0.50$ (kans).

Experimentele Opzet
De studie evalueert modellen via een "access ladder" om te bepalen welke informatie vereist is om de barrière te doorbreken:

1. Values-Only Baselines: Modellen gevoed met enkel een 35-dimensionale samenvatting van kolomstatistieken (gemiddelde, standaarddeviatie, kwartielen, etc.). Architecturen omvatten XGBoost, TabICL en TabPFN.
2. Row-Level Access: Modellen gevoed met ruwe rijdata zonder de context van regels.
3. Relational Access: Modellen gevoed met kenmerken inclusief joins, foreign key coverage en groepsaantallen.
4. Operationele Gronding: Modellen aangevuld met de scalaire outputs van zeven uitvoerbare regel-afgeleide audits (bijv. het herberekenen van totalen vanuit orderitems om consistentie te controleren).
5. Frontier LLMs: Large Language Models (GPT-5.5, Kimi-K2.6) voorzien van het volledige schema, de broncode van triggers, regeltabellen en state-bestanden in de prompt, getest met en zonder SQL-executiecapaciteiten.

Belangrijkste Resultaten

• Values-Only Falen: Alle values-only baselines (XGBoost, TabICL, TabPFN) bereikten een nauwkeurigheid die statistisch gelijk is aan kans ($\approx 0.50$). Pre-geregistreerde twee eenzijdige toetsen (TOST) bevestigden dat zij er niet in slaagden legale van illegale toestanden te onderscheiden ($p < 0.002$). Dit geldt zelfs bij een verhoogde hoeveelheid trainingsdata (tot 5.000 paren) en toegang tot ruwe rij-niveau data.
• Relationele Onvoldoendeheid: Relationele modellen (HistGB, RDB-PFN) verbeterden significant en bereikten een nauwkeurigheid van 0.89. Ze slaagden erin foreign key-breuken, cardinaliteitsschendingen en status-transitie-fouten te detecteren. Echter, ze faalden volledig op waartransformatie-logica (recall $\le 0.02$), aangezien connectiviteit alleen niet in staat is om uitvoerbare formules zoals belasting- of kortingsberekeningen te reconstrueren.
• Succes van Operationele Gronding: Een classifier aangevuld met de zeven uitvoerbare regel-afgeleide audits bereikte een nauwkeurigheid van 1.00, waarmee de kloof volledig werd gedicht. Dit bevestigt dat de barrière niet een gebrek aan modelcapaciteit is, maar een gebrek aan toegang tot de uitvoerbare logica.
• LLM Beperkingen: Frontier LLM's die voorzien zijn van volledige bronartefacten (schema, code, regels) in de prompt, faalden voor de test. GPT-5.5 classificeerde 0/50 legale toestanden als LEGAL, en Kimi-K2.6 classificeerde slechts 2/50. Zelfs met hoge redeneerinspanning en SQL-executie konden LLM's de bronartefacten niet betrouwbaar compileren naar deterministische legaliteitscontroles; ze stelden vaak predicaten verkeerd voor of misten transformatiecontroles.

Betekenis en Claims
Het artikel claimt dat het onvermogen van tabelvormige foundation models om te redeneren over door systemen gegenereerde data zonder operationele regels een identificeerbaarheidsprobleem is, en geen capaciteitsprobleem.

• Formele Barrière: De auteurs stellen vast dat waar statistische marginalen met een hoge mate van precisie overeenkomen, geen enkel model dat geen toegang heeft tot de leidende regels beter kan presteren dan willekeurige kans.
• Onafhankelijkheid: Deze barrière is onafhankelijk van modelarchitectuur, schaal of feature-rijkdom. Schalingswetten (scaling laws) kunnen het gebrek aan operationele gronding niet overwinnen.
• Implicatie voor Vooruitgang: De auteurs betogen dat vooruitgang in tabelvormige foundation models vereist dat declaratieve en procedurele regels als eersteklas inputs worden behandeld—logica die het model kan evalueren—in plaats van louter als opgehaalde tekst. Huidige benchmarks (zoals TabArena) missen deze foutmodus; alleen operationele benchmarks die testen tegen de "access ladder" onthullen de werkelijke beperkingen van huidige modellen.

Het artikel concludeert dat voor data geproduceerd door draaiende systemen, operationele verificatie (weten welke regel geëvalueerd moet worden) een vereiste is voor vertrouwen, en dat huidige foundation models, zelfs met volledige context, niet het mechanisme bezitten om deze verificatie betrouwbaar uit te voeren zonder expliciete, uitvoerbare regelafleiding.