Statistically Indistinguishable, Operationally Distinct: A Formal Barrier for Tabular Foundation Models

Sintesi Tecnica: Statisticamente Indistinguibili, Operativamente Distinti

Enunciato del Problema
Il documento affronta un limite fondamentale nei modelli di fondazione tabulari: la loro incapacità di ragionare su dati prodotti da sistemi enterprise in esecuzione senza l'accesso alle regole operative che governano tali dati. Mentre questi modelli eccellono su tabelle singole e autosufficienti, le tabelle di produzione sono proiezioni di sistemi complessi dove il codice applicativo scrive righe, i vincoli dichiarativi restringono i valori e i trigger procedurali impongono transizioni. Di conseguenza, i dati di addestramento disponibili ai modelli spesso mancano della logica operativa (regole, trigger, codice) che ha generato i valori. Gli autori postulano che, senza l'accesso a questo "fondamento operativo" (operational grounding), i modelli affrontino una barriera formale in cui stati di database legali e illegali sono statisticamente indistinguibili basandosi solo sulle distribuzioni dei valori.

Metodologia: L'Operational Turing Test (OTT)
Per rendere questa barriera falsificabile, gli autori costruiscono l'Operational Turing Test (OTT), un compito di classificazione binaria che distingue tra stati di database "legali" e "violanti le regole".

• Costruzione: Il test utilizza uno schema order-to-cash a tre tabelle (clienti, ordini, articoli dell'ordine). Genera coppie di stati in cui lo stato "illegale" viola una specifica regola ma preserva le marginali dei valori delle colonne (unidirezionali e bidirezionali) entro una distanza di variazione totale (TV) di $\tau < 0.02$.
• Tipi di Corruzione: Vengono testate quattro famiglie di regole operative:
  1. Consistenza del Valore Relazionale: Violazione dei vincoli di chiave esterna (es. sostituire gli ID con valori non presenti).
  2. Consistenza della Cardinalità: Violazione di limiti aggregati (es. conteggio degli articoli per ordine) preservando i valori delle singole righe.
  3. Logica di Trasformazione del Valore: Violazione di formule procedurali (es. $totale = \sum articoli \times (1 + tassa)$) aggiungendo offset che si annullano tra loro attraverso la colonna, lasciando invariato l'istogramma.
  4. Transizioni di Stato del Valore: Violazione delle regole di transizione di stato (es. in attesa $\to$ spedito) preservando la distribuzione marginale dei valori di stato.
• Limite Teorico: Gli autori invocano il lemma di Le Cam per stabilire un limite inferiore teorico sull'errore di Bayes per qualsiasi classificatore basato solo sui "valori" (limitato alle marginali dei valori delle colonne). Se la distanza TV tra le distribuzioni legali e illegali è $\le \tau$, l'errore è limitato da $\frac{1}{2} - \frac{\tau}{2}$. Con $\tau < 0.02$, l'errore minimo è $\ge 0.49$, il che significa che l'accuratezza non può superare $\approx 0.50$ (caso).

Configurazione Sperimentale
Lo studio valuta i modelli attraverso una "scala di accesso" per determinare quale informazione sia necessaria per superare la barriera:

1. Baseline Solo Valori: Modelli alimentati solo da un riepilogo a 35 dimensioni delle statistiche di colonna (media, deviazione standard, quartili, ecc.). Le architetture includono XGBoost, TabICL e TabPFN.
2. Accesso a Livello di Riga: Modelli forniti con i dati grezzi delle righe senza il contesto delle regole.
3. Accesso Relazionale: Modelli forniti con feature che includono join, copertura delle chiavi esterne e conteggi di gruppo.
4. Fondamento Operativo (Operational Grounding): Modelli aumentati con gli output scalari di sette audit derivati da regole eseguibili (es. ricalcolare i totali dai singoli articoli per controllare la coerenza).
5. LLM di Frontiera: Modelli linguistici di grandi dimensioni (GPT-5.5, Kimi-K2.6) forniti con l'intero schema, il codice sorgente dei trigger, le tabelle delle regole e i file di stato nel prompt, testati con e senza capacità di esecuzione SQL.

Risultati Chiave

• Fallimento dei Solo Valori: Tutti i baseline basati solo sui valori (XGBoost, TabICL, TabPFN) hanno ottenuto un'accuratezza statisticamente equivalente al caso ($\approx 0.50$). Due test a una coda pre-registrati (TOST) hanno confermato che non sono riusciti a distinguere gli stati legali da quelli illegali ($p < 0.002$). Ciò si verifica anche con l'aumento dei dati di addestramento (fino a 5.000 coppie) e l'accesso ai dati grezzi a livello di riga.
• Insufficienza Relazionale: I modelli relazionali (HistGB, RDB-PFN) sono migliorati significativamente, raggiungendo un'accuratezza di 0.89. Hanno rilevato con successo violazioni di chiavi esterne, di cardinalità e di transizione di stato. Tuttavia, hanno fallito completamente sulla logica di trasformazione del valore (recall $\le 0.02$), poiché la sola connettività non può ricostruire formule eseguibili come i calcoli di tasse o sconti.
• Successo del Fondamento Operativo: Un classificatore aumentato con i sette audit derivati da regole eseguibili ha raggiunto un'accuratezza di 1.00, colmando interamente il divario. Ciò conferma che la barriera non è una mancanza di capacità del modello, ma una mancanza di accesso alla logica eseguibile.
• Limitazioni degli LLM: Gli LLM di frontiera forniti con l'intero set di artefatti sorgente (schema, codice, regole) nel prompt hanno fallito il test. GPT-5.5 ha classificato 0/50 stati legali come LEGALI, e Kimi-K2.6 ne ha classificati solo 2/50. Anche con un alto sforzo di ragionamento ed esecuzione SQL, gli LLM non sono riusciti a compilare in modo affidabile gli artefatti sorgente in controlli di legalità deterministici, spesso errando i predicati o omettendo i controlli di trasformazione.

Significato e Rivendicazioni
Il documento sostiene che l'incapacità dei modelli di fondazione tabulari di ragionare su dati generati dal sistema senza regole operative è un problema di identificabilità, non di capacità.

• Barriera Formale: Gli autori stabiliscono che laddove le marginali statistiche sono corrispondenti con un alto grado di precisione, nessun modello privo di accesso alle regole governanti può performare meglio del caso casuale.
• Indipendenza: Questa barriera è indipendente dall'architettura del modello, dalla scala o dalla ricchezza delle feature. Le leggi di scala (scaling laws) non possono superare l'assenza di fondamento operativo.
• Implicazioni per il Progresso: Gli autori sostengono che il progresso nei modelli di fondazione tabulari richieda il trattamento delle regole dichiarative e procedurali come input di prima classe — logica che il modello può valutare — piuttosto che come semplice testo recuperato. I benchmark attuali (come TabArena) non colgono questo modo di fallimento; solo i benchmark operativi che testano contro la "scala di accesso" rivelano i limiti reali degli attuali modelli.

Il documento conclude che per i dati prodotti da sistemi in esecuzione, la verifica operativa (sapere quale regola deve essere valutata) è un prerequisito per la fiducia, e gli attuali modelli di fondazione, anche con pieno contesto, mancano del meccanismo per eseguire in modo affidabile tale verifica senza una derivazione esplicita e eseguibile delle regole.