🤖 machine learning

Do Tabular Foundation Models Agree with Themselves?

Questo articolo rivela che i Modelli Fondazionali Tabulari (TFM) non riescono a produrre distribuzioni congiunte fedeli poiché violano sia i requisiti di marginalizzazione che quelli di consistenza della fattorizzazione in tutti i dataset e i task valutati.

Autori originali: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika

Pubblicato 2026-08-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di cercare indizi in una scena del crimine, cerchi indizi in un gigantesco foglio di calcolo. Questo è il mondo dei Modelli Fondativi Tabulari, un nuovo e caldissimo ambito dell'intelligenza artificiale dove i computer imparano a prevedere le cose basandosi su righe e colonne di dati, come ad esempio prevedere se un prestito verrà restituito o quale potrebbe essere il prezzo di una casa. Questi modelli sono costruiti su un'idea geniale chiamata inferenza bayesiana, che è fondamentalmente un modo elegante per dire: "Aggiorniamo le nostre convinzioni in base alle nuove prove". Pensalo come a un meteorologo che parte da un'ipotesi generale di pioggia, ma non appena vede nuvole scure, aggiorna la sua previsione dicendo: "Ok, pioverà sicuramente".

Per molto tempo, gli scienziati hanno sperato che questi modelli di IA fossero dei "meteorologi" perfetti per i dati. Credevano che, se chiedevi al modello di prevedere una cosa e poi usavi quella previsione per indovinare un'altra, l'intera storia che raccontava si sarebbe incastrata perfettamente, proprio come un romanzo ben scritto dove ogni capitolo si collega logicamente al successivo. Ma ecco il problema: nel mondo reale, spesso non conosciamo la risposta "vera" per poterla verificare. È come cercare di correggere il tema di uno studente senza avere la chiave delle soluzioni. Così, invece di chiedere: "Questo modello ha ragione?", un gruppo di ricercatori ha posto una domanda più semplice e complicata: "Questo modello racconta anche una storia coerente a se stesso?". Volevano sapere se l'IA stesse solo inventando numeri casuali che sembravano buoni o se stesse effettivamente seguendo le rigide regole della logica e della probabilità.

Il saggio di cui stai per sentire, intitolato "Do Tabular Foundation Models Agree with Themselves?" (I modelli fondativi tabulari sono d'accordo con se stessi?), approfondisce proprio questo mistero. I ricercatori, guidati da Christian Klötergens e dal suo team, hanno deciso di sottoporre i modelli di IA più popolari per i dati tabulari (come TabPFN, TabICL e TabFM) a un rigoroso "test di logica". Non si sono limitati a chiedere al modello di fare una previsione; hanno chiesto loro di raccontare la stessa storia in due modi diversi e hanno controllato se le storie coincidevano.

Immagina di cercare di indovinare il gusto di uno smoothie misterioso.

Test 1 (Consistenza della Marginalizzazione): Chiedi all'IA: "Che gusto ha questo smoothie?". Poi chiedi: "Se lo smoothie è rosso, che gusto ha? E se è blu, che gusto ha?". Infine, mescoli quelle due risposte in base a quanto è probabile che lo smoothie sia rosso o blu. Se l'IA è coerente, questa risposta "mista" dovrebbe essere esattamente la stessa della prima risposta diretta.
Test 2 (Consistenza della Fattorizzazione): Chiedi all'IA di raccontare la storia degli ingredienti dello smoothie in due ordini diversi. Prima indovina la frutta, poi il dolcificante. Secondo, indovina il dolcificante, poi la frutta. Se l'IA comprende davvero i dati, l'immagine finale dello smoothie deve essere identica, indipendentemente da quale ingrediente abbia indovinato per primo.

I ricercatori hanno testato questi esperimenti su una vasta gamma di dataset del mondo reale, dai rating della qualità del vino ai prezzi delle auto e ai record medici. Hanno usato un righello matematico chiamato Distanza di Variazione Totale per misurare quanto fossero distanti le risposte. Un punteggio di 0 significa che il modello è perfettamente coerente; un punteggio più alto significa che il modello si contraddice.

I risultati sono stati uno shock. Ogni singolo modello testato ha fallito entrambi i test. Su ogni dataset, sia per domande semplici sì/no (classificazione) che per domande di previsione numerica (regressione), i modelli davano risposte diverse a seconda di come veniva posta la domanda. È come se l'IA ti dicesse che lo smoothie è alla "fragola" quando le viene chiesto direttamente, ma quando le chiedi prima del colore, decide improvvisamente che è al "mirtillo", anche se il colore è lo stesso.

Il saggio ha scoperto che, sebbene alcuni modelli siano leggermente migliori di altri nel raccontare una storia coerente (ad esempio, un modello chiamato TabFM era il classificatore più coerente, e TabPFNv3 era il regressore che più si avvicinava alla coerenza), nessuno di essi era veramente coerente. In effetti, le incongruenze erano così diffuse che i ricercatori sono giunti alla conclusione che questi modelli non rappresentano un'unica "distribuzione congiunta" dei dati. In parole povere: i modelli non stanno seguendo le rigide leggi della probabilità che dovrebbero imitare. Stanno essenzialmente "allucinando" versioni diverse della realtà a seconda dell'ordine in cui poni le domande.

Gli autori hanno scoperto anche qualcosa di interessante: essere un "buon" predittore (ottenere la risposta giusta la maggior parte delle volte) non significa essere un predittore "coerente". Un modello potrebbe essere molto accurato nel prevedere il prezzo di una casa, ma pur sempre contraddire se stesso quando gli chiedi di spiegare il suo ragionamento in un ordine diverso. Questo suggerisce che la coerenza è un difetto separato e nascosto che i benchmark attuali non colgono.

Quindi, cosa significa per il futuro? Il saggio non dice che questi modelli sono inutili — sono ancora i migliori strumenti che abbiamo per molte attività. Tuttavia, suona un allarme forte: non possiamo fidarci ciecamente di questi modelli se abbiamo bisogno che ci parlino di relazioni complesse tra variabili in modo logicamente coerente. I ricercatori suggeriscono che i modelli futuri debbano essere costruiti con la "coerenza" come caratteristica centrale, magari addestrandoli a penalizzare queste contraddizioni, piuttosto che concentrarsi solo sull'ottenere la risposta finale corretta. Fino ad allora, dobbiamo ricordare che questi potenti "detective" dell'IA sono bravissimi a individuare indizi, ma a volte raccontano versioni diverse della storia a seconda di chi pone le domande.

Titolo: I Modelli Fondazionali Tabulari sono Coerenti con se Stessi?

Problema
I Modelli Fondazionali Tabulari (TFM), come TabPFN, TabICL e TabFM, rappresentano attualmente lo stato dell'arte per la predizione tabulare. Questi modelli sono costruiti come transformer addestrati per approssimare la distribuzione predittiva posteriore bayesiana (PPD) sotto un prior sintetico. Sebbene le loro teste predittive siano univariate, i praticanti li utilizzano per modellare distribuzioni multivariate campionando autoregressivamente i target e aggiungendoli come feature. Tuttavia, la fedeltà della risultante distribuzione congiunta non è stata indagata. Crucialmente, poiché la distribuzione reale dei dataset del mondo reale è sconosciuta, i TFM non possono essere valutati rispetto al vero posteriore bayesiano. Ciò lascia un vuoto nella comprensione se le predizioni univariate di questi modelli possano effettivamente coesistere in una singola e ben definita distribuzione congiunta.

Metodologia
Per affrontare l'impossibilità di misurare la distanza da un vero posteriore, gli autori propongono un approccio label-free: determinare se le predizioni di un modello potrebbero essere state indotte da qualsiasi distribuzione congiunta. Una distribuzione congiunta ben definita impone vincoli matematici rigorosi sulle sue marginali e condizionali. Gli autori formalizzano due requisiti di coerenza che qualsiasi modello indotto da una valida distribuzione conunta deve soddisfare:

Coerenza di Marginalizzazione: Questo richiede che i condizionali marginalizzati siano uguali alle marginali predette direttamente. Nello specifico, se un modello predice un target $A$ direttamente, e predice anche $A$ condizionato su un secondo target $B$ (che viene poi marginalizzato utilizzando la propria predizione di $B$ ), le distribuzioni risultanti devono essere identiche. Questa è un'istanza della legge della probabilità totale e della proprietà di martingala di sistemi predittivi coerenti.
Coerenza di Fattorizzazione: Questo è un requisito più forte riguardante la distribuzione congiunta stessa. Richiede che diversi ordini di fattorizzazione autoregressiva (ad esempio, predire $A$ poi $B$ , contro predire $B$ poi $A$ ) risultino nella stessa identica distribuzione congiunta.

Gli autori dimostrano che la coerenza di fattorizzazione implica la coerenza di marginalizzazione, ma il contrario non è vero. Per valutare queste proprietà, derivano metriche basate sulla distanza di Variazione Totale (TV) tra le distribuzioni generate dal modello in queste diverse condizioni. Queste metriche funzionano senza la conoscenza della distribuzione ground-truth o del prior di pre-addestramento.

Configurazione Sperimentale
Lo studio valuta diversi TFM allo stato dell'arte (TabPFNv2/v3, TabICLv1/v2, TabDPTv1.2 e TabFM) attraverso una vasta gamma di dataset da OpenML, coprendo sia compiti di classificazione che di regressione. Per ogni dataset, vengono selezionate due colonne target che dipendono plausibilmente l'una dall'altra date le restanti feature. I modelli sono testati sotto cross-testing a 5 fold per misurare la discrepanza tra:

Predizioni marginali dirette vs. miscele marginalizzate (Coerenza di Marginalizzazione).
Distribuzioni congiunte derivate da diversi ordini di campionamento (Coerenza di Fattorizzazione).

Risultati Chiave
Gli esperimenti rivelano violazioni sistematiche e significative di entrambi i requisiti di coerenza in tutti i modelli, dataset e tipi di task valutati:

Violazione Universale: Ogni TFM valutato viola sia la coerenza di marginalizzazione che quella di fattorizzazione in ogni dataset. L'incoerenza osservata è una proprietà strutturale degli attuali TFM.
Entità della Violazione: Le violazioni non sono mera rumore di campionamento, ma rappresentano lacune strutturali dove la stima di un target da parte del modello cambia a seconda che un target intermedio venga condizionato o marginalizzato.
Confronto tra Modelli:
- Classificazione: TabFM (il modello più recente) dimostra la maggiore coerenza tra i classificatori, ottenendo la distanza TV media più bassa sulla maggior parte dei dataset. TabICLv1 è identificato come il classificatore più incoerente.
- Regressione: Nessun singolo modello emerge come il più coerente in tutti i dataset. TabDPT appare relativamente coerente per la marginalizzazione, ma è tra i più incoerenti per la fattorizzazione. TabPFNv3 è il regressore più coerente riguardo alla fattorizzazione.
Correlazione: Esiste una forte correlazione positiva tra le violazioni della coerenza di marginalizzazione e della coerenza di fattorizzazione. Tuttavia, non esiste una forte correlazione tra l'accuratezza predittiva di un modello (o l'RMSE) e la sua coerenza; i modelli ad alte prestazioni non sono necessariamente più coerenti.
Conteggio delle Feature: Contrariamente all'intuizione, tabelle più larghe (più feature) non portano necessariamente a una maggiore incoerenza; nei compiti di classificazione, i gap di coerenza erano spesso più elevati nei dataset con meno feature.

Significatività e Contributi
Il paper apporta tre contributi:

Formulazione dei Requisiti: Definisce due condizioni necessarie (coerenza di marginalizzazione e di fattorizzazione) affinché la distribuzione congiunta implicita di un TFM sia ben definita.
Metriche Label-Free: Deriva metriche per quantificare l'entità delle violazioni senza richiedere etichette ground-truth o la conoscenza del prior di pre-addestramento.
Valutazione Empirica: Applica queste metriche per dimostrare che gli attuali TFM allo stato dell'arte non producono distribuzioni congiunte coerenti.

Gli autori concludono che le predizioni univariate degli attuali TFM non derivano da alcuna singola distribuzione congiunta sulle colonne della tabella. Di conseguenza, questi modelli non possono essere affidati a compiti downstream che si basano sulla struttura di dipendenza tra i target, come la generazione di dati autoregressiva. Il paper posiziona la coerenza come un asse di valutazione distinto, separato dall'accuratezza, che è attualmente assente da benchmark come TabArena. Sebbene le condizioni siano attualmente diagnostiche, gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi sul design dei modelli — come obiettivi di addestramento che penalizzano i gap di coerenza o architetture che impongono un giunto latente condiviso — per costruire TFM che siano provabilmente coerenti.

Articoli simili