Statistically Indistinguishable, Operationally Distinct: A Formal Barrier for Tabular Foundation Models

Résumé Technique : Statistiquement Indistinguables, Opérationnellement Distincts

Énoncé du Problème
Le papier traite d'une limitation fondamentale des modèles de fondation tabulaires : leur incapacité à raisonner sur des données produites par des systèmes d'entreprise en cours d'exécution sans avoir accès aux règles opérationnelles régissant ces données. Bien que ces modèles excellent sur des tables uniques et auto-contenues, les tables de production sont des projections de systèmes complexes où le code applicatif écrit des lignes, des contraintes déclaratives restreignent les valeurs et des déclencheurs procéduraux imposent des transitions. Par conséquent, les données d'entraînement disponibles pour les modèles manquent souvent de la logique opérationnelle (règles, déclencheurs, code) qui a généré les valeurs. Les auteurs postulent que sans accès à cet « ancrage opérationnel », les modèles font face à une barrière formelle où les états de base de données légaux et illégaux sont statistiquement indistinguables sur la seule base des distributions de valeurs.

Méthodologie : Le Test de Turing Opérationnel (OTT)
Pour rendre cette barrière falsifiable, les auteurs construisent le Test de Turing Opérationnel (OTT), une tâche de classification binaire distinguant les états de base de données « légaux » des états « violant les règles ».

• Construction : Le test utilise un schéma de commande-à-encaissement à trois tables (clients, commandes, articles de commande). Il génère des paires d'états où l'état « illégal » viole une règle spécifique tout en préservant les marginales des valeurs de colonnes à 1-voie et 2-voies à une distance de variation totale (TV) de $\tau < 0,02$.
• Types de Corruption : Quatre familles de règles opérationnelles sont testées :
  1. Cohérence de la Valeur Relationnelle : Rupture des contraintes de clé étrangère (ex: remplacement d'IDs par des valeurs inconnues).
  2. Cohérence de la Cardinalité : Violation des limites agrégées (ex: nombre d'articles par commande) tout en préservant les valeurs individuelles des lignes.
  3. Logique de Transformation de Valeur : Violation de formules procédurales (ex: $total = \sum articles\_de\_ligne \times (1 + taxe)$) en ajoutant des décalages qui s'annulent à travers la colonne, laissant l'histogramme inchangé.
  4. Transitions d'État de Valeur : Violation des règles de transition d'état (ex: en attente $\to$ expédié) tout en préservant la distribution marginale des valeurs de statut.
• Limite Théorique : Les auteurs invoquent le lemme de Le Cam pour établir une borne inférieure théorique sur l'erreur de Bayes pour tout classificateur « uniquement basé sur les valeurs » (restreint aux marginales de valeurs de colonnes). Si la distance TV entre les distributions légales et illégales est $\le \tau$, l'erreur est bornée par $\frac{1}{2} - \frac{\tau}{2}$. Avec $\tau < 0,02$, l'erreur minimale est $\ge 0,49$, ce qui signifie que la précision ne peut excéder $\approx 0,50$ (le hasard).

Configuration Expérimentale
L'étude évalue les modèles à travers une « échelle d'accès » pour déterminer quelle information est requise pour franchir la barrière :

1. Baselines Uniquement sur les Valeurs : Modèles alimentés uniquement par un résumé à 35 dimensions des statistiques de colonnes (moyenne, écart-type, quartiles, etc.). Les architectures incluent XGBoost, TabICL et TabPFN.
2. Accès au Niveau de la Ligne : Modèles recevant les données brutes des lignes sans contexte de règle.
3. Accès Relationnel : Modèles recevant des caractéristiques incluant les jointures, la couverture des clés étrangères et les comptes de groupe.
4. Ancrage Opérationnel : Modèles augmentés par les sorties scalaires de sept audits dérivés de règles exécutables (ex: re-calculer les totaux à partir des articles pour vérifier la cohérence).
5. LLM de Pointe : Grands modèles de langage (GPT-5.5, Kimi-K2.6) fournis avec le schéma complet, le code source des déclencheurs, les tables de règles et les fichiers d'état dans le prompt, testés avec et sans capacités d'exécution SQL.

Résultats Clés

• Échec des Modèles Uniquement sur les Valeurs : Toutes les baselines uniquement sur les valeurs (XGBoost, TabICL, TabPFN) ont atteint une précision statistiquement équivalente au hasard ($\approx 0,50$). Des tests TOST (Two One-Sided Tests) pré-enregistrés ont confirmé qu'ils échouaient à distinguer les états légaux des états illégaux ($p < 0,002$). Cela est vrai même avec une augmentation des données d'entraînement (jusqu'à 5 000 paires) et un accès brut au niveau de la ligne.
• Insuffisance Relationnelle : Les modèles relationnels (HistGB, RDB-PFN) se sont nettement améliorés, atteignant une précision de 0,89. Ils ont réussi à détecter les ruptures de clés étrangères, les violations de cardinalité et les erreurs de transition d'état. Cependant, ils ont totalement échoué sur la logique de transformation de valeur (rappel $\le 0,02$), car la connectivité seule ne peut reconstruire des formules exécutables comme les calculs de taxes ou de remises.
• Succès de l'Ancrage Opérationnel : Un classificateur augmenté par les sept audits dérivés de règles exécutables a atteint une précision de 1,00, comblant entièrement l'écart. Cela confirme que la barrière n'est pas un manque de capacité du modèle, mais un manque d'accès à la logique exécutable.
• Limites des LLM : Les LLM de pointe fournis avec l'intégralité des artefacts sources (schéma, code, règles) dans le prompt ont échoué au test. GPT-5.5 a classifié 0/50 états légaux comme LÉGAUX, et Kimi-K2.6 n'en a classifié que 2/50. Même avec un effort de raisonnement élevé et l'exécution SQL, les LLM n'ont pas pu compiler de manière fiable les artefacts sources en vérifications de légalité déterministes, commettant souvent des erreurs sur les prédicats ou omettant les vérifications de transformation.

Signification et Revendications
Le papier affirme que l'incapacité des modèles de fondation tabulaires à raisonner sur des données générées par des systèmes sans les règles opérationnelles est un problème d'identifiabilité, et non un problème de capacité.

• Barrière Formelle : Les auteurs établissent que là où les marginales statistiques sont appariées avec un haut degré de précision, aucun modèle dépourvu d'accès aux règles directrices ne peut faire mieux que le hasard.
• Indépendance : Cette barrière est indépendante de l'architecture du modèle, de son échelle ou de la richesse des caractéristiques. Les lois d'échelle (scaling laws) ne peuvent surmonter l'absence d'ancrage opérationnel.
• Implication pour le Progrès : Les auteurs soutiennent que le progrès des modèles de fondation tabulaires nécessite de traiter les règles déclaratives et procédurales comme des entrées de premier rang — une logique que le modèle peut évaluer — plutôt que comme de simples textes récupérés. Les benchmarks actuels (comme TabArena) ignorent ce mode de défaillance ; seuls les benchmarks opérationnels testant l'« échelle d'accès » révèlent les véritables limitations des modèles actuels.

Le papier conclut que pour les données produites par des systèmes en cours d'exécution, la vérification opérationnelle (savoir quelle règle doit être évaluée) est un prérequis à la confiance, et que les modèles de fondation actuels, même avec un contexte complet, manquent du mécanisme pour réaliser de manière fiable cette vérification sans une dérivation explicite et exécutable des règles.