When Tabular Foundation Models Meet Strategic Tabular Data: A Prior Alignment Approach

Résumé Technique : Quand les modèles de fondation tabulaires rencontrent les données tabulaires stratégiques : une approche d'alignement de l'a priori

1. Énoncé du problème

Les modèles de fondation tabulaires, spécifiquement ceux basés sur les réseaux adaptés aux données a priori (PFN) comme TabPFN, ont démontré de fortes capacités de généralisation sur diverses tâches tabulaires non stratégiques grâce à l'apprentissage en contexte (ICL). Cependant, ces modèles sont généralement pré-entraînés sur des distributions où les données sont observées de manière passive, supposant que les distributions de caractéristiques restent statiques après le déploiement.

Dans de nombreux scénarios de décision réels (par exemple, l'attribution de crédits ou l'allocation de politiques), l'environnement est stratégique. Une fois qu'une règle de décision est déployée, les individus peuvent manipuler activement leurs caractéristiques observables pour obtenir des résultats favorables. Ce comportement induit un décalage de distribution post-déploiement, où les données observées au moment de l'inférence diffèrent systématiquement de la distribution d'entraînement.

L'article identifie un mode de défaillance critique : les modèles de type PFN souffrent d'un biais de prédiction systématique lorsqu'ils sont appliqués à des données stratégiques. Cela se produit parce que le méta-a priori non stratégique appris lors du pré-entraînement est mal aligné avec l'a priori stratégique post-manipulation rencontré lors du déploiement. L'analyse théorique montre que si les distributions de tâches stratégiques se situent en dehors du support de l'a priori de pré-entraînement non stratégique, un biais de prédiction irréductible est induit, entraînant une dégradation des performances à mesure que la proportion d'entrées manipulées augmente.

2. Méthodologie : Réseaux adaptés aux données a priori stratégiques (SPN)

Pour remédier à ce désalignement sans la charge de calcul liée au ré-entraînement ou au fine-tuning, les auteurs proposent les Strategic Prior-data Fitted Networks (SPN). Le SPN est un cadre d'inférence qui aligne les PFN pré-entraînés avec les environnements stratégiques en exploitant leurs capacités intrinsèques d'apprentissage en contexte.

Le mécanisme central repose sur un processus d'inférence en deux étapes :

1. Construction du contexte stratégique (Étape interne) :
   Au lieu d'utiliser des données non stratégiques brutes pour le contexte, le SPN construit un contexte tabulaire stratégique. Pour chaque exemple étiqueté observé $(x_i, y_i)$, la méthode simule la meilleure réponse de manipulation de l'agent $b_f(x_i)$ basée sur le classificateur déployé $f$. Cela crée des paires d'exemples $\{(x_i, y_i), (b_f(x_i), y_i)\}$. Ces paires sont agrégées en un ensemble de contexte stratégique $\tilde{D}$.

2. Alignement de l'a priori via l'attention (Étape externe) :
   Le PFN pré-entraîné effectue l'inférence sur une requête $x^*$ en se conditionnant sur le contexte stratégique $\tilde{D}$. Théoriquement, le mécanisme d'auto-attention de l'architecture Transformer interprète ce contexte comme une étape d'optimisation implicite. En fournissant au modèle des exemples de la manière dont les caractéristiques changent sous la manipulation stratégique, la mise à jour par attention approxime une mise à jour stratégique basée sur le gradient. Cela aligne efficacement l'état interne du modèle avec la distribution post-manipulation, réduisant le biais de prédiction causé par le décalage de l'a priori.

Pourquoi pas le fine-tuning ?
L'article compare le SPN au fine-tuning. Bien que le fine-tuning puisse adapter les modèles aux données stratégiques, il entraîne des coûts importants en temps et en données, surtout lorsque les fréquences de manipulation évoluent. Le SPN réalise l'alignement au moment de l'inférence avec un coût supplémentaire négligeable, ne nécessant aucune mise à jour de paramètres ni modification architecturale.

3. Contributions clés

• Caractérisation théorique de l'échec : Les auteurs caractérisent formellement la limite des a priori de type PFN dans les environnements stratégiques. Ils prouvent que le décalage entre l'a priori de pré-entraînement non stratégique et l'a priori de déploiement stratégique conduit à un biais de prédiction structurel inévitable, quantifié par la « masse non couverte » des distributions stratégiques en dehors du support non stratégique.
• Cadre d'inférence (SPN) : L'article introduit le SPN, un cadre conscient de la stratégie qui adapte les modèles de fondation tabulaires aux contextes stratégiques via l'alignement de l'a priori. Il construit des exemples en contexte stratégique pour approximer les entrées post-manipulation, permettant au modèle de généraliser aux données stratégiques sans ré-entraînement.
• Validation empirique : Des expériences approfondies sur des jeux de données réels (ex: Adult, Census, Spambase) et synthétiques démontrent que le SPN améliore systématiquement la robustesse et les performances prédictives sous manipulation stratégique par rapport aux méthodes tabulaires classiques (ex: XGBoost) et aux modèles de fondation tabulaires de pointe (ex: TabPFN, TabDPT).

4. Résultats expérimentaux

• Robustesse à la manipulation : À mesure que la proportion de manipulation stratégique augmente, les PFN standards et les modèles classiques présentent une dégradation significative de la précision et une augmentation des erreurs de faux positifs. En revanche, le SPN maintient des performances stables à travers diverses proportions de manipulation.
• Efficacité d'échantillonnage : La performance du SPN s'améliore avec le nombre d'exemples en contexte ($k$), montrant des gains significatifs lorsque $k$ passe de 10 à 50, seuil après lequel la performance sature. Cela indique que le SPN est efficace en termes d'échantillonnage et ne nécessite pas de tables de contexte massives.
• Généralisation : Le SPN démontre une robustesse à travers différents régimes de manipulation (coût de Mahalanobis, coût euclidien, réponses bruitées et capacités hétérogènes), même lorsque le modèle de manipulation utilisé pour construire le contexte diffère du régime de test.
• Préservation du non-stratégique : Crucialement, le SPN ne sacrifie pas les performances dans les contextes non stratégiques. Sur les benchmarks standards non stratégiques, le SPN atteint une précision comparable aux modèles de fondation pré-entraînés puissants, confirmant que la construction du contexte stratégique ne dégrade pas la généralisation en l'absence de manipulation.

5. Signification et affirmations

L'article affirme combler une lacune importante dans l'application des modèles de fondation tabulaires. Bien que les PFN aient montré des promesses pour l'apprentissage tabulaire polyvalent, leur déploiement dans des environnements stratégiques (où les agents réagissent au modèle) constituait une frontière sous-explorée et critique.

Les auteurs soutiennent que le SPN fournit une solution fondée sur des principes et à faible coût au problème du décalage de distribution stratégique. En recadrant le défi comme un problème d'alignement de l'a priori plutôt que comme un problème de capacité de modèle, le SPN permet l'utilisation de puissants modèles de fondation pré-entraînés dans des pipelines de décision à enjeux élevés (comme le scoring de crédit) où la manipulation stratégique est une réalité. L'étude souligne que bien que le SPN améliore la robustesse, il ne s'agit pas d'une solution entièrement automatisée pour l'équité ; le déploiement pratique nécessite toujours une évaluation prudente des capacités de réponse hétérogènes et des résultats potentiellement injustes, particulièrement si le modèle de manipulation est mal spécifié.