📈 economics

Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

Cet article propose un adaptateur à deux étapes qui intègre les prédictions de modèles de fondation dans un cadre de logit multinomial avec des contraintes structurelles, garantissant la cohérence économique (telle que la monotonicité des coûts et la validité de la valeur du temps) tout en améliorant considérablement la précision prédictive et en maintenant la robustesse sous un contexte limité.

Auteurs originaux : Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

Publié 2026-06-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire ce que les gens vont acheter ou comment ils vont voyager. Vous disposez de deux outils pour ce travail :

La Calculatrice de l'Économiste : Un modèle classique, basé sur des règles. Il est très logique. Il sait que si vous augmentez le prix d'un ticket de bus, moins de personnes l'achèteront. Il sait que si un train ne circule pas, personne ne peut le prendre. Mais il est un peu « limité » pour repérer les schémas complexes et cachés dans les données.
L'IA Super-Intelligente : Un modèle de fondation moderne. Elle est incroyablement intelligente et peut repérer des nuances subtiles que la Calculatrice ne voit pas. Cependant, elle est un peu imprudente. Parfois, elle prédit que l'augmentation du prix d'un ticket de bus augmentera la demande (ce qui n'a aucun sens), ou elle dit qu'il y a 5 % de chances que quelqu'un prenne un train qui n'existe pas.

Le Problème :
L'IA Super-Intelligente est excellente pour deviner ce qui va se passer, mais elle échoue souvent à expliquer pourquoi d'une manière qui fait sens économiquement. Si vous l'utilisez pour fixer les prix ou planifier les transports publics, ses prédictions « illogiques » pourraient conduire à de mauvaises décisions.

La Solution : L'« Adaptateur à Deux Étapes »
Les auteurs de cet article ont construit un pont ingénieux entre ces deux outils. Ils appellent cela un Adaptateur à Deux Étages. Imaginez que vous engagiez un gestionnaire strict et logique (l'Économiste) et que vous lui donniez un stagiaire brillant mais chaotique (l'IA) pour l'aider.

Voici comment fonctionne le processus en « deux étapes » :

Étape 1 : Le Gestionnaire fixe les règles.
D'abord, ils entraînent le gestionnaire logique (le modèle classique) en utilisant des règles strictes. Ils s'assurent que le gestionnaire connaît les bases : « Le prix monte, la demande baisse. » Ils verrouillent ces règles en place. Cela garantit que la logique fondamentale de la prédiction est toujours saine.
Étape 2 : Le Stagiaire apporte la nuance.
Ensuite, ils font appel à l'IA Super-Intelligente. Mais voici l'astuce : ils ne laissent pas l'IA réécrire les règles. Au lieu de cela, ils laissent l'IA agir comme une « couche de correction ». L'IA examine les données et dit : « Hé, l'estimation de base du gestionnaire est de 60 %, mais en me basant sur ce motif étrange que je vois, passons-la à 64 %. »
Crucialement, l'IA n'est autorisée à faire que de petits ajustements sur la base de la fondation solide du gestionnaire. Les règles du gestionnaire (comme « prix en hausse = demande en baisse ») restent le patron.

Pourquoi c'est important (La « Garantie Magique »)
L'article prouve mathématiquement que cette configuration possède un superpouvoir : elle préserve une logique parfaite tout en obtenant la précision de l'IA.

La « Garantie de la Valeur du Temps » : Dans les transports, nous demandons souvent : « Combien d'argent une personne est-elle prête à économiser pour gagner 10 minutes ? » Le modèle classique calcule cela parfaitement. Les auteurs prouvent que même avec l'aide de l'IA, ce calcul reste exactement le même que celui du modèle classique. Il n'est pas « cassé » par les prédictions folles de l'IA.
Pas de « Trains Fantômes » : L'IA pourrait accidentellement prédire que des gens prendront un train qui ne circule pas. L'Adaptateur corrige cela. Parce que le Gestionnaire est aux commandes des règles, l'Adaptateur garantit que la probabilité d'utiliser une option inexistante est toujours de zéro.

Les Résultats
L'équipe a testé cela sur trois ensembles de données du monde réel (choix de navetteurs, trajets à Londres et achats d'appareils portables/wearables).

Précision : L'Adaptateur était nettement plus précis que le modèle classique seul (obtenant environ 6 à 12 points de pourcentage de mieux).
Logique : Il a maintenu une cohérence logique de 100 %. Il n'a jamais prédit que l'augmentation des prix augmenterait la demande, et n'a jamais donné de probabilité à des options indisponibles.
Robustesse : Même si l'IA recevait moins d'informations (comme ne voir que 10 % des données habituelles), l'Adaptateur fonctionnait toujours bien mieux que le modèle classique, prouvant qu'il ne dépend pas de la perfection de l'IA, mais seulement de son aide.

En bref
L'article présente une façon d'utiliser le « cerveau » d'une IA super-intelligente sans la laisser briser les « règles » de l'économie. C'est comme donner un architecte strict à un artiste brillant mais chaotique : le bâtiment final est à la fois beau (précis) et structurellement sain (logique).

Résumé Technique : Intégration des Prédictions de Modèles de Fondations par Embeddings dans les Modèles à Choix Discrets avec Garanties Structurelles

1. Énoncé du Problème

Les modèles à choix discrets sont critiques pour les décisions politiques impliquant des enjeux économiques importants, tels que la valorisation du temps dans les transports ou l'estimation de la disposition à payer (WTP - Willingness-to-Pay) dans le comportement des consommateurs. Les modèles traditionnels de Logit Multinomial (MNL) satisfont la seconde exigence de ces tâches — la prévision des réponses aux interventions — par construction. Ils imposent une logique économique via des coefficients à signes contraints (garantissant une demande monotone), fournissent des ratios de compromis interprétables (ex: valeur du temps) et attribuent une probabilité nulle aux alternatives indisponibles. Cependant, les modèles MNL manquent souvent de précision prédictive par rapport au machine learning moderne.

Inversement, les modèles de fondation tabulaires modernes (ex: TabPFN, Mitra) atteignent une précision supérieure mais violent les structures économiques fondamentales. Leurs prédictions présentent souvent :

Non-monotonicité : Augmenter un prix peut augmenter la demande prédite.
WTP implausible : Les estimations peuvent être négatives ou hors de plages réalistes.
Fuites de disponibilité : Les alternatives indisponibles reçoivent une probabilité non nulle.

Les remèdes existants ne parviennent pas à équilibrer ces besoins : les réseaux monotones à architecture contrainte perdent les ratios de compromis en forme close ; la distillation de connaissances vers des étudiants MNL ne peut égaler la précision de l'enseignant ; et le fine-tuning pénalisé est incompatible avec les modèles de fondation par apprentissage en contexte (in-context learning) qui ne permettent pas l'accès au gradient des poids.

2. Méthodologie

Les auteurs proposent un adaptateur comportemental à deux étapes qui intègre les probabilités de choix prédites par un modèle de fondation comme une caractéristique précalculée au sein d'une fonction d'utilité MNL structurellement contrainte.

Architecture :
Pour une observation $i$ et une alternative $k$ , l'utilité $V_k(x_i)$ est définie par :
$V_k(x_i) = \underbrace{\beta^\top \phi_k(x_i)}_{\text{Utilité structurelle } (V^{\text{struct}}_k)} + \underbrace{g_k(q(x_i))}_{\text{Correction du modèle de fondation}}$

$V^{\text{struct}}_k$ : Utilité linéaire standard avec coefficients à signes contraints (ex: $\beta_{\text{coût}} = -\exp(\theta)$ ).
$q(x_i)$ : Un vecteur de probabilité précalculé issu d'une passe avant unique du modèle de fondation.
$g(\cdot)$ : Un petit perceptron multicouche (MLP) avec deux couches cachées (largeur 32) qui mappe les prédictions du modèle de fondation vers un terme de correction.

Procédure d'entraînement à deux étapes :

Étape 1 : La correction $g$ est maintenue à zéro. Les coefficients structurels $\beta$ sont ajustés via le maximum de vraisemblance sous les contraintes de signe MNL standard, produisant $\beta^*$ .
Étape 2 : Les coefficients structurels sont gelés à $\beta = \beta^*$ . Seule la correction neurale $g$ est ajustée via le maximum de vraisemblance.

Protocole d'intervention (Fixed- $q$ ) :
Pour préserver les garanties structurelles lors de l'évaluation, les auteurs utilisent un protque "fixed- $q$ ". Lorsqu'on perturbe un attribut (ex: augmenter le coût) pour tester la monotonicité, l'entrée $x_i$ du modèle de fondation est perturbée, mais le vecteur de probabilité précalculé $q(x_i)$ est maintenu fixe à sa valeur originale. Cela garantit que le terme de correction $g(q)$ ne réagit pas à la perturbation, isolant ainsi la réponse de la composante structurelle.

3. Contributions Théoriques

Le papier fournit des preuves formelles concernant la préservation de la structure économique :

Proposition 1 (Préservation du MRS) : Sous la procédure d'entraînement à deux étapes et le protocole fixed- $q$ , le Taux Marginal de Substitution (MRS) entre deux attributs n'entrant que via l'utilité structurelle est exactement $\beta^*_j / \beta^*_{j'}$ . Par conséquent, la valeur du temps (VOT) et la WTP sont analytiquement garanties de correspondre à l'estimation MNL autonome, quel que soit le modèle de fondation ou la complexité de $g$ .
Proposition 2 (Échec de l'entraînement conjoint) : Si $\beta$ et $g$ sont entraînés conjointement, l'identifiabilité structurelle se brise. Si l'attribut de coût est récupérable à partir des prédictions du modèle de fondation ( $q$ ), une famille de solutions à un paramètre existe où le coefficient de coût structurel et le terme de correction s'annulent mutuellement. Cela conduit à l'effondrement du coefficient structurel (ex: $\beta_{\text{coût}}$ ) et à la perte des ratios de compromis interprétables.

4. Résultats Expérimentaux

La méthode a été évaluée sur trois jeux de données à choix discrets (Swissmetro, LPMC, IoT-Wearables) en utilisant deux modèles de fondation (Mitra, TabPFN).

Précision : L'adaptateur récupère la majeure partie de l'avantage de précision du modèle de fondation. Il surpasse le MNL autonome d'une moyenne de 6,4 points de pourcentage (pp) (jusqu'à 12,8 pp) et suit le modèle de fondation brut de moins de 2 pp.
Validité comportementale :
- Monotonicité : L'adaptateur atteint 100 % de monotonicité sur le coût sur tous les jeux de données, alors que les modèles de fondation bruts échouent significativement (ex: TabPFN sur LPMC : 28,9 % de monotonicité).
- Ratios de compromis : L'adaptateur préserve exactement la VOT et la WTP du MNL. En revanche, les modèles de fondation bruts produisent des valeurs implausibles (ex: VOT négative) et les bases MNL augmentées par caractéristiques souffrent de "dérive", produisant des estimations de VOT décalées de plusieurs ordres de grandeur (ex: 1509 CHF/h contre 84,4 CHF/h).
- Disponibilité : L'adaptateur maintient une probabilité nulle pour les alternatives indisponibles, tandis que les modèles bruts présentent des fuites de probabilité (jusqu'à $2 \times 10^{-3}$ ).
Évaluation contrefactuelle : Sous une perturbation de coût de +10 %, l'adaptateur et le MNL prédisent systématiquement une baisse de la part de marché agrégée. Les modèles de fondation bruts ont violé cette monotonicité dans 6 scénarios sur 16, prédisant une augmentation de la demande pour des prix plus élevés.
Robustesse : Même lorsque le contexte du modèle de fondation est restreint à 10 % de sa taille originale, l'adaptateur conserve au moins 6 pp de gain de précision sur le MNL.

5. Signification et Revendications

Le papier prétend offrir une recette "indépendante du modèle" qui résout la tension entre précision prédictive et cohérence économique dans la modélisation à choix discrets.

Garanties structurelles comme choix de conception : Les auteurs soutiennent que les garanties économiques (monotonicité, WTP interprétable) ne doivent pas être des accidents empiriques mais des propriétés mathématiques de l'architecture du modèle. L'adaptateur à deux étapes atteint cela par construction.
Efficacité : La méthode ne nécessite aucun accès au gradient des poids du modèle de fondation, ce qui la rend compatible avec les modèles d'apprentissage en contexte comme TabPFN.
Pipeline d'audit : Ce travail introduit un pipeline d'audit généralisable pour les jeux de données à choix discrets qui évalue la monotonicité, les ratios de compromis et la conformité de la disponibilité sans nécessiter de connaissance des mécanismes internes du modèle.

Les auteurs reconnaissent des limites, telles qu'une erreur de calibration (ECE) élevée sur le jeu de données Swissmetro et la dépendance de la Proposition 2 à la capacité du jeu de données à récupérer le coût à partir des prédictions du modèle de fondation. Cependant, ils concluent que l'adaptateur intègre avec succès les prédictions du modèle de fondation dans une utilité structurellement contrainte, en payant un coût de précision minimal (au plus 2 pp) pour assurer une pleine validité structurelle.