📈 economics

Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

Dit artikel stelt een twee-traps adapter voor die voorspellingen van fundamentele modellen integreert in een multinomiale logit-framework met structurele beperkingen, wat economische consistentie (zoals kostenmonotoniciteit en een geldige waarde van tijd) waarborgt terwijl de voorspellende nauwkeurigheid aanzienlijk wordt verbeterd en robuustheid behouden blijft bij beperkte context.

Oorspronkelijke auteurs: Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

Gepubliceerd 2026-06-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te voorspellen wat mensen zullen kopen of hoe ze zullen reizen. Je hebt twee instrumenten voor deze taak:

De Rekentool van de Econoom: Een klassiek, op regels gebaseerd model. Het is zeer logisch. Het weet dat als je de prijs van een busticket verhoogt, minder mensen het zullen kopen. Het weet dat als een trein niet rijdt, niemand hem kan nemen. Maar het is een beetje "dom" in het herkennen van complexe, verborgen patronen in de data.
De Super-Intelligente AI: Een modern "Foundation Model". Het is ongelooflijk slim en kan subtiele patronen ontdekken die de Rekentool mist. Echter, het is een beetje roekeloos. Soms voorspelt het dat het verhogen van de prijs van een busticket de vraag zal vergroten (wat geen zin maakt), of zegt het dat er een kans van 5% is dat iemand een trein neemt die niet bestaat.

Het Probleem:
De Super-Intelligente AI is erg goed in het raden wat er zal gebeuren, maar het faalt vaak in het uitleggen van waarom op een manier die economisch logisch is. Als je het gebruikt om prijzen vast te stellen of het openbaar vervoer te plannen, kunnen de "onlogische" gokken van de AI leiden tot slechte beslissingen.

De Oplossing: De "Two-Stage Adapter"
De auteurs van dit artikel hebben een slimme brug gebouwd tussen deze twee instrumenten. Ze noemen het een Two-Stage Adapter. Denk aan het inhuren van een strikte, logische manager (de Econoom) en het geven van een briljante, chaotische stagiair (de AI) om hen te helpen.

Zo werkt het "Two-Stage" proces:

Fase 1: De Manager stelt de regels vast.
Eerst trainen ze de logische manager (het klassieke model) met strikte regels. Ze zorgen ervoor dat de manager de basis kent: "Prijs gaat omhoog, vraag gaat omlaag." Ze leggen deze regels vast. Dit garandeert dat de kernlogica van de voorspelling altijd solide is.
Fase 2: De Stagiair voegt nuance toe.
Vervolgens brengen ze de Super-Intelligente AI binnen. Maar hier is de truc: ze laten de AI de regels niet herschrijven. In plaats daarvan laten ze de AI fungeren als een "correctielaag". De AI kijkt naar de data en zegt: "Hé, de basisgok van de manager is 60%, maar op basis van dit vreemde patroon dat ik zie, laten we het naar 64% bijstellen."
Cruciaal is dat de AI alleen kleine aanpassingen mag maken bovenop de solide fundering van de manager. De regels van de manager (zoals "prijs omhoog = vraag omlaag") blijven de baas.

Waarom dit een groot ding is (De "Magische" Garantie)
Het paper bewijst wiskundig dat deze opstelling een superkracht heeft: Het houdt de logica perfect terwijl het de nauwkeurigheid van de AI krijgt.

De "Waarde van Tijd" Garantie: In het transport vragen we vaak: "Hoeveel geld is iemand bereid te besparen om 10 minuten te besparen?" Het klassieke model berekent dit perfect. De auteurs bewijzen dat zelfs met de hulp van de AI, deze berekening exact hetzelfde blijft als het klassieke model. Het wordt niet "kapotgemaakt" door de wilde gokken van de AI.
Geen "Spooktreinen": De AI kan per ongeluk voorspellen dat mensen een trein zullen nemen die niet rijdt. De Adapter repareert dit. Omdat de Manager de baas is over de regels, garandeert de Adapter dat de kans op het kiezen van een niet-bestaande optie altijd nul is.

De Resultaten
Het team heeft dit getest op drie verschillende real-world datasets (keuzes van forenzen, ritten in Londen en aankopen van draagbare apparaten).

Nauwkeurigheid: De Adapter was aanzienlijk nauwkeuriger dan het klassieke model alleen (ongeveer 6 tot 12 procentpunten beter).
Logica: Het behield 100% logische consistentie. Het voorspelde nooit dat het verhogen van prijzen de vraag zou vergroten, en het gaf nooit een kans aan niet-beschikbare opties.
Robuustheid: Zelfs als de AI minder informatie kreeg (zoals het zien van slechts 10% van de gebruikelijke data), presteerde de Adapter nog steeds veel beter dan het klassieke model, wat bewijst dat het niet afhankelijk is van de AI die perfect is, maar enkel nuttig.

Kortom
Het paper presenteert een manier om de "hersenen" van een super-slimme AI te gebruiken zonder de "regels" van de economie te breken. Het is alsoals een briljante maar chaotische kunstenaar aan het werk zetten met een strikte architect: het uiteindelijke gebouw is zowel prachtig (nauwkeurig) als structureel gezond (logisch).

Technische Samenvatting: Embedding van Voorspellingen van Foundation Modellen in Discrete-Choice Modellen met Structurele Garanties

1. Probleemstelling

Discrete-choice modellen zijn cruciaal voor beleidsbeslissingen met aanzienlijke economische belangen, zoals de waardering van tijd in transport of het schatten van de bereidheid tot betalen (WTP) in consumentengedrag. Traditionele Multinomial Logit (MNL) modellen voldoen aan de tweede vereiste van deze taken—het voorspellen van reacties op interventies—door constructie. Ze handhaven economische logica door middel van coëfficiënten met een tekenrestrictie (die monotone vraag garanderen), bieden interpreteerbare ruilverhoudingen (bijv. de waarde van tijd), en kennen een kans van nul toe aan niet-beschikbare alternatieven. MNL-modellen missen echter vaak de voorspellende nauwkeurigheid vergeleken met moderne machine learning.

Daartegenover staan moderne tabulaire foundation modellen (bijv. TabPFN, Mitra) die superieure nauwkeurigheid bereiken, maar fundamentele economische structuren schenden. Hun voorspellingen vertonen vaak:

Niet-monotoniciteit: Het verhogen van een prijs kan de voorspelde vraag verhogen.
Onwaarschijnlijke WTP: Schattingen kunnen negatief zijn of buiten realistische bereiken vallen.
Beschikbaarheidslekken (Availability Leaks): Niet-beschikbare alternatieven ontvangen een niet-nul kans.

Bestaande oplossingen slagen er niet in om deze behoeften te balanceren: architecturaal beperkte monotone netwerken verliezen closed-form ruilverhoudingen; kennisdistillatie naar MNL-studenten kan de nauwkeurigheid van de docent niet evenaren; en gepenaliseerde fine-tuning is incompatibel met in-context learning foundation modellen die geen toegang hebben tot gradiënten van de gewichten.

2. Methodologie

De auteurs stellen een tweestaps gedragsadapter voor die de voorspelde keuzekansen van een foundation model inbedt als een vooraf berekende feature binnen een structureel beperkte MNL-utiliteitsfunctie.

Architectuur:
Voor een observatie $i$ en alternatief $k$ wordt de utiliteit $V_k(x_i)$ gedefinieerd als:
$V_k(x_i) = \underbrace{\beta^\top \phi_k(x_i)}_{\text{Structurele Utiliteit } (V^{\text{struct}}_k)} + \underbrace{g_k(q(x_i))}_{\text{Foundation Model Correctie}}$

$V^{\text{struct}}_k$ : Standaard lineaire utiliteit met tekenbeperkte coëfficiënten (bijv. $\beta_{\text{cost}} = -\exp(\theta)$ ).
$q(x_i)$ : Een vooraf berekende waarschijnlijkheidsvector uit een enkele forward pass van het foundation model.
$g(\cdot)$ : Een kleine Multi-Layer Perceptron (MLP) met twee verborgen lagen (breedte 32) die de voorspellingen van het foundation model naar een correctieterm mapt.

Tweestaps Trainingsprocedure:

Fase 1: De correctie $g$ wordt op nul gehouden. De structurele coëfficiënten $\beta$ worden gefit via maximum likelihood onder standaard MNL-tekenrestricties, wat $\beta^*$ oplevert.
Fase 2: De structurele coëfficiënten worden bevroren op $\beta = \beta^*$ . Alleen de neurale correctie $g$ wordt gefit via maximum likelihood.

Interventieprotocol (Fixed- $q$ ):
Om structurele garanties tijdens de evaluatie te waarborgen, gebruiken de auteurs een "fixed- $q$ " protocol. Wanneer een attribuut wordt veranderd (bijv. het verhogen van kosten) om monotoniciteit te testen, wordt de input $x_i$ van het foundation model veranderd, maar de vooraf berekende waarschijnlijkheidsvector $q(x_i)$ wordt op de oorspronkelijke waarde gehouden. Dit zorgt ervoor dat de correctieterm $g(q)$ niet reageert op de perturbatie, waardoor de respons van de structurele component wordt geïsoleerd.

3. Theoretische Bijdragen

Het artikel levert formele bewijzen met betrekking tot het behoud van economische structuur:

Propositie 1 (Behoud van MRS): Onder de tweestaps training en het fixed- $q$ protocol is de Marginale Ruilvoet (MRS) tussen twee attributen die alleen via de structurele utiliteit binnenkomen, exact $\beta^*_j / \beta^*_{j'}$ . Bijgevolg komen de waarde van tijd (VOT) en WTP analytisch gegarandeerd overeen met de standalone MNL-schatting, ongeacht het foundation model of de complexiteit van $g$ .
Propositie 2 (Falen van Gezamenlijke Training): Als $\beta$ en $g$ gezamenlijk worden getraind, breekt de structurele identificeerbaarheid. Als het kostenattribuut herstelbaar is uit de voorspellingen van het foundation model ( $q$ ), bestaat er een een-parameter familie van oplossingen waarbij de structurele kostencoëfficiënt en de correctieterm elkaar opheffen. Dit leidt tot de instorting van de structurele coëfficiënt (bijv. $\beta_{\text{cost}}$ ) en het verlies van interpreteerbare ruilverhoudingen.

4. Experimentele Resultaten

De methode werd geëvalueerd op drie discrete-choice datasets (Swissmetro, LPMC, IoT-Wearables) met behulp van twee foundation modellen (Mitra, TabPFN).

Nauwkeurigheid: De adapter herstelt het grootste deel van het nauwkeurigheidsvoordeel van het foundation model. Het presteert gemiddeld 6,4 procentpunt (pp) beter dan de standalone MNL (tot 12,8 pp) en blijft maximaal 2 pp achter bij het pure foundation model.
Gedragsvaliditeit:
- Monotoniciteit: De adapter bereikt 100% monotoniciteit op kosten over alle datasets, terwijl pure foundation modellen significant falen (bijv. TabPFN op LPMC: 28,9% monotoniciteit).
- Ruilverhoudingen: De adapter behoudt de VOT en WTP van de MNL exact. In tegen plaats produceren pure foundation modellen onwaarschijnlijke waarden (bijv. negatieve VOT) en lijden feature-augmented MNL baselines onder "drift", waarbij ze VOT-schattingen produceren die ordes van grootte afwijken (bijv. 1509 CHF/uur versus 84,4 CHF/uur).
- Beschikbaarheid: De adapter behoudt een kans van nul voor niet-beschikbare alternatieven, terwijl pure modellen kans lekken (tot $2 \times 10^{-3}$ ).
Counterfactual Evaluatie: Onder een +10% kostenperturbatie voorspelt de adapter en de MNL consistent een afname in het totale marktaandeel. Pure foundation modellen overtraden deze monotoniciteit in 6 van de 16 scenario's, waarbij ze een toename in de vraag voorspelden bij hogere prijzen.
Robuustheid: Zelfs wanneer de context van het foundation model wordt beperkt tot 10% van de oorspronkelijke grootte, behoudt de adapter ten minste 6 pp aan nauwkeurigheidsvoordeel ten opzichte van de MNL.

5. Betekenis en Claims

Het artikel beweert een "model-agnostisch" recept te bieden dat de spanning tussen voorspellende nauwkeurigheid en economische consistentie in discrete-choice modellering oplost.

Structurele Garanties als Ontwerpkeuze: De auteurs stellen dat economische garanties (monotoniciteit, interpreteerbare WTP) geen empirische toevalligheden moeten zijn, maar wiskundige eigenschappen van de modelarchitectuur. De tweestaps adapter bereikt dit door constructie.
Efficiëntie: De meth符 vereist geen toegang tot de gradiënten van de gewichten van het foundation model, wat het compatibel maakt met in-context learning modellen zoals TabPFN.
Audit Pipeline: Het werk introduceert een generaliseerbare audit pipeline voor discrete-choice datasets die monotoniciteit, ruilverhoudingen en de naleving van beschikbaarheid evalueert zonder kennis van de interne werking van het model te vereisen.

De auteurs erkennen beperkingen, zoals een verhoogde kalibratiefout (ECE) op de Swissmetro-dataset en de afhankelijkheid van Propositie 2 van het vermogen van de specifieke dataset om kosten te herleiden uit de voorspellingen van het foundation model. Ze concluderen echter dat de adapter succesvol de voorspellingen van het foundation model inbedt in een structureel beperkte utiliteit, waarbij een minimale nauwkeurigheidskost (maximaal 2 pp) wordt betaald om volledige structurele validiteit te garanderen.