Auditing and Fixing Economic Validity in Tabular Foundation Models for Discrete Choice

Technische Samenvatting: Auditeren en Repareren van Economische Validiteit in Tabulaire Foundation Modellen voor Discrete Keuzes

1. Probleemstelling

Tabulaire Foundation Modellen (TFM's), zoals TabPFN en Mitra, hebben een superieure voorspellende nauwkeurigheid aangetoond voor discrete keuzetaken in vergelijking met traditionele econometrische modellen zoals het Multinomiaal Logit (MNL). Er bestaat echter een kritieke kloof tussen voorspellende prestaties en economische validiteit. Hoewel TFM's uitblinken in patroonherkenning, schenden hun voorspellingen vaak de fundamentele economische logica die vereist is voor beleidsbeoordeling:

• Monotoniteitschendingen: Het verhogen van de prijs (of kosten) van een alternatief leidt soms tot een toename van de voorspelde vraagkans.
• Onwaarschijnlijke Betaalbereidheid (WTP): Afgeleide Waarde van Tijd (VOT)-schattingen zijn frequent negatief of liggen meerdere ordes van grootte lager dan gevestigde benchmarks, wat impliceert dat reizigers langere, duurdere reizen prefereren.
• Niet-naleving van Beschikbaarheid: Modellen wijzen niet-nul kansen toe aan alternatieven die fysiek niet beschikbaar zijn.

Standaard oplossingen zoals kennisdistillatie (het trainen van een MNL op zachte labels van TFM's) falen omdat de lineaire nutstructuur van het MNL de niet-lineaire patronen die TFM's hun nauwkeurigheidsvoordeel geven, niet kan vastleggen. Dit resulteert in een "bottleneck" waarbij nauwkeurigheid verloren gaat zonder de structurele gebreken volledig te verhelpen.

2. Methodologie: De Tweestaps Gedragsadapter

De auteurs stellen een tweestapsadapter voor die TFM-voorspellingen inbedt binnen een kader van nutmaximalisatie dat beperkt is door economische theorie. Het model definieert het nut $V_k(x_i)$ voor alternatief $k$ als de som van een structureel component en een correctie van het foundation model:

$$V_k(x_i) = \underbrace{V_k^{struct}(x_i)}_{\text{Economische Structuur}} + \underbrace{\alpha \log q_k(x_i) + g_k(q(x_i))}_{\text{FM Correctie}}$$

Waarbij:

• $V_k^{struct}$ een standaard nutspecificatie is met beperkte parameters (bijvoorbeeld tijd- en kostencoëfficiënten beperkt tot negatief te zijn).
• $q_k(x_i)$ de vooraf berekende kans is uit de TFM.
• $\alpha$ een geleerde scalair gewicht is.
• $g_k$ een klein neurale netwerk is dat de TFM-kansvector afbeeldt op een residucorrectie.

De Tweestaps Trainingsprocedure:
Om te voorkomen dat de TFM de economische parameters verstoort, wordt het model in twee distincte fasen getraind:

1. Fase 1 (Structurele Schatting): De correctieterm wordt bevroren ($\alpha=0, g_k=0$). Alleen de structurele parameters worden getraind op de ruwe data. Dit komt overeen met het passen van een standaard MNL, waarbij wordt gegarandeerd dat de coëfficiënten pure economische fundamenten (tijd/kosten-gevoeligheid) weerspiegelen zonder TFM-invloed.
2. Fase 2 (Correctie Leren): De structurele parameters worden bevroren. Alleen $\alpha$ en $g_k$ worden getraind om het verlies te minimaliseren met behulp van de voorspellingen van de TFM als aanvullende verklarende variabelen.

Economische Garanties:

• Monotoniteit: Door kosten/tijd-coëfficiënten te parametriseren als $\beta = -\exp(\theta)$, garandeert het model wiskundig dat $\beta < 0$. Omdat de TFM-correctie tijdens de beleidsverstoringanalyse vaststaat, leiden hogere kosten altijd tot een afname van het nut.
• Analytische VOT: De Waarde van Tijd wordt analytisch berekend als de verhouding van structurele coëfficiënten ($\beta_{tijd}/\beta_{kosten}$), waardoor problemen met numerieke differentiatie worden vermeden.
• Beschikbaarheid: Niet-beschikbare alternatieven krijgen $V_k = -\infty$ toegewezen, waardoor een kans van nul wordt gegarandeerd.

3. Belangrijkste Bijdragen

• Gedragsauditkader: Het artikel stelt een protocol vast om TFM's te auditeren op monotoniteit, plausibiliteit van VOT en naleving van beschikbaarheid. Hieruit blijkt dat ruwe TFM's deze tests aanzienlijk falen (bijvoorbeeld 40–65% negatieve VOT-schattingen).
• Nieuwe Architectuur: De introductie van de tweestapsadapter die de economische structuur ontkoppelt van voorspellende nauwkeurigheid, waardoor het model de nauwkeurigheidswinsten van TFM's kan erven terwijl het strikt adhereert aan economische theorie.
• Empirische Validatie: Aantonen dat deze aanpak de nauwkeurigheidskloof tussen TFM's en MNL's overbrugt zonder structurele validiteit op te offeren.

4. Experimentele Resultaten

De methode werd geëvalueerd op twee vervoersdatasets: Swissmetro (uitgesproken voorkeur) en LPMC (geopenbaarde voorkeur uit Londen).

• Swissmetro:

  • Nauwkeurigheid: De adapter (met Mitra of TabPFN) behaalde 76,6% nauwkeurigheid, wat een herstel is van 13 procentpunten ten opzichte van het standaard MNL (63,7%) en bijna gelijkstaat aan de ruwe TFM (77,7–78,0%).
  • Validiteit: Behaalde 100% monotoniteit en 0% lekken in beschikbaarheid.
  • VOT: Hield een consistente VOT van 79,7 CHF/uur aan, in lijn met gepubliceerde benchmarks, terwijl ruwe TFM's onwaarschijnlijke schattingen opleverden (bijvoorbeeld 0,30 CHF/uur).

• LPMC:

  • Nauwkeurigheid: De adapter behaalde 71,8–72,1% nauwkeurigheid, een winst van 2,0–2,3 procentpunten ten opzichte van het MNL (69,8%).
  • Validiteit: Hield 100% monotoniteit en consistente VOT's aan (1,76 GBP/uur voor openbaar vervoer, 18,3 GBP/uur voor autorijden).
  • Robuustheid: Over 10 subsamples toonde de adapter consequent positieve nauwkeurigheidswinsten (+2,2 ± 0,5 pp) met perfecte monotoniteit.

5. Betekenis en Beweringen

Het artikel beweert dat de adapter een praktisch pad biedt voor het inzetten van foundation modellen in beleidscontexten waar economische consistentie niet onderhandelbaar is.

• Beleidsrelevantie: Het adresseert het risico van het inzetten van modellen met omgekeerde prijs-vraagrelaties, wat kan leiden tot misleidende investeringen in infrastructuur en beslissingen over tariefstelling.
• Generaliseerbaarheid: Het mechanisme is niet beperkt tot MNL; het structurele component kan worden vervangen door gemengd logit, genest logit of andere beperkte keuzemodellen, terwijl de tweestaps trainingsprocedure toepasbaar blijft.
• Bescheiden Scope: De auteurs erkennen beperkingen en merken op dat de evaluatie momenteel beperkt is tot vervoersdatasets en twee TFM's. Zij stellen dat uitbreiding naar domeinen met minder gevestigde economische theorie (bijvoorbeeld gezondheidszorg) domeinspecifieke auditontwerpen vereist. De adapter is ontworpen om op een elegante manier te degraderen tot het zelfstandige MNL als de kwaliteit van de TFM slecht is, in plaats van nieuwe fouten in te voeren.