📈 economics

Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

Dieses Paper schlägt einen zweistufigen Adapter vor, der Vorhersagen von Foundation Models in ein multinomiales Logit-Framework mit strukturellen Nebenbedingungen integriert, wodurch ökonomische Konsistenz (wie etwa Kostenmonotonie und eine valide Zeitwert-Konzeption) gewährleistet wird, während gleichzeitig die Vorhersagegenauigkeit signifikant verbessert und die Robustheit unter begrenztem Kontext aufrechterhalten wird.

Ursprüngliche Autoren: Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen vorherzusagen, was Menschen kaufen werden oder wie sie reisen werden. Sie haben zwei Werkzeuge für diese Aufgabe:

Der Taschenrechner des Ökonomen: Ein klassisches, regelbasiertes Modell. Es ist sehr logisch. Es weiß, dass weniger Menschen ein Busticket kaufen werden, wenn man den Preis erhöht. Es weiß, dass niemand einen Zug nehmen kann, der nicht fährt. Aber es ist etwas „dumm“, wenn es darum geht, komplexe, verborgene Muster in den Daten zu erkennen.
Die Super-Intelligente KI: Ein modernes „Foundation Model“. Sie ist unglaublich klug und kann subtile Muster erkennen, die der Taschenrechner übersieht. Sie ist jedoch etwas rücksichtslos. Manchmal sagt sie voraus, dass eine Preiserhöhung beim Busticket die Nachfrage steigert (was keinen Sinn ergibt), oder sie sagt, es gäbe eine Wahrscheinlichkeit von 5 %, dass jemand einen Zug nimmt, der gar nicht existiert.

Das Problem:
Die Super-Intelligente KI ist großartig darin, zu erraten, was passieren wird, aber sie scheitert oft daran, zu erklären, warum, auf eine Weise, die wirtschaftlich sinnvoll ist. Wenn man sie zur Preisgestaltung oder zur Planung des öffentlichen Nahverkehrs einsetzt, könnten ihre „unlogischen“ Vermutungen zu schlechten Entscheidungen führen.

Die Lösung: Der „Two-Stage Adapter“
Die Autoren dieser Arbeit haben eine kluge Brücke zwischen diesen beiden Werkzeugen gebaut. Sie nennen es einen Two-Stage Adapter. Stellen Sie sich das wie die Einstellung eines strengen, logischen Managers vor, der einem brillanten, aber chaotischen Praktikanten (der KI) zur Hilfe kommt.

So funktioniert der „Two-Stage“-Prozess:

Stufe 1: Der Manager legt die Regeln fest.
Zuerst trainieren sie den logischen Manager (das klassische Modell) mit strengen Regeln. Sie stellen sicher, dass der Manager die Grundlagen kennt: „Preis steigt, Nachfrage sinkt.“ Sie verankern diese Regeln fest. Dies garantiert, dass die Kernlogik der Vorhersage immer fundiert ist.
Stufe 2: Der Praktikant fügt die Nuancen hinzu.
Als Nächstes bringen sie die Super-Intelligente KI ins Spiel. Aber hier ist der Trick: Sie lassen die KI die Regeln nicht umschreiben. Stattdessen lassen sie die KI als eine Art „Korrekturschicht“ agieren. Die KI betrachtet die Daten und sagt: „Hey, die Basisschätzung des Managers liegt bei 60 %, aber basierend auf diesem seltsamen Muster, das ich sehe, lass uns sie auf 64 % anpassen.“
Entscheidend ist, dass die KI nur erlaubt ist, kleine Anpassungen auf Basis des soliden Fundaments des Managers vorzunehmen. Die Regeln des Managers (wie „Preis hoch = Nachfrage runter“) bleiben der Chef.

Warum das eine große Sache ist (Das „Magie“-Versprechen)
Das Papier beweist mathematisch, dass dieser Aufbau eine Superkraft besitzt: Er hält die Logik perfekt aufrecht und erzielt gleichzeitig die Genauigkeit der KI.

Die „Wert der Zeit“-Garantie: Im Verkehrswesen fragen wir oft: „Wie viel Geld ist jemand bereit zu sparen, um 10 Minuten Zeit zu gewinnen?“ Das klassische Modell berechnet dies perfekt. Die Autoren beweisen, dass selbst mit der Hilfe der KI diese Berechnung exakt gleich bleibt. Sie wird durch die wilden Vermutungen der KI nicht „kaputtgemacht“.
Keine „Geisterzüge“: Die KI könnte versehentlich vorhersagen, dass Menschen einen Zug nehmen, der nicht fährt. Der Adapter behebt dies. Da der Manager die Regeln vorgibt, garantiert der Adapter, dass die Wahrscheinlichkeit, eine nicht existierende Option zu wählen, immer Null ist.

Die Ergebnisse
Das Team testete dies an drei verschiedenen realen Datensätzen (Pendlerwahl, Londoner Fahrten und Käufe von Wearable-Geräten).

Genauigkeit: Der Adapter war signifikant genauer als das klassische Modell allein (er war etwa 6 bis 12 Prozentpunkte besser).
Logik: Er behielt eine 100-prozentige logische Konsistenz bei. Er sagte nie voraus, dass eine Preiserhöhung die Nachfrage steigert, und er gab niemals eine Wahrscheinlichkeit für nicht verfügbare Optionen an.
Robustheit: Selbst wenn die KI mit weniger Informationen gefütet wurde (sie sah also nur 10 % der üblichen Daten), schnitt der Adapter immer noch viel besser ab als das klassische Modell, was beweist, dass er nicht darauf angewiesen ist, dass die KI perfekt ist, sondern nur darauf, dass sie hilfreich ist.

Kurz gesagt
Das Paper präsentiert einen Weg, den „Verstand“ einer super-intelligenten KI zu nutzen, ohne zuzulassen, dass sie die „Regeln“ der Wirtschaft bricht. Es ist, als würde man einem brillanten, aber chaotischen Künstler einen strengen Architekten zur Seite stellen: Das fertige Gebäude ist sowohl wunderschön (genau) als auch strukturell solide (logisch).

Technisches Resümee: Einbettung von Vorhersagen von Foundation-Modellen in diskrete Entscheidungsmodelle mit strukturellen Garantien

1. Problemstellung

Diskrete Entscheidungsmodelle sind entscheidend für politische Entscheidungen mit erheblichen wirtschaftlichen Auswirkungen, wie etwa der Bewertung der Zeitwertigkeit im Verkehrswesen oder der Schätzung der Zahlungsbereitschaft (Willingness-to-Pay, WTP) im Konsumentenverhalten. Traditionelle Multinomiale Logit-Modelle (MNL) erfüllen durch Konstruktion das zweite dieser Anforderungen – die Prognose von Reaktionen auf Interventionen. Sie erzwingen ökonomische Logik durch Vorzeichenbeschränkte Koeffizienten (die eine monotone Nachfrage sicherstellen), bieten interpretierbare Austauschverhältnisse (z. B. den Wert der Zeit) und weisen nicht verfügbaren Alternativen eine Wahrscheinlichkeit von Null zu. MNL-Modelle lassen jedoch oft im Vergleich zu modernen Machine-Learning-Verfahren die Vorhersagegenauigkeit vermissen.

Im Gegensatz dazu erreichen moderne tabellarische Foundation-Modelle (z. B. TabPFN, Mitra) eine überlegene Genauigkeit, verletzen jedoch fundamentale ökonomische Strukturen. Ihre Vorhersagen weisen oft folgende Merkmale auf:

Nicht-Monotonität: Eine Erhöhung des Preises kann die vorhergesagte Nachfrage erhöhen.
Unplausible WTP: Schätzungen können negativ sein oder außerhalb realistischer Bereiche liegen.
Verfügbarkeits-Leaks (Availability Leaks): Nicht verfügbare Alternativen erhalten eine Wahrscheinlichkeit ungleich Null.

Bestehende Lösungsansätze scheitern daran, diese Bedürfnisse in Einklang zu bringen: Architektonisch beschränkte monotone Netzwerke verlieren geschlossene Austauschverhältnisse; die Destillation von Wissen in MNL-Studenten kann die Genauigkeit des Lehrers nicht erreichen; und eine penalisierte Feinabstimmung ist inkompatibel mit In-Context-Learning-Foundation-Modellen, bei denen kein Gradientenzugriff auf die Gewichte möglich ist.

2. Methodik

Die Autoren schlagen einen zweistufigen Verhaltens-Adapter vor, der die vorhergesagten Wahlwahrscheinlichkeiten eines Foundation-Modells als vorberechnetes Merkmal in eine strukturell beschränkte MNL-Nutzensfunktion einbettet.

Architektur:
Für eine Beobachtung $i$ und eine Alternative $k$ ist der Nutzen $V_k(x_i)$ definiert als:
$V_k(x_i) = \underbrace{\beta^\top \phi_k(x_i)}_{\text{Struktureller Nutzen } (V^{\text{struct}}_k)} + \underbrace{g_k(q(x_i))}_{\text{Foundation-Modell-Korrektur}}$

$V^{\text{struct}}_k$ : Standardmäßiger linearer Nutzen mit Vorzeichenbeschränkten Koeffizienten (z. B. $\beta_{\text{cost}} = -\exp(\theta)$ ).
$q(x_i)$ : Ein vorberechneter Wahrscheinlichkeitsvektor aus einem einzelnen Forward-Pass des Foundation-Modells.
$g(\cdot)$ : Ein kleines Multi-Layer-Perzeptron (MLP) mit zwei verborgenen Schichten (Breite 32), das die Vorhersagen des Foundation-Modells auf einen Korrekturterm abbildet.

Zweistufiges Trainingsverfahren:

Stufe 1: Die Korrektur $g$ wird auf Null gesetzt. Die strukturellen Koeffizienten $\beta$ werden mittels Maximum-Likelihood unter Standard-MNL-Vorzeichenbeschränkungen angepasst, wodurch $\beta^*$ resultiert.
Stufe 2: Die strukturellen Koeffizienten werden bei $\beta = \beta^*$ eingefroren. Nur die neuronale Korrektur $g$ wird mittels Maximum-Likelihood angepasst.

Interventionsprotokoll (Fixed- $q$ ):
Um die strukturellen Garantien während der Evaluierung zu bewahren, verwenden die Autoren ein „Fixed- $q$ “-Protokoll. Wenn ein Attribut (z. B. die Kostensteigerung) verändert wird, um die Monotonie zu testen, wird das Eingangsmerkmal $x_i$ des Foundation-Modells verändert, aber der vorberechnete Wahrscheinlichkeitsvektor $q(x_i)$ bleibt auf seinen ursprünglichen Wert fixiert. Dies stellt sicher, dass der Korrekturterm $g(q)$ nicht auf die Änderung reagiert, wodurch die Reaktion der strukturellen Komponente isoliert wird.

3. Theoretische Beiträge

Das Paper liefert formale Beweise hinsichtlich der Bewahrung der ökonomischen Struktur:

Proposition 1 (Bewahrung der MRS): Unter dem zweistufigen Trainingsverfahren und dem Fixed- $q$ -Protokoll ist die marginale Austauschrate (Marginal Rate of Substitution, MRS) zwischen zwei Attributen, die nur über den strukturellen Nutzen eintreten, exakt $\beta^*_j / \beta^*_{j'}$ . Folglich entsprechen der Wert der Zeit (VOT) und die WTP analytisch garantiert der eigenständigen MNL-Schätzung, unabhängig vom verwendeten Foundation-Modell oder der Komplexität von $g$ .
Proposition 2 (Versagen des gemeinsamen Trainings): Wenn $\beta$ und $g$ gemeinsam trainiert werden, bricht die strukturelle Identifizierbarkeit zusammen. Wenn das Kostenattribut aus den Vorhersagen des Foundation-Modells ( $q$ ) rekonstruierbar ist, existiert eine einparametrige Lösungsklasse, bei der sich der strukturelle Kostenkoeffizient und der Korrekturterm gegenseitig aufheben können. Dies führt zum Kollaps des strukturellen Koeffizienten (z. B. $\beta_{\text{cost}}$ ) und zum Verlust interpretierbarer Austauschverhältnisse.

4. Experimentelle Ergebnisse

Die Methode wurde auf drei diskreten Entscheidungsdatensätzen (Swissmetro, LPMC, IoT-Wearables) unter Verwendung von zwei Foundation-Modellen (Mitra, TabPFN) evaluiert.

Genauigkeit: Der Adapter stellt den Großteil des Genauigkeitsvorteils des Foundation-Modells wieder her. Er übertrifft das eigenständige MNL im Durchschnitt um 6,4 Prozentpunkte (pp) (bis zu 12,8 pp) und liegt maximal 2 pp hinter dem rohen Foundation-Modell zurück.
Verhaltensvalidität:
- Monotonie: Der Adapter erreicht eine 100%ige Monotonie bei den Kosten über alle Datensätze hinweg, während rohe Foundation-Modelle signifikant versagen (z. B. TabPFN auf LPMC: 28,9 % monoton).
- Austauschverhältnisse: Der Adapter bewahrt die VOT und WTP des MNL exakt. Im Gegensatz dazu produzieren rohe Foundation-Modelle unplausible Werte (z. B. negative VOT) und durch Merkmalserweiterung augmentierte MNL-Baselines leiden unter „Drift“ und produzieren VOT-Schätzungen, die um Größenordnungen abweichen (z. B. 1509 CHF/Std. gegenüber 84,4 CHF/Std.).
- Verfügbarkeit: Der Adapter hält die Wahrscheinlichkeit für nicht verfügbare Alternativen bei Null, während rohe Modelle Wahrscheinlichkeiten „leaken“ (bis zu $2 \times 10^{-3}$ ).
Kontrafaktische Evaluierung: Unter einer Kostenänderung von +10 % sagen der Adapter und das MNL konsistent eine Abnahme des aggregierten Marktanteils voraus. Rohe Foundation-Modelle verletzten diese Monotonie in 6 von 16 Szenarien, indem sie eine erhöhte Nachfrage bei höheren Preisen vorhersagten.
Robustheit: Selbst wenn der Kontext des Foundation-Modells auf 10 % der ursprünglichen Größe beschränkt wird, behält der Adapter einen Genauigkeitsgewinn von mindestens 6 pp gegenüber dem MNL bei.

5. Bedeutung und Ansprüche

Das Paper behauptet, ein „modellagnostisches“ Rezept anzubieten, das das Spannungsfeld zwischen Vorhersagegenauigkeit und ökonomischer Konsistenz in der diskreten Entscheidungsmodellierung löst.

Strukturelle Garantien als Designentscheidung: Die Autoren argumentieren, dass ökonomische Garantien (Monotonie, interpretierbare WTP) keine empirischen Zufälle, sondern mathematische Eigenschaften der Modellarchitektur sein sollten. Der zweistufige Adapter erreicht dies durch Konstruktion.
Effizienz: Die Methode erfordert keinen Gradientenzugriff auf die Gewichte des Foundation-Modells, was sie kompatibel mit In-Context-Learning-Modellen wie TabPFN macht.
Audit-Pipeline: Die Arbeit führt eine generalisierbare Audit-Pipeline für diskrete Entscheidungsdatensätze ein, die Monotonie, Austauschverhältnisse und die Einhaltung der Verfügbarkeit bewertet, ohne Kenntnis über die Interna des Modells zu benötigen.

Die Autoren räumen Einschränkungen ein, wie etwa eine erhöhte Kalibrierungsfehlerrate (ECE) auf dem Swissmetro-Datensatz und die Abhängigkeit von Proposition 2 von der Fähigkeit des Datensatzes, die Kosten aus den Foundation-Modell-Vorhersagen zu rekonstruieren. Sie kommen jedoch zu dem Schluss, dass der Adapter die Vorhersagen des Foundation-Modells erfolgreich in einen strukturell beschränkten Nutzen einbettet und dabei einen minimalen Genauigkeitsverlust (höchstens 2 pp) in Kauf nimmt, um die volle strukturelle Validität zu gewährleisten.