Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

Sintesi Tecnica: Incorporare le Predizioni di Modelli di Fondazione Embedding in Modelli a Scelta Discreta con Garanzie Strutturali

1. Definizione del Problema

I modelli a scelta discreta sono critici per le decisioni politiche che comportano significativi interessi economici, come la valutazione del tempo nel trasporto o la stima della disponibilità a pagare (Wata - Willingness-to-Pay, WTP) nel comportamento dei consumatori. I tradizionali modelli Multinomial Logit (MNL) soddisfano il secondo requisito di questi compiti — prevedere le risposte alle interazioni — per costruzione. Essi impongono la logica economica attraverso coefficienti con segno vincolato (garantendo una domanda monotona), forniscono rapporti di scambio interpretabili (es. valore del tempo) e assegnano probabilità nulla alle alternative non disponibili. Tuttavia, i modelli MNL spesso mancano di accuratezza predittiva rispetto al moderno machine learning.

Al contrario, i moderni modelli di fondazione tabulari (es. TabPFN, Mitra) raggiungono un'accuratezza superiore ma violano le strutture economiche fondamentali. Le loro predizioni spesso esibiscono:

• Non-monotonicità: Alzare un prezzo può aumentare la domanda prevista.
• WTP Implausibile: Le stime possono essere negative o cadere al di fuori di intervalli realistici.
• Leakage di Disponibilità: Le alternative non disponibili ricevono una probabilità non nulla.

I rimedi esistenti non riescono a bilanciare questi bisogni: le reti monotonicamente vincolate architettonicamente perdono i rapporti di scambio in forma chiusa; la distillazione della conoscenza in studenti MNL non può eguagliare l'accuratezza dell'insegnante; e il fine-tuning penalizzato è incompatibile con i modelli di in-context learning che non permettono l'accesso ai gradienti dei pesi.

2. Metodologia

Gli autori propongono un adattatore comportamentale a due stadi che incorpora le probabilità di scelta predette da un modello di fondazione come una caratteristica precomputata all'interno di una funzione di utilità MNL strutturalmente vincolata.

Architettura:
Per un'osservazione $i$ e un'alternativa $k$, l'utilità $V_k(x_i)$ è definita come:
$$V_k(x_i) = \underbrace{\beta^\top \phi_k(x_i)}_{\text{Utilità Strutturale } (V^{\text{struct}}_k)} + \underbrace{g_k(q(x_i))}_{\text{Correzione del Modello di Fondazione}}$$

• $V^{\text{struct}}_k$: Utilità lineare standard con coefficienti a segno vincolato (es. $\beta_{\text{cost}} = -\exp(\theta)$).
• $q(x_i)$: Un vettore di probabilità precomputato da un singolo passaggio in avanti (forward pass) del modello di fondazione.
• $g(\cdot)$: Un piccolo MLP (Multi-Layer Perceptron) con due strati nascosti (larghezza 32) che mappa le predizioni del modello di fondazione a un termine di correzione.

Procedura di Addestramento a Due Stadi:

1. Stadio 1: La correzione $g$ è mantenuta a zero. I coefficienti strutturali $\beta$ sono adattati tramite massima verosimiglianza sotto i normali vincoli di segno MNL, ottenendo $\beta^*$.
2. Stadio 2: I coefficienti strutturali sono congelati a $\beta = \beta^*$. Solo la correzione neurale $g$ viene adattata tramite massima verosimiglianza.

Protocollo di Intervento (Fixed-q):
Per preservare le garanzie strutturali durante la valutazione, gli autori utilizzano un protocollo "fixed-$q$". Quando si perturba un attributo (es. aumentando il costo) per testare la monotonicità, l'input $x_i$ del modello di fondazione viene perturbato, ma il vettore di probabilità precomputato $q(x_i)$ è mantenuto fisso al suo valore originale. Ciò assicura che il termine di correzione $g(q)$ non reagisca alla perturbazione, isolando la risposta della componente strutturale.

3. Contributi Teorici

Il documento fornisce prove formali riguardanti la preservazione della struttura economica:

• Proposizione 1 (Preservazione del MRS): Sotto il protocollo di addestramento a due stadi e il protocollo fixed-$q$, il Saggio Marginale di Sostituzione (MRS) tra due attributi che entrano solo attraverso l'utilità strutturale è esattamente $\beta^*_j / \beta^*_{j'}$. Di conseguenza, il valore del tempo (VOT) e la WTP sono analiticamente garantiti per corrispondere alla stima MNL autonoma, indipendentemente dal modello di fondazione o dalla complessità di $g$.
• Proposizione 2 (Fallimento dell'Addestramento Congiunto): Se $\beta$ e $g$ sono addestrati congiuntamente, l'identificabilità strutturale si rompe. Se l'attributo del costo è recuperabile dalle predizioni del modello di fondazione ($q$), esiste una famiglia di soluzioni a un parametro dove il coefficiente del costo strutturale e il termine di correzione si annullano a vicenda. Ciò porta al collasso del coefficiente strutturale (es. $\beta_{\text{cost}}$) e alla perdita di rapporti di scambio interpretabili.

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset di scelta discreta (Swissmetro, LPMC, IoT-Wearables) utilizzando due modelli di fondazione (Mitra, TabPFN).

• Accuratezza: L'adattatore recupera la maggior parte del vantaggio di accuratezza del modello di fondazione. Supera il solo MNL di una media di 6,4 punti percentuali (pp) (fino a 12,8 pp) e resta al massimo a 2 pp dal modello di fondazione puro.
• Validità Comportamentale:
  • Monotonicità: L'adattatore raggiunge il 100% di monotonicità sul costo in tutti i dataset, mentre i modelli di fondazione puri falliscono significativamente (es. TabPFN su LPMC: 28,9% di monotonicità).
  • Rapporti di Scambio: L'adattatore preserva esattamente il VOT e la WTP dell'MNL. Al contrario, i modelli di fondazione puri producono valori implausibili (es. VOT negativo) e le baseline MNL con feature aumentate soffrono di "drift", producendo stime di VOT ordini di grandezza errate (es. 1509 CHF/ora rispetto a 84,4 CHF/ora).
  • Disponibilità: L'adattatore mantiene la probabilità zero per le alternative non disponibili, mentre i modelli puri presentano leakage di probabilità (fino a $2 \times 10^{-3}$).
• Valutazione Controfattuale: Sotto una perturbazione del costo del +10%, l'adattatore e l'MNL prevedono costantemente una diminuzione della quota di mercato aggregata. I modelli di fondazione puri hanno violato questa monotonicità in 6 scenari su 16, predicendo un aumento della domanda per prezzi più alti.
• Robustezza: Anche quando il contesto del modello di fondazione è limitato al 10% della sua dimensione originale, l'adattatore mantiene almeno 6 pp di guadagno di accuratezza rispetto all'MNL.

5. Significato e Rivendicazioni

Il documento sostiene di offrire una ricetta "agnostica rispetto al modello" che risolve la tensione tra accuratezza predittiva e coerenza economica nella modellazione a scelta discreta.

• Garanzie Strutturali come Scelta di Design: Gli autori sostengono che le garanzie economiche (monotonicità, WTP interpretabile) non debbano essere accidenti empirici ma proprietà matematiche dell'architettura del modello. L'adattatore a due stadi ottiene questo per costruzione.
• Efficienza: Il metodo non richiede l'accesso ai gradienti dei pesi del modello di fondazione, rendendolo compatibile con i modelli di in-context learning come TabPFN.
• Pipeline di Audit: Il lavoro introduce una pipeline di audit generalizzabile per i dataset di scelta discreta che valuta la monotonicità, i rapporti di scambio e la conformità della disponibilità senza richiedere la conoscenza degli interni del modello.

Gli autori riconoscono limitazioni, come l'elevato errore di calibrazione (ECE) sul dataset Swissmetro e la dipendenza della Proposizione 2 dalla capacità del dataset di recuperare il costo dalle predizioni del modello di fondazione. Tuttavia, concludono che l'adattatore incorpora con successo le predizioni del modello di fondazione in un'utilità strutturalmente vincolata, pagando un costo minimo in termini di accuratezza (al massimo 2 pp) per garantire la piena validità strutturale.