Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

Resumen Técnico: Incorporación de Predicciones de Modelos Fundacionales de Embeddings en Modelos de Elección Discreta con Garantías Estructurales

1. Planteamiento del Problema

Los modelos de elección discreta son críticos para las decisiones de política que involucran intereses económicos significativos, como la valoración del tiempo en el transporte o la estimación de la disposición a pagar (Wpt, por sus siglas en inglés) en el comportamiento del consumidor. Los modelos tradicionales de Logit Multinomial (MNL) satisfacen el segundo requisito de estas tareas —predecir respuestas ante intervenciones— por construcción. Estos imponen la lógica económica mediante coeficientes con restricciones de signo (asegurando una demanda monótona), proporcionan ratios de intercambio interpretables (por ejemplo, el valor del tiempo) y asignan probabilidad cero a las alternativas no disponibles. Sin embargo, los modelos MNL suelen carecer de precisión predictiva en comparación con el aprendizaje automático moderno.

Por el contrario, los modelos fundacionales tabulares modernos (por ejemplo, TabPFN, Mitra) logran una precisión superior, pero violan estructuras económicas fundamentales. Sus predicciones suelen exhibir:

• No monotonicidad: Aumentar un precio puede incrementar la demanda predicha.
• WTP Implausible: Las estimaciones pueden ser negativas o caer fuera de rangos realistas.
• Fugas de Disponibilidad: Las alternativas no disponibles reciben una probabilidad distinta de cero.

Los remedios existentes no logran equilibrar estas necesidades: las redes monótonas arquitectónicamente restringidas pierden los ratios de intercambio de forma cerrada; la destilación de conocimiento hacia estudiantes MNL no puede igualar la precisión del profesor; y el ajuste fino penalizado es incompatible con los modelos de aprendizaje en contexto que no permiten el acceso al gradiente de los pesos.

2. Metodología

Los autores proponen un adaptador conductual de dos etapas que incorpora las probabilidades de elección predichas por un modelo fundacional como una característica precomputada dentro de una función de utilidad MNL estructuralmente restringida.

Arquitectura:
Para una observación $i$ y una alternativa $k$, la utilidad $V_k(x_i)$ se define como:
$$V_k(x_i) = \underbrace{\beta^\top \phi_k(x_i)}_{\text{Utilidad Estructural } (V^{\text{struct}}_k)} + \underbrace{g_k(q(x_i))}_{\text{Corrección del Modelo Fundacional}}$$

• $V^{\text{struct}}_k$: Utilidad lineal estándar con coeficientes con restricción de signo (por ejemplo, $\beta_{\text{cost}} = -\exp(\theta)$).
• $q(x_i)$: Un vector de probabilidad precomputado de una única pasada hacia adelante del modelo fundacional.
• $g(\cdot)$: Un MLP (Perceptrón Multicapa) pequeño con dos capas ocultas (ancho 32) que mapea las predicciones del modelo fundacional a un término de corrección.

Procedimiento de Entrenamiento de Dos Etapas:

1. Etapa 1: El término de corrección $g$ se mantiene en cero. Los coeficientes estructurales $\beta$ se ajustan mediante máxima verosimilitud bajo las restricciones de signo estándar del MNL, obteniendo $\beta^*$.
2. Etapa 2: Los coeficientes estructurales se congelan en $\beta = \beta^*$. Solo se ajusta la corrección neuronal $g$ mediante máxima verosimilitud.

Protocolo de Intervención (Fixed-$q$):
Para preservar las garantías estructurales durante la evaluación, los autores utilizan un protocolo de "$q$ fijo". Al perturbar un atributo (por ejemplo, aumentar el costo) para probar la monotonicidad, el input $x_i$ del modelo fundacional se perturba, pero el vector de probabilidad precomputado $q(x_i)$ se mantiene fijo en su valor original. Esto asegura que el término de corrección $g(q)$ no reaccione a la perturbación, aislando la respuesta del componente estructural.

3. Contribuciones Teóricas

El artículo proporciona pruebas formales respecto a la preservación de la estructura económica:

• Proposición 1 (Preservación de la MRS): Bajo el entrenamiento de dos etapas y el protocolo de $q$ fijo, la Tasa Marginal de Sustitución (MRS) entre cualquier par de atributos que entran únicamente a través de la utilidad estructural es exactamente $\beta^*_j / \beta^*_{j'}$. En consecuencia, el valor del tiempo (VOT) y la disposición a pagar (WTP) coinciden analíticamente con la estimación independiente del MNL, independientemente del modelo fundacional o de la complejidad de $g$.
• Proposición 2 (Fallo del Entrenamiento Conjunto): Si $\beta$ y $g$ se entrenan conjuntamente, la identificabilidad estructural se rompe. Si el atributo de costo es recuperable de las predicciones del modelo fundacional ($q$), existe una familia de soluciones de un solo parámetro donde el coeficiente de costo estructural y el término de corrección se cancelan mutuamente. Esto conduce al colapso del coeficiente estructural (por ejemplo, $\beta_{\text{cost}}$) y a la pérdida de los ratios de intercambio interpretables.

4. Resultados Experimentales

El método fue evaluado en tres conjuntos de datos de elección discreta (Swissmetro, LPMC, IoT-Wearables) utilizando dos modelos fundacionales (Mitra, TabPFN).

• Precisión: El adaptador recupera la mayor parte de la ventaja de precisión del modelo fundacional. Supera al MNL independiente en un promedio de 6.4 puntos porcentuales (pp) (hasta 12.8 pp) y queda, como máximo, a 2 pp del modelo fundacional puro.
• Validez Conductual:
  • Monotonicidad: El adaptador logra una monotonicidad del 100% en el costo en todos los conjuntos de datos, mientras que los modelos fundacionales puros fallan significativamente (por ejemplo, TabPFN en LPMC: 28.9% de monotonicidad).
  • Ratios de Intercambio: El adaptador preserva exactamente el VOT y el WTP del MNL. En contraste, los modelos fundacionales puros producen valores implausibles (por ejemplo, VOT negativos) y los baselines de MNL con aumento de características sufren de "deriva", produciendo estimaciones de VOT órdenes de magnitud erróneas (por ejemplo, 1509 CHF/hr frente a 84.4 CHF/hr).
  • Disponibilidad: El adaptador mantiene la probabilidad cero para las alternativas no disponibles, mientras que los modelos puros filtran probabilidad (hasta $2 \times 10^{-3}$).
• Evaluación Contrafactual: Bajo una perturbación de costo del +10%, el adaptador y el MNL predicen consistentemente una disminución en la cuota de mercado agregada. Los modelos fundacionales puros violaron esta monotonicidad en 6 de 16 escenarios, prediciendo un aumento de la demanda para precios más altos.
• Robustez: Incluso cuando el contexto del modelo fundacional se restringe al 10% de su tamaño original, el adaptador retiene al menos 6 pp de ganancia de precisión sobre el MNL.

5. Significación y Reivindicaciones

El artículo afirma ofrecer una receta "agnóstica al modelo" que resuelve la tensión entre la precisión predictiva y la consistencia económica en el modelado de elección discreta.

• Garantías Estructurales como Opción de Diseño: Los autores argumentan que las garantías económicas (monotonicidad, WTP interpretable) no deben ser accidentes empíricos, sino propiedades matemáticas de la arquitectura del modelo. El adaptador de dos etapas logra esto por construcción.
• Eficiencia: El método no requiere acceso al gradiente de los pesos del modelo fundacional, lo que lo hace compatible con modelos de aprendizaje en contexto como TabPFN.
• Pipeline de Auditoría: El trabajo introduce un pipeline de auditoría generalizable para conjuntos de datos de elección discreta que evalúa la monotonicidad, los ratios de intercambio y el cumplimiento de disponibilidad sin necesidad de conocer los detalles internos del modelo.

Los autores reconocen limitaciones, como un elevado error de calibración (ECE) en el conjunto de datos Swissmetro y la dependencia de la Proposición 2 de la capacidad del conjunto de datos para recuperar el costo de las predicciones del modelo fundacional. Sin embargo, concluyen que el adaptador logra integrar con éxito las predicciones del modelo fundacional en una utilidad estructuralmente restringida, pagando un costo de precisión mínimo (a lo sumo 2 pp) para asegurar la plena validez estructural.