Auditing and Fixing Economic Validity in Tabular Foundation Models for Discrete Choice

Resumen Técnico: Auditoría y Corrección de la Validez Económica en Modelos Fundacionales Tabulares para Elección Discreta

1. Planteamiento del Problema

Los Modelos Fundacionales Tabulares (TFM), como TabPFN y Mitra, han demostrado una precisión predictiva superior en tareas de elección discreta en comparación con los modelos econométricos tradicionales como el Logit Multinomial (MNL). Sin embargo, existe una brecha crítica entre el rendimiento predictivo y la validez económica. Aunque los TFM sobresalen en el reconocimiento de patrones, sus predicciones a menudo violan la lógica económica fundamental requerida para la evaluación de políticas:

• Violaciones de Monotonía: El aumento del precio (o costo) de una alternativa a veces incrementa su probabilidad de demanda predicha.
• Disposición a Pagar (WTP) Implausible: Las estimaciones derivadas del Valor del Tiempo (VOT) son frecuentemente negativas o de órdenes de magnitud inferiores a los puntos de referencia establecidos, lo que implica que los viajeros prefieren viajes más largos y costosos.
• Incumplimiento de Disponibilidad: Los modelos asignan probabilidades no nulas a alternativas que están físicamente indisponibles.

Los remedios estándar, como la destilación de conocimiento (entrenar un MNL sobre etiquetas suaves del TFM), fallan porque la estructura de utilidad lineal del MNL no puede capturar los patrones no lineales que otorgan a los TFM su ventaja en precisión, resultando en un "cuello de botella" donde se pierde precisión sin corregir completamente los defectos estructurales.

2. Metodología: El Adaptador Conductual de Dos Etapas

Los autores proponen un adaptador de dos etapas que incrusta las predicciones del TFM dentro de un marco de maximización de utilidad restringido por la teoría económica. El modelo define la utilidad $V_k(x_i)$ para la alternativa $k$ como la suma de un componente estructural y una corrección del modelo fundacional:

$$V_k(x_i) = \underbrace{V_k^{struct}(x_i)}_{\text{Estructura Económica}} + \underbrace{\alpha \log q_k(x_i) + g_k(q(x_i))}_{\text{Corrección del MF}}$$

Donde:

• $V_k^{struct}$ es una especificación de utilidad estándar con parámetros restringidos (por ejemplo, coeficientes de tiempo y costo restringidos a ser negativos).
• $q_k(x_i)$ es la probabilidad precalculada del TFM.
• $\alpha$ es un peso escalar aprendido.
• $g_k$ es una pequeña red neuronal que mapea el vector de probabilidades del TFM a una corrección residual.

Procedimiento de Entrenamiento de Dos Etapas:
Para evitar que el TFM distorsione los parámetros económicos, el modelo se entrena en dos etapas distintas:

1. Etapa 1 (Estimación Estructural): El término de corrección se congela ($\alpha=0, g_k=0$). Solo los parámetros estructurales se entrenan con los datos brutos. Esto equivale a ajustar un MNL estándar, asegurando que los coeficientes reflejen fundamentos económicos puros (sensibilidad al tiempo/costo) sin influencia del TFM.
2. Etapa 2 (Aprendizaje de Corrección): Los parámetros estructurales se congelan. Solo $\alpha$ y $g_k$ se entrenan para minimizar la pérdida utilizando las predicciones del TFM como variables explicativas adicionales.

Garantías Económicas:

• Monotonía: Al parametrizar los coeficientes de costo/tiempo como $\beta = -\exp(\theta)$, el modelo garantiza matemáticamente que $\beta < 0$. Dado que la corrección del TFM se mantiene fija durante el análisis de perturbación de políticas, mayores costos siempre reducen la utilidad.
• VOT Analítico: El Valor del Tiempo se calcula analíticamente como la relación de los coeficientes estructurales ($\beta_{tiempo}/\beta_{costo}$), evitando problemas de diferenciación numérica.
• Disponibilidad: A las alternativas no disponibles se les asigna $V_k = -\infty$, asegurando una probabilidad cero.

3. Contribuciones Clave

• Marco de Auditoría Conductual: El artículo establece un protocolo para auditar los TFM en cuanto a monotonía, plausibilidad del VOT y cumplimiento de disponibilidad, revelando que los TFM brutos fallan significativamente en estas pruebas (por ejemplo, 40–65% de estimaciones de VOT negativas).
• Arquitectura Novel: La introducción del adaptador de dos etapas que desacopla la estructura económica de la precisión predictiva, permitiendo que el modelo herede las ganancias de precisión del TFM mientras se adhiere estrictamente a la teoría económica.
• Validación Empírica: Demostración de que este enfoque recupera la brecha de precisión entre los TFM y los MNL sin sacrificar la validez estructural.

4. Resultados Experimentales

El método se evaluó en dos conjuntos de datos de transporte: Swissmetro (preferencia declarada) y LPMC (preferencia revelada de Londres).

• Swissmetro:

  • Precisión: El adaptador (usando Mitra o TabPFN) logró una precisión del 76.6%, recuperando 13 puntos porcentuales sobre el MNL estándar (63.7%) y igualando casi al TFM crudo (77.7–78.0%).
  • Validez: Logró 100% de monotonía y 0% de fuga de disponibilidad.
  • VOT: Mantuvo un VOT consistente de 79.7 CHF/hora, alineado con los puntos de referencia publicados, mientras que los TFM brutos produjeron estimaciones implausibles (por ejemplo, 0.30 CHF/hora).

• LPMC:

  • Precisión: El adaptador logró una precisión del 71.8–72.1%, una ganancia de 2.0–2.3 puntos porcentuales sobre el MNL (69.8%).
  • Validez: Mantuvo 100% de monotonía y VOTs consistentes (1.76 GBP/hora para transporte público, 18.3 GBP/hora para conducción).
  • Robustez: En 10 submuestras, el adaptador mostró consistentemente ganancias positivas de precisión (+2.2 ± 0.5 pp) con monotonía perfecta.

5. Significado y Afirmaciones

El artículo afirma que el adaptador proporciona una ruta práctica para desplegar modelos fundacionales en contextos de política donde la consistencia económica es innegociable.

• Relevancia Política: Aborda el riesgo de desplegar modelos con relaciones inversas precio-demanda, lo que podría conducir a inversiones en infraestructura y decisiones de fijación de tarifas erróneas.
• Generalizabilidad: El mecanismo no se limita al MNL; el componente estructural puede reemplazarse por logit mixto, logit anidado u otros modelos de elección restringidos, mientras que el procedimiento de entrenamiento de dos etapas sigue siendo aplicable.
• Alcance Modesto: Los autores reconocen limitaciones, señalando que la evaluación está actualmente restringida a conjuntos de datos de transporte y dos TFM. Indican que la extensión a dominios con teoría económica menos consolidada (por ejemplo, atención médica) requiere diseños de auditoría específicos del dominio. El adaptador está diseñado para degradarse elegantemente al MNL independiente si la calidad del TFM es pobre, en lugar de introducir nuevos errores.