Auditing and Fixing Economic Validity in Tabular Foundation Models for Discrete Choice

Resumo Técnico: Auditoria e Correção da Validade Econômica em Modelos Fundamentais Tabulares para Escolha Discreta

1. Declaração do Problema

Modelos Fundamentais Tabulares (TFMs), como TabPFN e Mitra, demonstraram precisão preditiva superior em tarefas de escolha discreta em comparação com modelos econométricos tradicionais, como o Logit Multinomial (MNL). No entanto, existe uma lacuna crítica entre o desempenho preditivo e a validade econômica. Embora os TFMs se destaquem no reconhecimento de padrões, suas previsões frequentemente violam a lógica econômica fundamental necessária para avaliação de políticas:

• Violações de Monotonicidade: O aumento do preço (ou custo) de uma alternativa às vezes aumenta sua probabilidade prevista de demanda.
• Propensão a Pagar (WTP) Implausível: As estimativas de Valor do Tempo (VOT) derivadas são frequentemente negativas ou ordens de magnitude inferiores aos benchmarks estabelecidos, implicando que os viajantes preferem viagens mais longas e mais caras.
• Não Conformidade com Disponibilidade: Modelos atribuem probabilidades não nulas a alternativas que estão fisicamente indisponíveis.

Remédios padrão, como destilação de conhecimento (treinar um MNL em rótulos suaves do TFM), falham porque a estrutura de utilidade linear do MNL não consegue capturar os padrões não lineares que conferem aos TFMs sua vantagem de precisão, resultando em um "gargalo" onde a precisão é perdida sem corrigir totalmente as falhas estruturais.

2. Metodologia: O Adaptador Comportamental de Duas Etapas

Os autores propõem um adaptador de duas etapas que incorpora as previsões do TFM dentro de um framework de maximização de utilidade restrito pela teoria econômica. O modelo define a utilidade $V_k(x_i)$ para a alternativa $k$ como a soma de um componente estrutural e uma correção do modelo fundamental:

$$V_k(x_i) = \underbrace{V_k^{struct}(x_i)}_{\text{Estrutura Econômica}} + \underbrace{\alpha \log q_k(x_i) + g_k(q(x_i))}_{\text{Correção do MF}}$$

Onde:

• $V_k^{struct}$ é uma especificação de utilidade padrão com parâmetros restritos (por exemplo, coeficientes de tempo e custo restritos a serem negativos).
• $q_k(x_i)$ é a probabilidade pré-calculada do TFM.
• $\alpha$ é um peso escalar aprendido.
• $g_k$ é uma pequena rede neural que mapeia o vetor de probabilidade do TFM para uma correção residual.

Procedimento de Treinamento em Duas Etapas:
Para evitar que o TFM distorça os parâmetros econômicos, o modelo é treinado em duas etapas distintas:

1. Etapa 1 (Estimação Estrutural): O termo de correção é congelado ($\alpha=0, g_k=0$). Apenas os parâmetros estruturais são treinados nos dados brutos. Isso equivale a ajustar um MNL padrão, garantindo que os coeficientes reflitam fundamentos econômicos puros (sensibilidade a tempo/custo) sem influência do TFM.
2. Etapa 2 (Aprendizado de Correção): Os parâmetros estruturais são congelados. Apenas $\alpha$ e $g_k$ são treinados para minimizar a perda, utilizando as previsões do TFM como variáveis explicativas adicionais.

Garantias Econômicas:

• Monotonicidade: Ao parametrizar os coeficientes de custo/tempo como $\beta = -\exp(\theta)$, o modelo garante matematicamente que $\beta < 0$. Como a correção do TFM é fixa durante a análise de perturbação de políticas, custos mais altos sempre reduzem a utilidade.
• VOT Analítico: O Valor do Tempo é computado analiticamente como a razão dos coeficientes estruturais ($\beta_{tempo}/\beta_{custo}$), evitando problemas de diferenciação numérica.
• Disponibilidade: Alternativas indisponíveis recebem $V_k = -\infty$, garantindo probabilidade zero.

3. Contribuições Principais

• Framework de Auditoria Comportamental: O artigo estabelece um protocolo para auditar TFMs quanto à monotonicidade, plausibilidade do VOT e conformidade com disponibilidade, revelando que os TFMs brutos falham significativamente nesses testes (por exemplo, 40–65% de estimativas de VOT negativas).
• Arquitetura Inovadora: A introdução do adaptador de duas etapas que desacopla a estrutura econômica da precisão preditiva, permitindo que o modelo herde os ganhos de precisão do TFM enquanto adere estritamente à teoria econômica.
• Validação Empírica: Demonstração de que esta abordagem recupera a lacuna de precisão entre TFMs e MNLs sem sacrificar a validade estrutural.

4. Resultados Experimentais

O método foi avaliado em dois conjuntos de dados de transporte: Swissmetro (preferência declarada) e LPMC (preferência revelada de Londres).

• Swissmetro:

  • Precisão: O adaptador (usando Mitra ou TabPFN) alcançou 76,6% de precisão, recuperando 13 pontos percentuais sobre o MNL padrão (63,7%) e quase igualando o TFM bruto (77,7–78,0%).
  • Validade: Alcançou 100% de monotonicidade e 0% de vazamento de disponibilidade.
  • VOT: Mantive um VOT consistente de 79,7 CHF/hora, alinhado com benchmarks publicados, enquanto os TFMs brutos produziram estimativas implausíveis (por exemplo, 0,30 CHF/hora).

• LPMC:

  • Precisão: O adaptador alcançou 71,8–72,1% de precisão, um ganho de 2,0–2,3 pontos percentuais sobre o MNL (69,8%).
  • Validade: Mantive 100% de monotonicidade e VOTs consistentes (1,76 GBP/hora para transporte público, 18,3 GBP/hora para direção).
  • Robustez: Em 10 subamostras, o adaptador mostrou consistentemente ganhos positivos de precisão (+2,2 ± 0,5 pp) com monotonicidade perfeita.

5. Significado e Alegações

O artigo afirma que o adaptador fornece um caminho prático para implantar modelos fundamentais em contextos de políticas onde a consistência econômica é inegociável.

• Relevância para Políticas: Aborda o risco de implantar modelos com relações preço-demanda invertidas, o que poderia levar a investimentos em infraestrutura equivocados e decisões de definição de tarifas.
• Generalizabilidade: O mecanismo não se limita ao MNL; o componente estrutural pode ser substituído por logit misto, logit aninhado ou outros modelos de escolha restritos, enquanto o procedimento de treinamento em duas etapas permanece aplicável.
• Escopo Moderado: Os autores reconhecem limitações, observando que a avaliação está atualmente restrita a conjuntos de dados de transporte e dois TFMs. Eles afirmam que a extensão para domínios com teoria econômica menos estabelecida (por exemplo, saúde) requer designs de auditoria específicos do domínio. O adaptador foi projetado para degradar-se graciosamente para o MNL autônomo se a qualidade do TFM for pobre, em vez de introduzir novos erros.