Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

Resumo Técnico: Incorporação de Predições de Modelos de Fundação de Embeddings em Modelos de Escolha Discreta com Garantias Estruturais

1. Definição do Problema

Modelos de escolha discreta são críticos para decisões de políticas que envolvem interesses econômicos significativos, como a valoração do tempo no transporte ou a estimativa da disposição a pagar (WTP - willingness-to-pay) no comportamento do consumidor. Os modelos tradicionais de Logit Multinomial (MNL) satisfazem o segundo requisito dessas tarefas — prever respostas a intervenções — por construção. Eles impõem lógica econômica através de coeficientes com restrição de sinal (garantindo demanda monotônica), fornecem razões de troca interpretáveis (ex: valor do tempo) e atribuem probabilidade zero a alternativas indisponíveis. No entanto, os modelos MNL frequentemente carecem de acurácia preditiva quando comparados ao aprendizado de máquina moderno.

Inversamente, os modelos de fundação tabulares modernos (ex: TabPFN, Mitra) alcançam uma acurácia superior, mas violam estruturas econômicas fundamentais. Suas predições frequentemente exibem:

• Não-monotonicidade: Aumentar um preço pode aumentar a demanda prevista.
• WTP Implausível: Estimativas podem ser negativas ou situar-se fora de intervalos realistas.
• Vazamento de Disponibilidade: Alternativas indisponíveis recebem probabilidade não nula.

Remédios existentes falham em equilibrar essas necessidades: redes monotônicas arquiteturalmente restritas perdem razões de troca de forma fechada; a destilação de conhecimento para alunos MNL não consegue igualar a acurácia do professor; e o ajuste fino penalizado é incompatível com modelos de aprendizado em contexto (in-context learning) que não permitem acesso ao gradiente dos pesos.

2. Metodologia

Os autores propõem um adaptador comportamental de dois estágios que incorpora as probabilidades de escolha previstas por um modelo de fundação como uma característica pré-computada dentro de uma função de utilidade MNL estruturalmente restrita.

Arquitetura:
Para uma observação $i$ e uma alternativa $k$, a utilidade $V_k(x_i)$ é definida como:
$$V_k(x_i) = \underbrace{\beta^\top \phi_k(x_i)}_{\text{Utilidade Estrutural } (V^{\text{struct}}_k)} + \underbrace{g_k(q(x_i))}_{\text{Correção do Modelo de Fundação}}$$

• $V^{\text{struct}}_k$: Utilidade linear padrão com coeficientes de restrição de sinal (ex: $\beta_{\text{cost}} = -\exp(\theta)$).
• $q(x_i)$: Um vetor de probabilidade pré-computado de uma única passagem direta (forward pass) do modelo de fundação.
• $g(\cdot)$: Um pequeno MLP (Multi-Layer Perceptron) com duas camadas ocultas (largura 32) que mapeia as predições do modelo de fundação para um termo de correção.

Procedimento de Treinamento de Dois Estágios:

1. Estágio 1: A correção $g$ é mantida em zero. Os coeficientes estruturais $\beta$ são ajustados via máxima verossimilhança sob restrições de sinal MNL padrão, gerando $\beta^*$.
2. Estágio 2: Os coeficientes estruturais são congelados em $\beta = \beta^*$. Apenas a correção neural $g$ é ajustada via máxima verossimilhança.

Protocolo de Intervenção (Fixed-$q$):
Para preservar as garantias estruturais durante a avaliação, os autores utilizam um protocolo "fixed-$q$". Ao perturbar um atributo (ex: aumentar o custo) para testar a monotonicidade, o input $x_i$ do modelo de fundação é perturbado, mas o vetor de probabilidade pré-computado $q(x_i)$ é mantido fixo em seu valor original. Isso garante que o termo de correção $g(q)$ não reaja à perturbação, isolando a resposta do componente estrutural.

3. Contribuições Teóricas

O artigo fornece provas formais sobre a preservação da estrutura econômica:

• Proposição 1 (Preservação da MRS): Sob o treinamento de dois estágios e o protocolo fixed-$q$, a Taxa Marginal de Substituição (MRS) entre quaisquer dois atributos que entram apenas através da utilidade estrutural é exatamente $\beta^*_j / \beta^*_{j'}$. Consequentemente, o valor do tempo (VOT) e a WTP são garantidos analiticamente para corresponder à estimativa MNL independente, independentemente do modelo de fundação ou da complexidade de $g$.
• Proposição 2 (Falha do Treinamento Conjunto): Se $\beta$ e $g$ forem treinados conjuntamente, a identificabilidade estrutural quebra. Se o atributo de custo for recuperável das predições do modelo de fundação ($q$), existe uma família de soluções de um parâmetro onde o coeficiente de custo estrutural e o termo de correção se cancelam mutuamente. Isso leva ao colapso do coeficiente estrutural (ex: $\beta_{\text{cost}}$) e à perda de razões de troca interpretáveis.

4. Resultados Experimentais

O método foi avaliado em três conjuntos de dados de escolha discreta (Swissmetro, LPMC, IoT-Wearables) usando dois modelos de fundação (Mitra, TabPFN).

• Acurácia: O adaptador recupera a maior parte da vantagem de acurácia do modelo de fundação. Ele supera o MNL isolado em uma média de 6,4 pontos percentuais (pp) (até 12,8 pp) e fica atrás do modelo de fundação bruto por no máximo 2 pp.
• Validade Comportamental:
  • Monotonicidade: O adaptador alcança 100% de monotonicidade no custo em todos os conjuntos de dados, enquanto os modelos de fundação brutos falham significativamente (ex: TabPFN no LPMC: 28,9% de monotonicidade).
  • Razões de Troca: O adaptador preserva exatamente o VOT e a WTP do MNL. Em contraste, os modelos de fundação brutos produzem valores implausíveis (ex: VOT negativo) e as linhas de base de MNL aumentadas por características sofrem de "deriva" (drift), produzindo estimativas de VOT ordens de magnitude fora do esperado (ex: 1509 CHF/hr vs. 84,4 CHF/hr).
  • Disponibilidade: O adaptador mantém probabilidade zero para alternativas indisponíveis, enquanto os modelos brutos apresentam vazamento de probabilidade (até $2 \times 10^{-3}$).
• Avaliação Contrafactual: Sob uma perturbação de custo de +10%, o adaptador e o MNL consistentemente preveem uma diminuição na participação de mercado agregada. Os modelos de fundação brutos violaram essa monotonicidade em 6 de 16 cenários, prevendo aumento de demanda para preços mais altos.
• Robustez: Mesmo quando o contexto do modelo de fundação é restrito a 10% do tamanho original, o adaptador retém pelo menos 6 pp de ganho de acurácia sobre o MNL.

5. Significância e Alegações

O artigo afirma oferecer uma receita "agnóstica ao modelo" que resolve a tensão entre acurácia preditiva e consistência econômica em modelagem de escolha discreta.

• Garantias Estruturais como Escolha de Design: Os autores argumentam que as garantias econômicas (monotonicidade, WTP interpretável) não devem ser acidentes empíricos, mas propriedades matemáticas da arquitetura do modelo. O adaptador de dois estágios alcança isso por construção.
• Eficiência: O método não requer acesso ao gradiente dos pesos do modelo de fundação, tornando-o compatível com modelos de aprendizado em contexto como o TabPFN.
• Pipeline de Auditoria: O trabalho introduz um pipeline de auditoria generalizável para conjuntos de dados de escolha discreta que avalia monotonicidade, razões de troca e conformidade de disponibilidade sem exigir conhecimento dos detalhes internos do modelo.

Os autores reconhecem limitações, como o erro de calibação elevado (ECE) no conjunto de dados Swissmetro e a dependência da Proposição 2 da capacidade do conjunto de dados de recuperar o custo das predições do modelo de fundação. No entanto, concluem que o adaptador incorpora com sucesso as predições do modelo de fundação em uma utilidade estruturalmente restrita, pagando um custo mínimo de acurácia (no máximo 2 pp) para garantir total validade estrutural.