Auditing and Fixing Economic Validity in Tabular Foundation Models for Discrete Choice

기술 요약: 이산 선택을 위한 표본 기반 기초 모델의 경제적 타당성 감사 및 수정

1. 문제 제기

TabPFN 및 Mitra 와 같은 표본 기반 기초 모델 (TFMs) 은 다항 로짓 (MNL) 과 같은 전통적인 계량경제학 모델에 비해 이산 선택 과제에서 우수한 예측 정확도를 보여왔습니다. 그러나 예측 성능과 경제적 타당성 사이에는 중요한 격차가 존재합니다. TFMs 는 패턴 인식에 뛰어나지만, 정책 평가에 필요한 기본 경제 논리를 위반하는 경우가 많습니다:

• 단조성 위반: 대안의 가격 (또는 비용) 이 증가함에도 불구하고 예측된 수요 확률이 증가하는 경우가 있습니다.
• 비현실적인 지불의사액 (WTP): 유도된 시간 가치 (VOT) 추정치는 종종 음수이거나 확립된 기준치보다 수배 낮아, 여행자들이 더 길고 비싼 여행을 선호한다는 것을 시사합니다.
• 가용성 미준수: 모델이 물리적으로 이용 불가능한 대안에 대해 0 이 아닌 확률을 할당합니다.

지식 증류 (TFM 의 소프트 레이블을 기반으로 MNL 을 학습하는 것) 와 같은 표준적인 해결책은 실패합니다. 이는 MNL 의 선형 효용 구조가 TFMs 에게 정확도 우위를 제공하는 비선형 패턴을 포착하지 못하기 때문입니다. 그 결과 정확도는 손실되지만 구조적 결함은 완전히 수정되지 않는 '병목 현상'이 발생합니다.

2. 방법론: 2 단계 행동 어댑터

저자들은 경제 이론으로 제약된 효용 극대화 프레임워크 내에 TFM 예측을 내장하는 2 단계 어댑터를 제안합니다. 이 모델은 대안 $k$에 대한 효용 $V_k(x_i)$를 구조적 성분과 기초 모델 보정의 합으로 정의합니다:

$$V_k(x_i) = \underbrace{V_k^{struct}(x_i)}_{\text{경제적 구조}} + \underbrace{\alpha \log q_k(x_i) + g_k(q(x_i))}_{\text{FM 보정}}$$

여기서:

• $V_k^{struct}$는 제약된 매개변수를 가진 표준 효용 사양입니다 (예: 시간 및 비용 계수가 음수가 되도록 제약).
• $q_k(x_i)$는 TFM 에서 사전 계산된 확률입니다.
• $\alpha$는 학습된 스칼라 가중치입니다.
• $g_k$는 TFM 확률 벡터를 잔차 보정으로 매핑하는 작은 신경망입니다.

2 단계 학습 절차:
TFM 이 경제 매개변수를 왜곡하지 않도록 모델을 두 가지 명확한 단계로 학습합니다:

1. 1 단계 (구조 추정): 보정 항을 고정합니다 ($\alpha=0, g_k=0$). 원시 데이터에 대해 구조적 매개변수만 학습합니다. 이는 표준 MNL 을 적합하는 것과 동일하여, 계수가 TFM 의 영향 없이 순수한 경제 기본 요소 (시간/비용 민감도) 를 반영하도록 보장합니다.
2. 2 단계 (보정 학습): 구조적 매개변수를 고정합니다. $\alpha$와 $g_k$만 TFM 의 예측을 추가 설명 변수로 사용하여 손실을 최소화하도록 학습합니다.

경제적 보장:

• 단조성: 비용/시간 계수를 $\beta = -\exp(\theta)$로 매개화함으로써 모델은 수학적으로 $\beta < 0$을 보장합니다. 정책 교란 분석 중 TFM 보정이 고정되므로, 비용이 증가하면 항상 효용이 감소합니다.
• 분석적 VOT: 시간 가치 (VOT) 는 구조적 계수의 비율 ($\beta_{time}/\beta_{cost}$) 로 분석적으로 계산되어 수치적 미분 문제를 피합니다.
• 가용성: 이용 불가능한 대안에는 $V_k = -\infty$를 할당하여 확률을 0 으로 보장합니다.

3. 주요 기여

• 행동 감사 프레임워크: 본 논문은 단조성, VOT 타당성, 그리고 가용성 준수를 위해 TFMs 를 감사하는 프로토콜을 수립하여, 원시 TFMs 가 이러한 테스트에서 크게 실패함을 밝혔습니다 (예: 40~65% 의 음수 VOT 추정치).
• 새로운 아키텍처: 경제적 구조와 예측 정확도를 분리하는 2 단계 어댑터를 도입하여, 모델이 TFM 의 정확도 향상을 계승하면서도 경제 이론을 엄격히 준수하도록 합니다.
• 실증적 검증: 이 접근법이 구조적 타당성을 희생하지 않으면서 TFMs 와 MNL 간의 정확도 격차를 회복함을 입증했습니다.

4. 실험 결과

이 방법은 두 가지 교통 데이터셋에서 평가되었습니다: Swissmetro(명시적 선호) 및 LPMC(런던의 암시적 선호).

• Swissmetro:

  • 정확도: 어댑터 (Mitra 또는 TabPFN 사용) 는 **76.6%**의 정확도를 달성하여 표준 MNL(63.7%) 보다 13 퍼센트 포인트를 회복했고, 원시 TFM(77.7~78.0%) 과 거의 일치했습니다.
  • 타당성: 100% 단조성과 0% 가용성 누출을 달성했습니다.
  • VOT: 일관된 79.7 CHF/hr의 VOT 를 유지하여 출판된 기준치와 일치시켰으며, 반면 원시 TFMs 는 비현실적인 추정치 (예: 0.30 CHF/hr) 를 생성했습니다.

• LPMC:

  • 정확도: 어댑터는 **71.872.1%**의 정확도를 달성하여 MNL(69.8%) 보다 **2.02.3 퍼센트 포인트**의 향상을 보였습니다.
  • 타당성: 100% 단조성과 일관된 VOT(대중교통 1.76 GBP/hr, 운전 18.3 GBP/hr) 를 유지했습니다.
  • 강건성: 10 개의 하위 표본 전반에 걸쳐 어댑터는 완벽한 단조성과 함께 일관되게 양의 정확도 향상 (+2.2 ± 0.5 pp) 을 보였습니다.

5. 중요성 및 주장

본 논문은 어댑터가 경제적 일관성이 불가결한 정책 맥락에서 기초 모델을 배포하기 위한 실용적인 경로를 제공한다고 주장합니다.

• 정책 관련성: 이는 잘못된 인프라 투자 및 요금 결정으로 이어질 수 있는 역전된 가격 - 수요 관계를 가진 모델을 배포할 위험을 해결합니다.
• 일반화 가능성: 이 메커니즘은 MNL 로 제한되지 않습니다. 구조적 성분은 혼합 로짓, 중첩 로짓 또는 기타 제약된 선택 모델로 대체될 수 있으며, 2 단계 학습 절차는 여전히 적용 가능합니다.
• 적은 범위: 저자들은 현재 평가가 교통 데이터셋과 두 가지 TFM 으로 제한되어 있음을 인정하며 한계를 지적합니다. 의료와 같이 경제 이론이 덜 확립된 분야로 확장하려면 도메인별 감사 설계가 필요하다고 명시합니다. 어댑터는 TFM 의 품질이 낮을 경우 새로운 오류를 도입하기보다는 독립적인 MNL 로 우아하게 저하되도록 설계되었습니다.