Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

기술 요약: 구조적 보증을 갖춘 이산 선택 모델 내 임베딩 기반 모델 예측

1. 문제 정의

이산 선택 모델(Discrete-choice models)은 교통 분야의 시간 가치 산정이나 소비자 행동에서의 지불 의사(WTP) 추정과 같이 경제적 이해관계가 큰 정책 결정에 필수적입니다. 전통적인 다항 로짓(Multinomial Logit, MNL) 모델은 설계상 두 번째 요구사항인 '개입에 대한 반응 예측'을 충족합니다. MNL은 부호 제약 계수(단조 수요를 보장하는)를 통해 경제적 논리를 강제하고, 해석 가능한 교환 비율(예: 시간 가치)을 제공하며, 선택 불가능한 대안에 대해 확률을 0으로 할당합니다. 그러나 MNL 모델은 현대적인 머신러 러닝에 비해 예측 정확도가 떨어지는 경우가 많습니다.

반면, 현대적인 테이블형 파운데이션 모델(예: TabPFN, Mitra)은 뛰어난 정확도를 달로 하지만, 근본적인 경제적 구조를 위반합니다. 이들의 예측은 다음과 같은 문제를 보입니다:

• 비단조성(Non-monotonicity): 가격을 인상했는데 예측 수요가 증가할 수 있음.
• 비현실적인 지불 의사(Implausible WTP): 추정치가 음수이거나 현실적인 범위를 벗어날 수 있음.
• 가용성 누출(Availability Leaks): 선택 불가능한 대안에도 0이 아닌 확률이 할당됨.

기존의 해결책들은 이러한 요구사항들 사이의 균형을 맞추는 데 실패합니다: 구조적으로 제약된 단조 네트워크는 폐쇄형(closed-form) 교환 비율을 잃고, MNL 학생 모델로의 지식 증류(knowledge distillation)는 교사 모델의 정확도를 따라잡지 못하며, 페널티를 부여한 미세 조정(penalized fine-tuning)은 가중치에 대한 그래디언트 접근을 허용하지 않는 인컨텍스트 학습(in-context learning) 기반 모델과는 호환되지 않습니다.

2. 방법론

저자들은 파운데이션 모델의 예측된 선택 확률을 구조적으로 제약된 MNL 효용 함수 내의 사전 계산된 특징량으로 임베딩하는 **2단계 행동 어댑터(two-stage behavioral adapter)**를 제안합니다.

아키텍처:
관측치 $i$와 대안 $k$에 대하여, 효용 $V_k(x_i)$는 다음과 같이 정의됩니다:
$$V_k(x_i) = \underbrace{\beta^\top \phi_k(x_i)}_{\text{구조적 효용 } (V^{\text{struct}}_k)} + \underbrace{g_k(q(x_i))}_{\text{파운데이션 모델 보정}}$$

• $V^{\text{struct}}_k$: 부호 제약 계수(예: $\beta_{\text{cost}} = -\exp(\theta)$)를 갖는 표준 선형 효용.
• $q(x_i)$: 파운데이션 모델의 단일 순전파(forward pass)를 통해 얻은 사전 계산된 확률 벡터.
• $g(\cdot)$: 파운데이션 모델의 예측을 보정 항으로 매핑하는 두 개의 은닉층(너비 32)을 가진 작은 다층 퍼셉트론(MLP).

2단계 학습 절차:

1. 1단계: 보정 항 $g$를 0으로 고정합니다. 구조적 계수 $\beta$는 표준 MNL 부호 제약 조건 하에서 최대 가능도(maximum likelihood)를 통해 $\beta^*$를 도출하도록 피팅됩니다.
2. 2단계: 구조적 계수를 $\beta = \beta^*$로 고정합니다. 오직 신경망 보정 $g$만이 최대 가능도를 통해 피팅됩니다.

개입 프로토콜 (Fixed-q):
평가 시 구조적 보증을 보존하기 위해, 저자들은 "fixed-$q$" 프로토콜을 사용합니다. 속성(예: 비용 인상)을 섭동(perturbation)시켜 단조성을 테스트할 때, 파운데이션 모델의 입력 $x_i$는 변화시키되, 사전 계산된 확률 벡터 $q(x_i)$는 원래의 값으로 고정합니다. 이는 보정 항 $g(q)$가 섭동에 반응하지 않도록 하여, 구조적 구성 요소의 반응만을 분리해내기 위함입니다.

3. 이론적 기여

본 논문은 경제적 구조의 보존에 관한 공식적인 증명을 제공합니다:

• 명제 1 (MRS 보존): 2단계 학습 및 fixed-$q$ 프로토콜 하에서, 구조적 효용을 통해서만 들어오는 두 속성 간의 한계대체율(Marginal Rate of Substitution, MRS)은 정확히 $\beta^*_j / \beta^*_{j'}$입니다. 결과적으로, 파운데이션 모델이나 $g$의 복잡도와 관계없이 시간 가치(VOT)와 지불 의사(WTP)는 단독 MNL 추정치와 수학적으로 일치함이 보장됩니다.
• 명제 2 (결합 학습의 실패): 만약 $\beta$와 $g$를 결합하여 학습한다면, 구조적 식별성(structural identifiability)이 깨집니다. 만약 비용 속성이 파운데이션 모델의 예측($q$)으로부터 회복 가능하다면, 구조적 비용 계수와 보정 항이 서로를 상쇄하는 하나의 매개변수 가족(one-parameter family) 솔루션이 존재하게 됩니다. 이는 구조적 계수(예: $\beta_{\text{cost}}$)의 붕괴와 해석 가능한 교환 비율의 상실로 이어집니다.

4. 실험 결과

본 방법론은 세 가지 이산 선택 데이터셋(Swissmetro, LPMC, IoT-Wearables)과 두 가지 파운데이션 모델(Mitra, TabPFN)을 사용하여 평가되었습니다.

• 정확도: 어댑터는 파운데이션 모델의 정확도 이점을 대부분 회복합니다. 이 모델은 단독 MNL보다 평균 6.4 퍼센트 포인트(pp) (최대 12.8 pp) 더 우수한 성능을 보였으며, 원시 파운데이션 모델보다는 최대 2 pp 이내로 뒤처졌습니다.
• 행동적 타당성:
  • 단조성: 어댑터는 모든 데이터셋에서 비용에 대해 100% 단조성을 달성한 반면, 원시 파운데이션 모델은 유의미하게 실패했습니다 (예: LPMC 데이터셋의 TabPFN은 28.9% 단조성).
  • 교환 비율: 어댑터는 MNL의 VOT와 WTP를 정확히 보존합니다. 반면, 원시 파운데션 모델은 비현실적인 값(예: 음수 VOT)을 생성하며, 특성이 추가된 MNL 베이스라인은 "드리프트(drift)" 현상으로 인해 VOT 추정치가 수 차례의 오차(예: 1509 CHF/hr vs 84.4 CHF/hr)를 보이는 등 심각한 왜곡을 겪습니다.
  • 가용성: 어댑터는 선택 불가능한 대안에 대해 0의 확률을 유지하지만, 원시 모델은 확률 누출(최대 $2 \times 10^{-3}$)이 발생합니다.
• 역사실적(Counterfactual) 평가: +10% 비용 섭동 하에서, 어댑터와 MNL은 일관되게 총 시장 점유율의 감소를 예측합니다. 원시 파운데이션 모델은 16개 시나리오 중 6개에서 단조성을 위반하여, 가격이 높아짐에도 수요가 증가할 것이라고 예측했습니다.
• 강건성: 파운데이션 모델의 컨텍스트 크기를 원래의 10%로 제한하더라도, 어댑터는 MNL 대비 최소 6 pp의 정확도 이득을 유지합니다.

5. 의의 및 주장

본 논문은 이산 선택 모델링에서 예측 정확도와 경제적 일관성 사이의 긴장을 해결하는 "모델 불가지론적(model-agnostic)" 레시피를 제공한다고 주장합니다.

• 설계로서의 구조적 보증: 저자들은 경제적 보증(단조성, 해석 가능한 WTP)이 경험적인 우연이 아니라 모델 아키텍처의 수학적 속성이 되어야 한다고 주장합니다. 2단계 어댑터는 이를 구조적으로 구현합니다.
• 효율성: 이 방법은 파운데이션 모델의 가중치에 대한 그래디언트 접근을 필요로 하지 않으므로, TabPFN과 같은 인컨텍스트 학습 모델과 호환됩니다.
• 감사 파이프라인: 본 연구는 모델 내부 구조를 알 필요 없이 단조성, 교환 비율, 가용성 준수 여부를 평가하는 일반화 가능한 이산 선택 데이터셋 감사 파이프라인을 도입합니다.

저자들은 Swissmetro 데이터셋에서의 높은 보정 오차(ECE)와 명제 2가 파운데이션 모델의 예측으로부터 비용을 회복할 수 있는 특정 데이터셋의 능력에 의존한다는 점 등의 한계를 인정합니다. 그러나 어댑터가 파운데이션 모델의 예측을 구조적으로 제약된 효용 내에 성공적으로 임베딩하였으며, 최소한의 정확도 손실(최대 2 pp)만으로 완전한 구조적 타당성을 확보했다고 결론짓습니다.