기술 요약: Tabular Foundation Model을 활용한 부트스트랩 조건부 행동 선택

문제 정의

문맥적 밴딧(Contextual bandits)은 표본 효율적인 개인화를 위한 프레임워크를 제공하지만, 실제 배포 시에는 희소하고 편향된 상호작용 데이터, 신뢰할 수 없는 불확실성 추정, 그리고 심각한 콜드 스타트(cold-start) 시나리오로 인해 어려움을 겪는다. 대규모 시스템에서는 데이터 비효율성을 피하기 위해 글로벌 정책 접근법이 표준으로 사용되지만, 보상 모델의 표현력을 희생하지 않으면서 원칙적인 탐색(exploration)을 달성하는 것은 여전히 어려운 과제이다.

고전적인 방법들은 종종 낙관주의(optimism)나 사후 샘플링(posterior sampling)을 사용하는 선형 보상 모델에 의존하며, 이는 표현력의 한계를 갖는다. 반대로, 신경망 문맥적 밴딧 방법은 복잡한 보상을 모델링할 수 있지만, 오직 밴딧 피드백만을 사용하여 태스크별 네트워크를 처음부터 학습시켜야 한다. 이들의 불확실성 추정(주로 선형화 또는 드롭아웃 기반)은 하이퍼파라미터에 민감하며 데이터가 적은 환경에서 취약하다. 한편, 표 형식 데이터(tabular data)를 위한 인컨텍스트 학습(In-Context Learning, ICL)의 최근 발전은 새로운 태스크에 단 한 번의 순방향 패스(forward pass)로 적응하여 베이지안 추론을 효과적으로 아마티제이션(amortizing)하는 강력한 예측기(예: TabPFN, TabICL)를 만들어냈다. 그러나 이러한 사전 학습된 ICL 예측기를 문맥적 밴딧의 행동 선택에 직접 활용할 수 있는지는 여전히 미해결 과제로 남아 있다.

방법론: BC-ICL

저자들은 고정된(frozen) 사전 학습된 표 형식 ICL 예측기를 온라인 의사결정을 위한 무작위 정책으로 변환하는 방법인 BC-ICL(Bootstrap-conditioned action selection using ICL)을 제안한다.

핵심 메커니즘

BC-ICL은 온라인으로 모델 파라미터를 업데이트하는 대신, 고정된 백본 모델이 보는 조건부 이력(conditioning history)을 무작위화함으로써 탐색을 유도한다. 알고리즘은 각 라운드 $t$에서 다음과 같이 작동한다:

1. 부트스트랩 리샘플링(Bootstrap Resampling): 관찰된 상호작용 이력 $D_t$로부터 부트스트랩 리샘플 $\tilde{D}_t$를 추출한다(중복 허용 추출을 통해 $|D_t|$개의 관측치를 샘플링).
2. 조건화(Conditioning): 고정된 ICL 예측기 $M$을 이 리샘플링된 데이터셋 $\tilde{D}_t$에 조건화한다.
3. 스코어링(Scoring): 모델은 현재 컨텍스트 $x_t$가 주어졌을 때 모든 후보 행동 $a \in \mathcal{A}$에 대해 점수를 매긴다.
4. 선택(Selection): 가장 높은 샘플링 점수를 가진 행동을 선택한다: $a_t \in \arg\max_a \hat{\mu}_{\tilde{D}_t}(x_t, a)$.
5. 업데이트(Update): 관찰된 보상을 이력에 추가하고 과정을 반복한다.

Arm-Context 조건화 아키텍처

고립된 암(isolated-arm) 밴딧의 실패 모드를 해결하고 통계적 강점의 공유를 촉진하기 위해, 저자들은 특정 특징 맵(feature mapping) $\Phi_{mult}(x, a)$를 도입한다:
$$\Phi_{mult}(x, a) = [x; e_a; (x^\top P) \odot e_a]$$
여기서:

• $x$는 가공되지 않은 컨텍스트(raw context)이다.
• $e_a$는 고정된 암 임베딩(arm embedding)이다.
• $P$는 공유된 투영 행렬(shared projection matrix)이다.
• $\odot$는 요소별 곱(element-wise multiplication)을 나타낸다.

이 표현식은 가공되지 않은 컨텍스트를 보존하고, 암의 정체성을 인코딩하며, 공유된 투영 컨텍스트를 통해 암-컨텍스트 간의 상호작용을 명시적으로 모델링한다. 결정적으로, 조건부 이력의 섭동(perturbations)은 이 공통 표현을 통해 전파되어 여러 암의 점수에 동시에 영향을 미치며, 이를 통해 공유된 탐색을 가능하게 한다.

주요 기여

1. 알고리즘 제안: 온라인 재학습 없이 부트스트랩 리샘플링과 고정된 ICL 예측기를 결합하여 지도 학습 모델을 탐색 가능한 의사결정 규칙으로 전환하는 BC-ICL을 제안하였다.
2. 아키텍처 혁신: 공통 투영 컨텍스트 표현을 통해 행동 간의 공유된 탐색을 용이하게 하는 곱셈적 암-컨텍스트 특징 맵을 설계하였다.
3. 실증적 검증: 엄격한 온라인 프로토콜 하에서 BC-ICL(TabPFN 또는 TabICL으로 구현됨)이 선형, 커널 기반 및 신경망 문맥적 밴딧 베이스라인들을 능가함을 포괄적인 평가를 통해 입증하였다.

실험 결과

저자들은 UCI 저장소의 데이터(Covertype, ISOLET, Letter, MNIST 포함)를 문맥적 밴딧 문제로 변환하여 BC-ICL을 평가하였다.

• 성능: BC-ICL은 대부분의 데이터셋에서 가장 낮은 누적 후회(cumulative regret)를 달성하였으며, Linear TS, LinUCB, Kernel UCB/TS, NeuralUCB, NeuralTS, BootstrapNN과 같은 확립된 베이스라인들을 실질적으로 압도하였다.
  • 예시: Mushroom 데이터셋에서 BC-ICL-TabICL은 NeuralTS의 후회(252.3) 대비 37.7의 후회를 기록했다(85% 감소).
  • 예시: ISOLET 데이터셋에서 BC-ICL은 학습 과정 내내 신경망 베이스라인보다 일관되게 낮은 후력을 유지했다.
• 탐색 메커니즘: 절제 연구(Ablation studies) 결과, ICL 모델의 내부 예측 불확실성 자체(그리디 선택 또는 예측 분포에서의 샘플링을 통해)만으로는 효과적인 순차적 의사결정에 충분하지 않음이 밝혀졌다. 부트스트랩 리샘플링 메커니즘은 까다로운 데이터셋에서 그리디 및 샘플링 베이스라인 대비 후력을 5~19% 감소시키는 것으로 나타났으며, 이는 효과적인 탐색을 위해 데이터 수준의 부트스트랩이 필수적임을 증명한다.
• 특징 인코딩: 곱셈적 암-컨텍스트 표현($\Phi_{mult}$)은 단순 원-핫 인코딩($\Phi_{one-hot}$)보다 성능이 현저히 우수하였으며, ISOLET에서 최종 후력을 30~40% 감소시켰다. 이는 암-컨텍스트 상호작용을 명시적으로 모델링하는 것의 중요성을 확인시켜 준다.
• 계산 효율성: 전체 상호작용 이력을 사용하는 것이 신경망 베이스라인(예: TabPFN의 경우 7배 더 느림)보다 느리지만, 저자들은 KNN(최근접 이웃) 또는 FIFO(슬라이드 윈도우)와 같은 컨텍스트 선택 전략을 통해 전체 이력을 사용하는 것과 유사한 후력 성능을 유지하면서도 실행 시간을 크게 줄일 수 있음을 보여주었다.

의의 및 주장

본 논문은 BC-ICL이 사전 학습된 표 형식 파운데이션 모델의 귀납적 편향(inductive biases)을 활용함으로써 문맥적 밴딧에 대한 실용적이고 효과적인 접근법을 제공한다고 주장한다. 태스크별 네트워크를 처음부터 학습할 필요를 피함으로써, 이 방법은 특히 콜드 스타트 및 저데이터 환경에서 강력한 표본 효율성을 달성한다.

저자들은 이 방법이 대상 태스크와 일치하는 사전 학습된 모델에 접근할 수 있다고 가정하며, 사전 태스크 간의 불일치가 클 경우 성능이 저하될 수 있음을 언급한다. 또한, 부트스트랩 절차가 계산 오버헤드를 발생시키지만, KNN/FIFO와 같은 컨텍스트 선택 전략을 통해 확장성을 확보할 수 있다. 이론적으로 저자들은 완만한 안정성 가정 하에 BC-ICL의 후력이 안정성 항(stability term)과 표현 항(representation term)으로 분해될 수 있다고 제안하지만, 이를 공식화하는 것은 향후 연구 과제로 남겨두었다.

이 연구는 곱셈적 암-컨텍스트 표현이 행동 간의 유용한 통계적 공유를 가능하게 하며, 사전 학습된 ICL 모델이 부트스트랩 조건화와 결려될 때 온라인 의사결정을 위한 견고하고 탐색 가능한 정책 역할을 할 수 있다는 직관을 뒷받침한다.