Bounded Context Management for Tabular Foundation Models on Stream Learning

기술 요약: 스트림 학습을 위한 표 형식 파운데이션 모델의 유한 컨텍스트 관리

1. 문제 정의

본 논문은 제한된 메모리, 실시간 응답성, 그리고 잠재적인 분포 변화(distribution shifts)의 제약 조건 하에서 순차적으로 도착하는 예시들에 대해 지도 학습 예측을 수행해야 하는 표 형식 스트림 학습(tabular stream learning) 환경을 다룹다.

표준 스트림 학습기(예: Hoeffding Trees, Adaptive Random Forests)는 내부 모델 상태(예: 트리 통계량 또는 앙상블 멤버)를 업데이트함으로써 적응하는 반면, **표 형식 파운데이션 모델(Tabular Foundation Models, TFMs)**은 다르게 작동한다. TFM은 사전 학습된 모델로서 **인컨텍스트 학습(in-context learning)**을 통해 예측을 수행한다. 즉, 쿼리 $x_t$와 레이블이 지정된 컨텍스트 $D_t$가 주어지면, 모델 파라미터 $\theta$를 업데이트하지 않고도 사후 예측 분포 $q_\theta(\cdot | x_t, D_t)$를 출력한다.

결과적으로, TFM이 데이터 스트림에 적용될 때 적응 메커니즘은 모델 가중치를 업데이트하는 것에서 유한한 컨텍스트(bounded context) $D_t$를 관리하는 것으로 전환된다. 핵심 과제는 **유한 컨텍스트 관리(bounded context management)**로 정의된다. 즉, 새로운 데이터가 도착함에 따라 고정된 예산 $B$ 내에서 어떤 레이블이 지정된 예시를 유지할지 선택하는 온라인 정책 $U$를 설계하여, 컨텍스트가 미래의 쿼리에 대해 최대한 유용하게 유지되도록 하는 것이다.

2. 방법론: 미래 정보 관점과 CURE

저자들은 어떤 예시를 유지하거나 버릴지를 결정하기 위해 **미래 정보 관점(Future-Information View)**이라는 이론적 프레임워크를 제안한다. 이들은 컨텍스트 $D_t$의 "미래 유용성"을 근미래 쿼리의 레이블에 대해 제공하는 상호 정보량으로 정의한다. 정확한 미래 분포는 알 수 없으므로, 이들은 이 목적 함수를 세 가지 실질적인 신호로 분해한다:

1. 최신성(Recency): 최근의 예시들은 근미래의 특징 분포에 대한 대리 지표 역할을 한다.
2. 불확실성(Uncertainty): 예측 시점에 불확실했던(높은 엔트로피를 가졌던) 예시들은 레이블이 밝혀진 후 높은 정보 이득을 제공할 가능성이 높다.
3. 중복성(Redundancy): 표현 공간에서 서로 가깝고 동일한 레이블을 공유하는 예시들은 겹치는 증거를 제공한다. 하나를 제거하더라도 정보 손실은 최소화된다.

이러한 신호들을 바탕으로, 저자들은 CURE(불확실성 인지 수용 및 중복성 인지 제거를 통한 컨텍스트 관리)를 도입한다. CURE는 **이중 뱅크 구조(dual-bank architecture)**를 구현한다:

• 단기 뱅크($S_t$): 가장 최근의 레이블 지정된 예시들을 저장하는 FIFO(First-In-First-Out) 버퍼이다. 이는 컨텍스트가 항상 현재의 데이터 영역을 커버하도록 보장한다.
• 장기 뱅크($L_t$): 장기 보존을 위해 선택된 오래된 예시들을 위한 버퍼이다.

CURE의 업데이트 정책:

1. 수용(Admission): 새로운 레이블 지정 예시들이 단기 뱅크로 들어온다. 단기 뱅크가 넘치면, 가장 오래된 항목($z^+$)이 장기 뱅크의 후보가 된다.
   • 엔트로피 게이트 수용(Entropy-Gated Admission): 후보는 저장된 예측 시점의 엔트로피가 임계값 $\tau$를 초과하는 경우에만 장기 뱅크에 수용된다. 이는 장기 뱅크가 관측 당시 유익했던(불확실했던) 예시들을 보유하도록 보장한다.
2. 제거(Eviction): 장기 뱅크가 예산을 초과하면 예시를 제거해야 한다.
   • 중복성 인지 제거(Redundancy-Aware Eviction): 정책은 장기 뱅크에서 가장 많이 나타나는 클래스를 식별한다. 해당 클래스 내에서 정규화된 원시 특징 공간상에서 가장 가까운 두 예시 쌍을 찾는다. 그 후, (현재의 데이터 영역에 대한 참조 역할을 하는) 현재 단기 뱅크의 중심으로부터 더 멀리 떨어진 예시를 제거한다. 이는 현재 데이터 분포와 비교했을 때 독특한 예시들을 보존하면서 중복된 증거를 제거한다.

3. 주요 기여

• 패러다임 전환: 본 논문은 스트림 학습을 위한 TFM의 학습을 모델 상태 적응에서 컨텍스트 관리로 재정의하며, TFM의 스트림에서의 효용성이 유지되는 컨텍스트의 품질에 전적으로 달려 있음을 규명하였다.
• 이론적 프레임워크: "미래 정보 관점"을 공식화하여, 미래 쿼리에 대한 정보를 극대화하기 위한 대리 지표로서 최신성, 불확실성, 중복성을 사용하는 것에 대한 이론적 정당성을 제공하였다.
• CURE 정책: 이중 뱅크 구조 내에서 엔트로피 게이트 수용과 중복성 인지 제거를 결합한 구체적이고 효율적인 정책인 CURE를 제안하였다.
• 실증적 검증: 저자들은 여러 데이터셋과 다양한 TFM 백본에 대해 CURE가 고전적인 스트림 학습기 및 기존 컨텍스트 관리 베이스라인(예: DualFIFO)을 크게 능가함을 입증하였다.

4. 실험 결과

저자들은 4개의 TFM 백본(TabICL-v2, LimiX-v1, TabPFN-v2.5, TabDPT-v1)을 사용하여 7개의 데이터 스트림(실제 데이터 6개, 합성 데이터 1개)에 대해 CURE를 평가하였다.

• 고전적 베이스라인 대비 성능: CURE는 TabICL-v2를 사용할 때 7개 스트림 모두에서 최고의 프리퀀셜 정확도(prequential accuracy)를 달est했다. 고전적인 스트림 학습기(예: ARF, BOLE, EFDT) 대비 최대 **27.0%**의 상대적 개선을 보였다. 주목할 만한 절대적 이득으로는 RIALTO 데이터셋에서 +19.59 포인트, METER에서 +19.31 포인트를 기록했다.
• 백본 견고성: CURE는 다양한 TFM 백본에 걸친 18번의 비교 중 17번에서 DualFIFO 베이스라인보다 우수한 성능을 보였으며, 이는 컨텍스트 관리 전략이 특정 모델 아키텍처에 국한되지 않고 전이 가능하다는 것을 나타낸다.
• 어블레이션 연구(Ablation Studies): 통제된 변형 모델들(예: 엔트로피만 사용하거나 중복성만 사용하는 경우)과의 비교를 통해, CURE의 신호 결합이 가장 좋은 평균 순위를 산출함을 보여주었으며, 이는 각 구성 요소가 상호 보완적임을 시사한다.
• 효율성: CURE의 제거 로직에 따른 추가적인 계산 오버헤드는 미미하며(단계당 약 0.0024초), 실행 시간의 대부분은 여전히 TFM의 예측과 컨텍스트 피팅에 의해 지배된다.

5. 의의 및 주장

본 논문은 컨텍스트 관리가 표 형식 파운데이션 모델을 진화하는 데이터 스트림에서 효과적으로 만드는 핵심 메커니즘이라고 주장한다. 복잡한 온라인 학습이나 상태 업데이트를 요구하는 고전적인 방법들과 달리, CURE는 고정된 TFM이 단순히 컨텍스트를 큐레이션함으로써 적응할 수 있게 한다.

저자들은 CURE를 파운데이션 모델의 정적인 특성과 스트림 학습의 동적인 요구 사항 사이의 간극을 메우는 실질적인 솔루션으로 제시한다. "미래 정보 관점"을 활용함으로써, 최신성, 불확실성, 중복성을 결합한 단순한 정책이 상당한 성능 향상을 가져올 수 있음을 입증하였으며, 이를 통해 TFM이 최첨단 고전적 스트림 학습기와 경쟁하거나 종종 이를 능가할 수 있음을 보여주었다. 이 연구는 TFM의 경우, "모델"은 사실상 컨텍스트이며, 이 컨텍스트를 관리하는 것이 스트리밍 시나리오에서의 주요 최적화 문제임을 시사한다.