기술 요약: 레이블이 없는 데이터가 인컨텍스트 러닝을 입증 가능한 방식으로 개선하는 시점과 방법

문제 정의

본 논문은 트랜스포머(Transformer)가 **준지도 인컨텍스트 러닝(Semi-Supervised In-Context Learning, SS-ICL)**을 수행하는 능력을 조사한다. 구체적으로, 모델이 특징-레이블 쌍 $(x_i, y_i)$를 포함하는 데이터셋으로 프롬프트되어 있지만, 레이블의 일부가 누락된(0으로 설정된) 시나리오를 다룬다. 목표는 모델 파라미터를 업데이트하지 않고 오직 제공된 컨텍스트만을 사용하여 쿼리 특징 $x$의 레이블을 예측하는 것이다.

저자들은 데몬스트레이션(demonstrations)이 **이진 가우시안 혼합 모델(Binary Gaussian Mixture Model, GMM)**에서 추출되는 정형화된 설정을 중심으로 연구한다. 이 설정에서 $x_i \sim \mathcal{N}(\mu y_i, \sigma^2 I)$이며, 태스크 평균 $\mu$는 사전 분포(prior distribution)로부터 샘플링된다. 핵심 질문은 다음과 같다: 트랜스포머는 언제, 그리고 어떻게 레이블이 없는 데이터로부터 인컨텍스트 학습을 할 수 있는가?

방법론

본 연구는 SS-ICL 환경에서 어텐션 메커니즘의 최적화 지형(optimization landscape)과 표현력(expressivity)을 분석하기 위해 엄격한 이론적 프레임워크를 채택한다.

1. 데이터 모델: 입력 프롬프트는 $m$개의 레이블이 관찰되고($y_i \in \{-1, 1\}$) $n-m$개가 누락된($y_i = 0$) $n$개의 데몬스트레이션으로 구성된다. 쿼리 $x$와 실제 레이블 $y$ 역시 유사하게 생성된다.
2. 모델 아키텍처: 저자들은 $att(Z; W) = (ZW_q W_k^\top Z^\top) M Z W_v$ 메커니즘으로 정의되는 선형 어텐션(linear attention) 모델을 분석한다. 단일 레이어와 다층(또는 루프형) 변형 모델을 모두 연구한다.
3. 이론적 접근:
   • 단일 레이어 분석: 저자들은 제곱 손실(squared loss)로 훈련된 단일 레이어 선형 어텐션 모델의 손실 지형의 전역 최솟값을 규명한다.
   • 다층 분석: 더 깊은 네트워크(또는 루프형 단일 네트워크)가 어떻게 복잡한 추정기를 구축할 수 있는지 조사한다. 이들은 추정기의 형태를 경험적 공분산 행렬 $X^\top X$의 다항식으로 유도한다.
   • 고전적 알고리즘과의 연결: 본 논문은 학습된 어텐션 메커니즘과 고전적인 준지도 알고리즘, 특히 기댓값 최대화(Expectation-Maximization, EM) 및 신념 전파(Belief Propagation) 사이의 연결 고리를 도출한다.

주요 기여

1. 단일 레이어 선형 어텐션의 한계

본 논문은 단일 레이어 선형 어텐션 모델이 레이블이 없는 데이터를 활용하는 데 실패함을 증명한다. 이는 데이터가 특징 분포에 대한 정보를 포함하고 있음에도 그러하다.

• 정리 1 (Theorem 1): 등방성(isotropic) 태스크 사전 분포 하에서, 최적의 단일 레이어 선형 어텐션 모델은 지도 플러그인(Supervised Plug-in, SPI) 추정치 $\hat{\mu}_s = \frac{1}{|I|} \sum_{i \in I} y_i x_i$를 복구한다.
• 시사점: 모델은 레이블이 없는 샘플(여기서 $y_i=0$)을 사실상 무시한다. 이론적 분석에 따르면, 메타 러닝 설정(무작위 태스크에 대해 평균을 내는 과정)에서 레이블이 없는 데이터의 샘플 공분산은 항등 행렬의 스칼라 배로 수렴하며, 따라서 단일 레이어 모델에 태스크 특유의 신호를 제공하지 못한다.

2. 깊이가 준지도 학습을 가능하게 함

단일 레이어 모델과 대조적으로, 다층(또는 루프형) 선형 어텐션은 레이블이 없는 데이터를 효과적으로 활용할 수 있다.

• 다항식 표현력: 저자들은 $L$ 레이어 선형 어텐션 모델이 다음과 같은 형태의 추정기를 구현할 수 있음을 보여준다:
  $$\hat{\mu} = \sum_{i=0}^{K} a_i (X^\top X)^i X^\top y$$
  여기서 $K = O(3^L)$이다. 이를 통해 모델은 경험적 공분산 행렬의 고차 다항식을 구성할 수 있다.
• 로그 깊이의 충분성: 표현 가능한 다항식의 차수가 깊이에 따라 기하급수적으로 증가하기 때문에, 로그 깊이($O(\log K)$)만으로도 최적의 준지도 추정에 필요한 고차 단항식을 표현하기에 충분하다.
• 정리 3 & 4: 샘플 수 $n \to \infty$일 때, 다층 어텐션 모델은 최적의 준지도 추정기(구체적으로 공분산의 상위 고유벡터로의 투영)를 근사할 수 있으며, 베이즈 최적(Bayes-optimal) 한계에 근접하는 분류 오차를 달성한다.

3. 메커니즘: EM 및 신념 전파

본 논문은 이러한 모델들이 레이블이 없는 데이터를 활용하는 방식에 대한 해석을 제공한다:

• 레이블 전파 (Label Propagation): 다층 네트워크에서의 반복적인 레이블 업데이트는 기댓값 최대화(EM) 알고리즘을 모사한다. 각 레이어는 "의사 레이블링(pseudo-labeling)" 단계(기댓값)와 태스크 평균의 재추정(최대화) 단계를 수행한다.
• Softmax vs. Linear: 선형 어텐션이 선형 EM 스타일의 업데이트를 구현하는 반면, 소프트맥스(softmax) 어텐션은 **신념 전파(Belief Propagation)**와 유사한 비선형 유사도 가중 업데이트를 구현한다.

4. 테이블형 파운데이션 모델에 대한 적용

루핑(looping)이 성능을 향상시킨다는 이론적 발견에 착안하여, 저자들은 레이블이 없는 데이터에 대해 소프트 의사 레이블(soft pseudo-labels)을 생성하기 위해 기존의 테이블형 파운데이션 모델(예: TabPFN)을 반복적으로 적용하는 알고리즘인 LoopTabFM을 제안한다.

• 알고리즘: 모델을 루프로 실행하여, 레이블이 없는 데이터에 소프트 레이블을 할당하고, 이를 프롬프트에 추가한 뒤 모델을 재평가한다. 최적의 반복 횟수를 선택하기 위해 검증 리스크(validation risk) 지표를 사용한다.
• 경험적 검증: 실제 세계의 테이블형 데이터셋에 대한 실험 결과, 루핑 전략은 단일 패스 추론에 비해 테스트 정확도를 유의미하게 향상시켰으며, 특히 퓨샷(few-shot) 설정에서 두드러졌다.

결과

이론적 결과

• 단일 레이어: 성능은 지도 학습 전용인 SPI 추정치와 동일하다. 레이블이 없는 샘플의 수를 늘려도 정확도는 개선되지 않는다 (그림 1b, 1c).
• 다층 레이어: 깊이가 깊어질수록 성능이 향상된다. 2개 레이어 모델은 1개 레이어 모델보다 성능이 크게 뛰어나며, SSPI-1 추정치(공분산의 1차 항을 사용하는 준지도 플러그인)의 성능에 근접한다. 5개 레이어 모델은 SSPI-$\infty$(상위 고유벡터를 사용)에 도달하며, 점근적 영역에서 베이즈 최적 오차에 매우 근접한다.
• 아키텍처 비교: 실험(그림 2c)에서 트랜스포머(MLP + Softmax)는 선형 어텐션보다 우수하며, 선형 어텐션은 소프트맥스 전용 어텐션보다 우수하다. 그러나 모든 아키텍처는 $n$이 증가함에 따라 베이즈 최적 곡선으로 수렴한다.

경험적 결과

• 합성 데이터: GMM에 대한 실험은 2개 및 5개 레이어 선형 어텐션 모델이 레이블이 없는 샘플 수가 증가함에 따라 1개 레이어 모델보다 높은 정확도를 달성함을 확인해 준다.
• 실제 데이터: OpenML 데이터셋에 대해 TabPFN-v2를 사용하여, LoopTabFM 알고리즘(반복적 의사 레이블링)은 특정 데이터셋(예: OpenML ID 1464)에서 베이스라인(단일 패스) 대비 최대 **19.38%**의 상대적 개선을 달랐다. 평균적으로 이 방법은 **6.35%**의 상대적 개선을 보였다. 대부분의 이득은 첫 두 번의 반복 내에 발생했다.

의의 및 주장

본 논문은 트랜스포머의 준지도 인컨텍스트 러닝에 대한 최초의 이론적 규명을 제공한다고 주장한다. 주요 의의는 다음과 같다:

1. 간극 해소: 최근 "매니 샷(many-shot)" ICL(레이블이 없거나 약하게 레이벨링된 데이터를 포함하는 경우가 많음)의 경험적 성공 이유를 설명한다. 즉, 깊이는 모델이 파라미터 업데이트 없이 EM과 같은 준지도 학습 알고리즘을 암묵적으로 수행할 수 있게 한다.
2. 자원으로서의 깊이: 깊이는 단순히 표현력을 위한 것이 아니라, 컨텍스트 윈도우 내의 레이블 없는 데이터로부터 신호를 추출하는 데 필수적임을 확립한다.
3. 실용적 전략: 기존 파운데이션 모델의 준지도 능력을 강화하기 위해 (루핑이라는) 간단하고 파라미터가 필요 없는 전략을 제안하며, "적절한 양의 깊이/루핑만으로도" 대부분의 이론적 이득을 얻기에 충분함을 입증한다.

저자들은 핵심 이론 결과가 선형 어텐션에 특화되어 있다는 점을 인정하며 한계점을 언급하였고, 일반적인 비등방성 데이터에 대한 최적의 준지도 추정치는 여전히 미해결 과제로 남아 있다고 밝혔다. 또한 루핑이 도움이 되기는 하지만, 노이즈나 클래스 불균형으로 인해 특정 실제 데이터셋에서는 성능이 저하될 수 있음을 관찰하였으며, 이는 향후 연구에서 데이터 인지적(data-aware) 루핑 알고리즘이 필요함을 시사한다.