기술 요약: LLM은 실현(Realization)이 아닌 기대(Expectation) 측면에서 베이지안이다

1. 문제 제기

본 논문은 인컨텍스트 러닝(In-Context Learning, ICL)의 베이지안 해석과 트랜스포머(Transformer) 구조적 실재 사이의 근본적인 긴장 관계를 다룬다.

• 베이지안 관점: ICL은 지원 예시(support examples)가 잠재적 태스크를 식별하고, 모델이 다음 토큰에 대한 사후 예측 분포(posterior predictive distribution)를 생성하는 과정으로 해석된다. 이 관점에서는 교환 가능한 데이터(exchangeable data)에 대해, 사후 예측은 지원 집합의 순서에 불변해야 한다.
• 경험적 실재: 트랜스포머는 위치 인코딩(positional encodings)을 사용하여 시퀀스를 처리하는 자기회귀 모델이다. 최근의 진단(마팅게일 테스트)은 순서가 없는 지원 집합을 치환(permutation)할 경우 종종 다음 토큰 확률이 변하며, 이는 정확한 교환성(exact exchangeability)을 위반함을 보여준다.
• 충돌: 이러한 위반은 베이지안 ICL 가설에 대한 반박으로 해석되어 왔다. 저자들은 이것이 범주 오류(category error)라고 주장한다. 즉, 구조적 불변성(정확한 사후 법칙의 속성)과 운영적 성능(온라인 설정에서의 예측 비용)을 혼동하고 있다는 것이다.

핵심 질문은 트랜스포머가 정확한 교환 가능한 사후 샘플러(exact exchangeable posterior samplers)인가 하는 점(그들은 그렇지 않다)이 아니라, 직렬화로 인한 순서 민감성에도 불구하고 순차적 로그 손실(prequential log loss) 측면에서 베이즈 경쟁력(Bayes-competitive)을 유지하는가이다.

2. 방법론 및 이론적 프레임워크

2.1 이론적 가교: 순차적 레그릿(Prequential Regret)과 KL 발산

저자들은 평가 대상을 이진 불변성에서 **초과 순차적 코드 길이(excess prequential code length)**로 전환한다.

• 순차적 비교 항등식 (정리 1): 베이지안 참조 모델 $B$에 대한 모델 $Q$의 기대 초과 로그 손실은 예측 쿨백-라이블러(KL) 발산의 누적 합과 정확히 일치함을 증명한다:
  $$E_B[L_n(Q) - L_n(B)] = \sum_{t=1}^n E_{H_t} [KL(b_t(\cdot|H_t) \parallel q_t(\cdot|H_t))]$$
  이는 교환성 위반이 운영상으로 중요해지려면 상당한 예측 KL을 축적해야 함을 확립한다.

• 순서 평균 분해 (정리 2): 직렬화되어야 하는 순서 없는 정보 상태에 대해, 단일 순서의 레그릿은 다음과 같이 분해된다:

  1. **순서 평균 예측기(order-averaged predictor)**의 레그릿 (모든 태스크 보존 순서에 대한 기대값).
  2. 평균 분포 대신 단일 임의의 직렬화를 사용함으로써 지불하게 되는 비음수 순서 평균 이득(order-averaging gain) ($J_t$).
  • 함의: 교환성 실패는 이진적인 "반박"이 아니라, 비트로 가격이 매겨지는 정량화 가능한 비용이다.

2.2 실험 프로토콜

저자들은 Qwen2.5-7B/14B 및 Llama-3.1-8B를 사용하여 다음의 여러 측면에서 이 이론을 평가한다:

1. 폐쇄형 베이지안 감사(Closed-Form Bayesian Audits): 참된 베이지안 사후 예측 분포를 알고 있는 이산 태스크(Beta-Bernoulli, Dirichlet-categorical) 및 연속 태스크(Coarsened Bayesian Linear Regression - BLR)에 대한 테스트.
2. 빈도주의 베이스라인(Frequentist Baselines): 모델의 동작이 단순한 빈도주의적 카운팅과 구별되는지 확인하기 위해 최대 가능도 추정(MLE) 및 라플라스 플러그인 예측기(Laplace plug-in predictors)와 성능 비교.
3. 개입(Interventions):
   • 위치 개입(Position Interventions): 추론 시 position_ids를 수정하여 태스크 보존 순서(순서가 중요하지 않은 곳)와 의미적 순서(위치가 신호를 전달하는 곳)를 구분.
   • 처음부터 학습한 제거 실험(From-Scratch Ablation): 위치 인코딩 유무에 따라 작은 트랜스포머를 학습시켜 순서 민감도의 원인을 격리.
   • 활성화 패칭(Activation Patching): 충분 통계량(counts와 positions)이 예측을 결정하는 데 인과적으로 사용되는지 테스트.
4. 다운스트림 진단: 순열 혼합(permutation mixtures)을 사용하여 MMLU, GSM8K 및 증거 기반 QA 태스크에서 임의의 순서 지정에 따른 비용 측정.

3. 주요 기여

1. 평가 대상의 공식화: 논문은 이진 "교환 가능한가?" 테스트를 대신하여, 베이즈 경쟁력의 운영적 지표로서 초과 순차적 코드 길이를 정의한다.
2. 순서 평균 분해: 단일 직렬화의 레그릿이 순서 평균 예측기의 레그릿과 측정 가능한 "순서 평균 이득"의 합과 같음을 보여주는 이론적 분해를 제공한다.
3. 안전 코드 하한선(Safe-Code Floors) 및 후보 분해: 확률 질량을 숨기지 않으면서 고정된 후보 집합에 대해 모델을 점수화하는 방법(유한 시계열 가산성을 보장하기 위해 균등 분포와 혼합하는 "safe-code floor")을 도입하고 명시적인 오버헤드 보고를 수행한다.
4. 베이지안 메커니즘의 인과적 검증: 활성화 패칭과 선형 프로빙을 통해, 모델이 충분 통계량(counts, positions)을 단순히 포함할 뿐만 아니라, 이를 사용하여 다음 토큰 분포를 형성하는 데 인과적으로 사용함을 입증한다.

4. 주요 결과

4.1 예측 KL 및 베이즈 경쟁력

• 이산 태스크: 지원 크기 256인 Bernoulli 및 4-way categorical 태스크에서, 모델들은 매우 낮은 1-스텝 초과 순차적 코드 길이를 보인다:
  • Bernoulli: 0.020 bits (7B) 및 0.011 bits (14B).
  • Categorical: 0.039 bits (7B) 및 0.022 bits (14B).
  • 후보 질량(scored events에 할당된 확률)은 0.999를 초과한다.
• 연속 태스크 (BLR): 지원 크기가 커짐에 따라, 모델의 유도된 자릿수 분포는 거친(coarsened) 베이지안 사후 예측과 점점 더 일치한다. 지원 크기 100에서 베이지안 기대값과의 상관관계는 ~0.988 (1-covariate) 및 ~0.965 (2-covariate)에 도달한다.

4.2 빈도주의 플러그인과의 구별

• 소규모 데이터 영역: 모델은 MLE 플러그인보다 베이지안 사후 예측에 훨씬 더 가깝다.
  • MLE는 흔히 퇴보적(unseen symbols에 0의 확률을 할당)이며, 이는 무한한 코드 길이를 초래한다.
  • 지원 크기 4에서, 모델은 4-way categorical 태스크에 대해 MLE보다 베이지안 참조 모델에 각각 ~3.3 bits (7B) 및 ~3.8 bits (14B) 더 가깝다.
• 수렴: 지원 크기가 커짐에 따라 모델, 베이지안 참조, 그리고 빈도주의 플러그인 사이의 격차가 사라지며, 이는 점근적 이론과 일치한다.

4.3 순서 민감도의 원인

• 위치 인코딩: 위치 개입은 절대적 데몬스트레이션 위치가 직렬화 분산을 유도함을 보여준다. 데몬스트레이션 내의 위치를 재설정하면 베이지안 예측 태스크에서 순서 분산이 약 21배 감소한다.
• 제거 실험: 위치 인코딩 없이 학습된 트랜스포머는 거의 완벽한 교환성(분산 $\approx 10^{-16}$)을 달성한다. 학습된 절대적, 사인파형, RoPE 또는 ALiBi 인코딩을 가진 모델들은 $10^{-8}$에서 $10^{-6}$ 범위의 분산을 보인다. 이는 순서 민감성이 아키텍처 자체가 아니라 인코딩의 속성임을 확인해 준다.
• 인과적 사용: 활성화 패칭은 충분 통계량(counts 및 positions)이 다음 토큰 로짓과 인과적으로 연결되어 있음을 확인한다.

4.4 다운스트림 비용

• 순서 평균 이득: MMLU 및 GSM8K에서 무작위 순열에 대한 예측 평균화는 음의 로그 가능도(NLL)와 캘리브레이션(calibration)에서 작지만 측정 가능한 개선을 가져오며, 이는 임의의 직렬화가 작은 로그 손실 비용을 발생시킴을 확인시켜 준다.
• 증거 QA: 순서가 없는 증거 청크가 있는 태스크에서 순서 평균 이득은 측정 가능하며(예: Qwen2.5-7B에서 0.1041 nats/token), 이는 하나의 임의의 순서를 태스크로 취급하는 것이 최적이 아님을 시사한다.

5. 의의 및 주장

본 논문은 트랜스포머 아키텍처와 베이지안 ICL 가설 사이의 **양적 화해(quantitative reconciliation)**를 주장한다:

• "정확성"에 대한 반박: 트랜스포머는 모든 직렬화에 대해 정확히 교환 가능한 사후 예측 분포는 아니다.
• "경쟁력"의 검증: 그들은 베이즈 경쟁력이 있는 순차적 예측기이다. 순서 민감성으로 인한 운영적 비용은 작으며(비트로 측정 시 소수점 단위), 유한하다.
• 관점의 전환: 정확한 교환성의 실패를 베이지안 ICL에 대한 이진적 반박으로 보아서는 안 된다. 대신, 이를 **가격이 매겨진 비용(priced cost)**으로 보아야 한다. 이 "가격"은 순서 평균 이득이며, 이는 모델이 온라인 예측 설정에서 최적의 베이지안 예측기와 경쟁할 수 있을 만큼 충분히 작다.

저자들은 이것이 진단 프레임워크임을 강조한다. 트랜스포머가 문자 그대로의 사후 샘플러라고 주장하는 것이 아니라, 그들의 예측 분포가 빈도주의 플로플러그인보다 베이지안 사후 예측에 더 가깝고, 직렬화에 의한 편차는 운영적으로 무시할 수 있는 수준이라는 것이다.