Geometric Scaling of Bayesian Inference in LLMs

본 논문은 Pythia, Llama-3 등 다양한 대규모 언어 모델에서도 소규모 모델에서 관찰된 베이지안 추론의 기하학적 특징 (예측 엔트로피와 상관된 주성분 축) 이 유지되며, 이를 통한 불확실성 추정이 이루어짐을 확인하고 해당 기하학적 구조가 불확실성의privileged한 읽기 도구임을 입증했습니다.

핵심

🧠 핵심 비유: "AI 의 두뇌 지도"

이 논문의 결론은 매우 간단합니다. **"실제 거대 AI 모델들도 우리가 상상했던 '추리의 지도'를 가지고 있다."**는 것입니다.

1. AI 는 어떻게 '의심'을 표현할까? (저차원 매니폴드)

• 비유: AI 가 글을 쓸 때, "이게 맞을까? 저게 맞을까?"라고 고민하는 상태를 상상해 보세요.
• 논문 내용: 연구자들은 AI 의 두뇌 내부 (Value vectors) 를 살펴봤습니다. 놀랍게도, AI 가 **어떤 답변에 대해 얼마나 확신 없는지 (불확실성)**는 두뇌 공간에서 하나의 직선으로 표현되고 있었습니다.
• 일상적 설명: 마치 AI 의 두뇌 속에 "불확실성 게이지"가 하나 꽂혀 있는 것처럼요. 이 게이지가 오른쪽으로 갈수록 AI 는 "아, 내가 잘 모르겠다"라고 느끼고, 왼쪽으로 갈수록 "확실히 알겠다"라고 느낍니다. 이 구조는 작은 실험실 AI 에서만 발견되는 게 아니라, 실제 거대 모델에서도 똑같이 존재했습니다.

2. "주제"가 바뀌면 지도가 좁아진다 (도메인 제한 효과)

• 비유: 여러분이 "전 세계 모든 뉴스"를 읽을 때는 머릿속이 복잡하고 다양한 생각이 오갑니다. 하지만 "수학 문제"만 푼다면 머릿속은 훨씬 단순하고 집중됩니다.
• 논문 내용: AI 에게 잡다한 질문 (뉴스, 코딩, 철학 섞인 것) 을 주면 두뇌 구조가 복잡하게 퍼져있었습니다. 하지만 수학 문제만 물어보면, AI 의 두뇌 구조가 하나의 직선으로 쫙 모였습니다.
• 일상적 설명: AI 는 주제가 명확해지면 "수학 모드"로 전환하며, 이때 두뇌의 복잡한 생각들이 정리되어 가장 효율적인 추리 경로 (하나의 직선) 를 따릅니다. 이는 AI 가 실제로 논리적인 추론을 할 때 그 '지도'를 사용한다는 강력한 증거입니다.

3. 추론은 '학습'이 아니라 '실시간 작동'이다 (SULA 실험)

• 비유: AI 에게 "사과가 빨간색이고, 배는 초록색이다"라는 단서를 몇 개 더 주면, AI 는 그 정보를 바탕으로 "아, 이제 내가 더 확신 있게 답할 수 있겠다"라고 생각하며 두뇌 상태가 변합니다.
• 논문 내용: 연구자들은 AI 에게 단서를 하나씩 더 주면서 (In-context learning) 두뇌 상태를 관찰했습니다. 그 결과, AI 는 단서가 늘어날수록 두뇌 속의 '불확실성 게이지'를 따라 움직이며 정답에 가까워지는 것을 확인했습니다.
• 일상적 설명: AI 는 단순히 기억을 꺼내는 게 아니라, 새로운 정보를 받으면 두뇌 속의 지도를 따라 실시간으로 이동하며 답을 찾습니다. 이는 마치 우리가 새로운 증거를 보고 생각을 바꾸는 것과 똑같은 방식입니다.

4. 모델마다 '추리 스타일'이 다르다 (아키텍처의 차이)

• 비유: 같은 목적 (추리) 을 달성하더라도, 어떤 사람은 "모든 정보를 한눈에 훑어보고" (전체 주의), 어떤 사람은 "가까운 정보만 보고" (슬라이딩 윈도우) 추리합니다.
• 논문 내용:
  • Pythia, Phi-2: 두뇌 지도가 매우 깔끔하고 명확합니다. (전통적인 방식)
  • Llama, Mistral: 효율성을 위해 일부 기능을 줄였지만, 기본적인 지도 구조 (불확실성 게이지) 는 그대로 유지했습니다. 다만, 정보를 집중시키는 방식 (주의 집중) 이 조금 덜 정교해졌습니다.
• 일상적 설명: AI 모델이 커지고 효율적으로 변해도, '추리를 위한 기본 뼈대'는 무너지지 않았습니다. 다만, 그 뼈대를 어떻게 활용하느냐에 따라 모델마다 '추리하는 느낌'이 조금씩 다를 뿐입니다.

5. 중요한 발견: "지도"는 추리의 '결과물'일 뿐, '원인'은 아니다

• 비유: "날씨 예보 지도"를 지우면 실제 날씨가 변하나요? 아닙니다. 지도는 날씨를 보여주는 도구일 뿐입니다.
• 논문 내용: 연구자들은 AI 의 '불확실성 게이지' (지도) 를 인위적으로 지워보거나 건드려봤습니다. 그랬더니 지도는 망가졌지만, AI 가 답을 내는 능력 (추리 성능) 은 크게 떨어지지 않았습니다.
• 일상적 설명: AI 의 두뇌 속 '불확실성 지도'는 추리 과정이 끝난 후 **남은 흔적 (Readout)**일 뿐, 그 추리를 직접 수행하는 '엔진'은 아닙니다. 추리는 두뇌 전체에 분산되어 일어나고, 그 결과물이 이 지도에 나타나는 것입니다.

---

📝 한 줄 요약

이 논문은 **"거대 AI 모델들도 우리가 상상했던 것처럼, 복잡한 두뇌 속에 '불확실성'을 정리하는 깔끔한 지도를 가지고 있으며, 새로운 정보를 받으면 그 지도를 따라 실시간으로 추리를 수행한다"**는 것을 증명했습니다.

이는 AI 가 단순히 통계적 확률만 계산하는 게 아니라, 인간과 유사한 논리적 추론의 구조를 내재하고 있음을 보여줍니다. 다만, 그 구조가 AI 의 '성능'을 결정하는 유일한 엔진은 아니라서, 지도를 지워도 AI 는 여전히 잘 작동한다는 점이 흥미롭습니다.

기술 요약

1. 문제 제기 (Problem)

• 배경: 이전 연구 (Paper I, II) 는 제어된 합성 데이터셋 (Wind-tunnel) 에서 트랜스포머가 베이지안 추론을 수행할 때 세 가지 기본 원리 (신념 축적, 전파, 무작위 접근 바인딩) 를 구현하며, 이를 지지하는 특유의 기하학적 구조 (저차원 가치 매니폴드, 직교하는 키 프레임, 점진적 어텐션 집중) 가 형성됨을 증명했습니다.
• 핵심 질문: 자연어 데이터로 학습된 대규모 생산용 LLM 들에서도 ground-truth posterior(정답 분포) 가 존재하지 않고, 복잡한 아키텍처 (GQA, RoPE, 슬라이딩 윈도우 등) 와 노이즈가 존재하는 환경에서도 이러한 기하학적 구조가 유지되는가?
• 가설: LLM 이 자연어에서 정확한 베이지안 사후확률을 계산하는지는 불분명하지만, 추론의 기본 원리를 뒷받침하는 기하학적 기질 (Geometric Substrate) 은 규모가 커져도 보존될 것이다.

2. 방법론 (Methodology)

연구진은 Pythia, Phi-2, Llama-3, Mistral 등 다양한 아키텍처와 학습 조건을 가진 4 개의 모델 패밀리에서 다음 프로토콜을 적용했습니다.

• 데이터 및 프롬프트:
  • 혼합 도메인 프롬프트: 위키백과, 뉴스, 소설, 코드 등 다양한 도메인의 프롬프트.
  • 도메인 제한 프롬프트: 수학 (Mathematics) 등 단일 도메인으로 제한된 프롬프트.
  • SULA (Synthetic Unary Likelihood Augmentation): 인-컨텍스트 학습을 통해 명시적인 베이지안 업데이트를 유도하는 통제된 작업. (감정 레이블 예시 제공 후 쿼리 단어 예측)
• 기하학적 추출 프로토콜:
  • Value Manifolds (가치 매니폴드): 최종 레이어의 Value 벡터에 PCA 를 적용하여 주성분 (PC1, PC2) 이 설명하는 분산 비율을 측정. 예측 엔트로피와의 상관관계를 분석.
  • Key Orthogonality (키 직교성): 학습된 Key Projection 행렬의 열 벡터 간 평균 오프 - 대각선 코사인 유사도를 측정. 무작위 가우시안 분포 및 초기화 상태와 비교.
  • Attention Focusing (어텐션 집중): 레이어를 거치며 어텐션 엔트로피가 감소하는지 (점진적 정제) 확인.
• 인과적 개입 (Causal Intervention): Pythia-410M 모델에서 엔트로피와 정렬된 축 (Entropy-aligned axis) 을 식별하고, 이 축을 제거하거나 교란시켜 베이지안 행동 (SULA 성능) 에 미치는 영향을 검증.

3. 주요 기여 (Key Contributions)

1. 규모 확장에서의 베이지안 기하학의 지속성: 합성 작업이 아닌 실제 생산 모델에서도 저차원 가치 매니폴드, 키 직교성, 도메인 특이적 붕괴 현상이 관찰됨. 이는 이 구조가 합성 작업의 인공물이 아님을 입증.
2. 사후확률 불확실성과의 기능적 정렬: SULA 작업에서 모델의 상태가 증거가 축적됨에 따라 엔트로피 정렬 매니폴드 방향을 따라 이동하며, 이 좌표가 분석적으로 계산된 베이지안 엔트로피와 강한 상관관계를 보임.
3. 도메인 제한의 다리 역할: 단일 도메인 프롬프트는 혼합 도메인 프롬프트보다 매니폴드를 1 차원 (또는 2 차원) 으로 붕괴시켜, Wind-tunnel 실험에서 관찰된 기하학적 영역 (PC1+PC2 ≈ 70~95%) 에 근접시킴.
4. 인과적 경계 특성화: 엔트로피 축을 제거하면 국소적인 기하학은 파괴되지만, 베이지안 유사 행동 (Calibration) 은 비례적으로 저하되지 않음. 이는 해당 기하학이 불확실성의 '우월한 읽기 (privileged readout)'이지 단일 계산 병목 현상이 아님을 시사.

4. 주요 결과 (Key Results)

A. 도메인 제한과 Value Manifold

• 혼합 도메인: 모델마다 차원성이 다름 (Mistral: ~15%, Llama: ~51%, Phi-2: ~60%, Pythia-410M: ~100% 붕괴).
• 도메인 제한 (수학): 모든 모델이 매니폴드가 붕괴되어 1 차원 구조 (PC1+PC2 ≈ 70~95%) 를 회복함. 이는 LLM 이 도메인이 제한되면 Wind-tunnel 과 유사한 추론 모드로 전환됨을 의미.
• Pythia-410M 특이성: 혼합 도메인에서도 이미 거의 1 차원으로 붕괴되어 있어, Pile 코퍼스의 균질성 때문으로 추정됨.

B. 추론 시 베이지안 업데이트 (SULA 실험)

• 모델은 인-컨텍스트 예시가 증가함에 따라 예측 엔트로피가 감소하고, Value 매니폴드 좌표가 분석적 베이지안 엔트로피와 강한 상관관계 ($|\rho| = 0.65 \sim 0.80$) 를 보이며 이동함.
• 통제 실험: 레이블을 섞거나 증거를 제거하면 이 매니폴드 이동이 사라지거나 무작위화됨. 이는 표면적 통계가 아닌, 실제 확률적 증거 구조를 모델이 활용함을 증명.

C. 아키텍처별 차이

• Standard MHA (Pythia, Phi-2): 명확한 기하학적 서명 (강한 직교성, 80% 이상 엔트로피 감소) 을 보임. Phi-2 는 정제된 학습 데이터로 인해 가장 선명한 기하학을 가짐.
• GQA (Llama-3, Mistral):
  • 정적 구조 (Static): Value 매니폴드와 Key 직교성은 유지됨 (Wind-tunnel 과 유사).
  • 동적 구조 (Dynamic): 어텐션 집중 (Entropy reduction) 이 약화되거나 비단조적임. GQA 와 슬라이딩 윈도우 아키텍처는 전역 라우팅 능력 부족으로 인해 증거 정제 메커니즘이 약화됨.
• 학습 데이터의 영향: 정제된 데이터 (Phi-2) 가 웹 스패일 데이터 (Llama) 보다 더 날카로운 기하학적 구조 (더 낮은 직교성, 더 강한 집중) 를 형성.

D. 인과적 개입 실험

• 엔트로피 축을 제거하면 불확실성 기하학 (엔트로피와의 상관관계) 은 파괴되지만, SULA 의 보정 오차 (MAE) 는 크게 변하지 않음.
• 결론: 엔트로피 정렬 매니폴드는 불확실성을 나타내는 표상적 특권 좌표계 (Representational Privileged Coordinate System) 이지만, 베이지안 업데이트를 수행하는 유일한 단일 병목 (Singular Bottleneck) 은 아님. 불확실성 정보는 분산되어 표현됨.

5. 의의 및 결론 (Significance)

• 이론적 통합: 이 논문은 Paper I(어떤 아키텍처가 베이지안 추론을 구현하는가) 과 Paper II(어떻게 학습되는가) 의 이론을 대규모 자연어 모델로 확장하여, 기하학적 기질이 규모와 학습 데이터에 관계없이 보존됨을 입증했습니다.
• 정적 vs 동적 분리: 베이지안 추론의 '프레임 (Key 직교성, Value 매니폴드)'은 아키텍처와 무관하게 보편적이지만, '정밀도 (어텐션 집중)'는 아키텍처의 라우팅 능력 (전역 어텐션 대 GQA/슬라이딩 윈도우) 에 따라 달라진다는 Frame-Precision Dissociation을 확인했습니다.
• 실용적 시사점:
  • LLM 의 불확실성 해석을 위해 Value 매니폴드와 어텐션 엔트로피를 활용할 수 있음.
  • GQA 는 효율성은 높지만 기하학적 명확성은 낮으므로, 해석 가능성 연구에는 Standard MHA 가 더 적합할 수 있음.
  • 도메인 제한 프롬프트는 모델의 내부 기하학적 구조를 분석하는 강력한 도구로 사용 가능.

결론적으로, 현대 LLM 들은 명시적인 베이지안 목적 함수 없이도, 내용 기반의 Value 라우팅 (Content-based value routing) 을 통해 베이지안 추론에 필요한 기하학적 기질을 자연스럽게 학습하고 유지하며, 이는 대규모 언어 모델의 추론 능력을 이해하는 새로운 기하학적 프레임워크를 제공합니다.