Geometric Properties of the Voronoi Tessellation in Latent Semantic Manifolds of Large Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 이산적인 토큰으로 작동하지만, 내부 계산은 연속적인 벡터 공간에서 수행됩니다. Mabrok (2026) 은 이를 '잠재 의미 매니폴드 (Latent Semantic Manifold)' 프레임워크로 형식화하여, 어휘가 확신 있는 토큰 할당을 제공하지 못하는 영역인 **'표현 가능성 간격 (Expressibility Gap)'**이 선형 부피 스케일링 법칙을 따른다는 것을 증명했습니다.
• 문제: 기존 연구는 주로 1.5B 파라미터 이하의 모델에서 검증되었으며, 더 크고 아키텍처가 다른 모델 (예: Qwen3.5-4B) 에서는 검증되지 않았습니다. 또한, 수렴된 모델의 보로노이 테셀레이션 (Voronoi tessellation) 을 사후 (post-hoc) 에 재구성할 수 있는지, 그리고 이를 통해 모델의 기하학적 구조를 개선하면서도 부작용 (collateral damage) 을 최소화할 수 있는지에 대한 실증적 연구가 부족했습니다.
• 기술적 한계: 기존 bfloat16 정밀도 사용 시 발생하는 양자화 아티팩트가 표현 가능성 간격의 스케일링 법칙 검증 ($R^2$) 을 왜곡시키는 문제가 있었습니다.

2. 방법론 (Methodology)

연구팀은 Qwen3.5-4B-Base(42 억 파라미터, Gated DeltaNet 아키텍처) 를 대상으로 다음과 같은 실험을 수행했습니다.

• 정밀도 개선 (Float32 Recomputation): bfloat16 추론 시 발생하는 정밀도 손실을 해결하기 위해, 최종 은닉 상태를 float32 로 업캐스팅하여 로짓 (logit) 을 재계산했습니다. 이를 통해 bfloat16 의 양자화 아티팩트를 제거하고 연속적인 기하학적 구조를 정밀하게 포착했습니다.
• 마진 정제 절차 (Margin Refinement Procedures, MRP): 수렴된 모델에 전체 재학습 없이 적용하는 짧은 최적화 (200 스텝) 를 통해 로컬 보로노이 기하학을 재구성하는 두 가지 방법을 비교했습니다.
  1. 직접 마진 최대화 (Direct Margin Maximization): 최상위 2 개 토큰 간의 마진 (logit 차이) 을 직접 최대화하는 손실 함수 사용.
  2. 피셔 정보 거리 최대화 (Fisher Information Distance Maximization): 모델의 고유한 기하학 (피셔 계량) 을 기반으로 토큰 간의 정보적 거리를 최대화하는 손실 함수 사용. 이는 단순히 마진을 넓히는 것이 아니라, 모델이 자연스럽게 구분 가능한 다른 '러너업 (runner-up)' 토큰으로 방향을 회전시키는 방식입니다.
• 실험 설정: WikiText-103 검증 세트를 사용하여 다양한 $\lambda_{MRP}$ (손실 가중치) 에 따른 도스 - 반응 (dose-response) 곡선을 분석하고, 하류 벤치마크 (Downstream Benchmarks) 와 토큰 클래스별 변화를 모니터링했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. 이론적 검증 및 정밀도 개선

• 표현 가능성 간격 스케일링 법칙 검증: float32 재계산을 통해 $R^2 = 0.9997$의 높은 결정 계수를 달성하여 Mabrok 의 정리 10.5(선형 스케일링 법칙) 를 4B 모델에서 가장 강력하게 입증했습니다.
• 새로운 기준치 설정: 간격 계수 $\alpha = 0.762$, 엔트로피 - 마진 스피어만 상관계수 $\rho = -0.648$ 등의 기준 지표를 확립했습니다.

3.2. 층별 기하학적 특성 발견

• 중간 층의 기하학적 모호성 (Mid-layer Geometric Ambiguity): 24~28 층에서 교차 엔트로피 (CE) 와 기하학적 정규화 손실 (MRP) 간의 상관관계가 음수 ($\rho = -0.29$) 로 반전되는 구간을 발견했습니다. 이는 최종 예측이 정확하더라도 중간 은닉 상태가 기하학적으로 모호할 수 있음을 시사합니다.
• 최종 층의 중복성: 31~32 층에서는 MRP 와 CE 가 강하게 양의 상관 ($\rho = 0.836$) 을 보이며, MRP 가 CE 와 중복되는 영역임을 확인했습니다.

3.3. 마진 정제 방법 비교 (핵심 결과)

• 직접 마진 최대화의 한계: 마진 최대화는 $\lambda_{MRP}$가 증가함에 따라 손상 (잘못된 토큰을 올바른 것으로 바꾼 후 다시 잘못 만드는 비율, Flip Ratio) 이 비선형적으로 급증했습니다. $\lambda_{MRP}=1.0$에서는 손상이 치명적이었습니다.
• 피셔 정보 거리 (Fisher) 의 우위:
  • 일정한 손상: $\lambda_{MRP}$가 0.15 에서 0.6 으로 증가해도 손상된 위치 수는 약 5,300 개로 일정하게 유지되었습니다.
  • 벤치마크 무손상: $\lambda_{MRP}=0.6$까지 하류 벤치마크 점수는 변하지 않았습니다.
  • 지속적인 개선: $\lambda_{MRP}=1.0, 2.0$에서도 마진 통계는 계속 개선되었으나, 토큰별 이득의 분포가 변했습니다.
  • 메커니즘: 피셔 방법은 마진을 넓히기 위해 '러너업' 토큰을 모델의 기하학적으로 더 자연스럽게 분리 가능한 다른 토큰으로 회전시킵니다. 이는 기하학적 왜곡을 최소화합니다.

3.4. 토큰 빈도 및 클래스별 분석 (중요한 발견)

• 고빈도 토큰 집중 현상: 피셔 방법의 이득은 전체 어휘에 균일하게 분포되지 않았습니다.
  • $\lambda_{MRP}=0.6$에서 전체 순수정 (Net Corrected) 의 **84.0%**가 빈도 100+ (고빈도) 토큰에서 발생했습니다.
  • $\lambda_{MRP}$가 증가할수록 이 집중도는 더 심해져 2.0 에서는 **92.1%**에 달했습니다.
• 구조적 토큰 vs 콘텐츠 토큰: 이득의 대부분은 쉼표, 마침표, 공백 등 구조적/형식 토큰에서 나왔습니다. 반면, $\lambda_{MRP}$가 높아질수록 '그리고 (and)', '그는 (he)'와 같은 중간 빈도의 기능어/콘텐츠 단어에서 순손실 (Net Negative) 이 발생했습니다.
• 인스트럭트 (Instruct) 모델에서의 악화: 파인튜닝된 인스트럭트 모델에서는 엔티티 (Entity) 류 토큰이 순손실을 보이며, 고빈도 토큰 집중 현상이 더 심해지는 경향을 보였습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 기하학적 재구성 가능성: 수렴된 LLM 의 보로노이 테셀레이션은 사후 개입을 통해 재구성 가능하며, 이는 표현 가능성 간격을 압축할 수 있음을 증명했습니다.
• 피셔 정보 거리의 효율성: 피셔 정보 거리 기반의 MRP 는 마진 최대화에 비해 일정한 손상 (Constant Damage) 특성을 가지며, $\lambda_{MRP}=0.6$ 부근에서 벤치마크 점수를 유지하면서aggregate 토큰 정확도를 개선하는 최적의 지점을 제공합니다.
• 실용적 한계와 통찰:
  • 피셔 방법은 '전체적인 품질 향상'을 보장하지 않습니다. 이득이 고빈도 구조적 토큰에 편향되어 있으며, 중간 빈도의 의미 있는 단어 (콘텐츠/엔티티) 에는 오히려 악영향을 줄 수 있습니다.
  • 따라서 단순한 전역적 (Global) 기하학적 다듬기보다는, **토큰 가치 (Token-value) 나 도메인 중요도에 가중치를 둔 정밀한 편집 (Surgical Editing)**이 향후 연구의 핵심 방향이어야 합니다.
• 미래 방향: 훈련 시간의 기하학적 구조 형성 (Training-time geometry shaping) 과 사후 토큰 가치 인식 다듬기 (Post-training token-value-aware polishing) 를 결합하는 것이 더 나은 해결책일 것으로 예상됩니다.

요약: 이 논문은 LLM 의 잠재 공간 기하학을 정밀하게 분석하고, 피셔 정보 거리를 활용한 사후 최적화가 모델의 표현 능력을 향상시킬 수 있음을 보였으나, 그 이득이 고빈도 구조적 토큰에 편향되어 있어 적용 시 신중한 토큰 가치 관리가 필요함을 강조했습니다.