Towards Physical Intuitions for Alignment Dynamics: A Case Study With Randomness Crystallization

기술 요약: 정렬 역학(Alignment Dynamics)에 대한 물리적 직관을 향하여

문제 제기
자연어 처리(NLP) 분야는 대규모 언어 모델(LLM)을 유용하고 안전하게 정렬하는 데 있어 상당한 경험적 성공을 거두었으나, 이러한 변화가 어떻게 전개되는지에 대한 구조적 역학은 여전히 제대로 이해되지 않고 있습니다. 현재의 정렬 연구는 정렬됨/정렬되지 않음, 다양함/붕괴됨과 같이 결과 상태를 설명하는 분류학적 어휘에 크게 의존하고 있으며, 상태 간의 전이를 설명하는 일관된 프레임워크는 부족합니다. 구체적으로, 정렬로 인해 발생하는 구조의 기원, 특정 행동적 끌개(attractor)로 수렴하는 이유, 그리고 정렬이 변화시킬 수 있는 근본적인 한계가 명확히 규명되지 않았습니다. 저자들은 물리 과학, 특히 열역학적 상전이 이론이 이러한 역학을 추론하기 위한 원칙적이고도 아직 탐구되지 않은 어휘를 제공한다고 주장합니다.

방법론: 결정화(Crystallization) 프레임워크
본 논문은 물질의 결정화 과정에서 나타나는 열역학적 상전이와 LLM의 사후 학습 정렬 사이의 직접적인 유사성을 끌어와 "결정화" 프레임워크를 제안합니다. 이 프레임워크는 유한한 지지 집합(support)을 가진 작업(예: 난수 생성)에서의 정렬이 다음의 세 가지 뚜렷한 단계를 거쳐 진행된다고 가정합니다.

1. 액체 단계 (사전 학습된 엔트로피, Liquid Phase): 베이스 LLM은 고엔트로피 상태로 존재합니다. 서로 다른 프롬프트는 다양한 잠재적 출력 분포의 중첩을 유도하며, 이는 이는 다양한 속도와 방향으로 움직이는 액체 속 원자들과 유사합니다.
2. 핵 생성 단계 (지도 미세 조정 - SFT, Nucleation Phase): SFT는 핵 생성 사건 역할을 합니다. 모델의 다양한 출력 분포는 이미 베이스 모델 내에 잠재되어 있던 단일 "시드 분포(seed distribution)"로 급격히 붕착(collapse)됩니다. 프롬프트 민감도는 사라지며, 모델은 마치 원자들이 씨앗 결정에 정렬되듯 일관된 구조로 고정됩니다.
3. 안착 단계 (선호도 최적화 - DPO/RLHF, Settling Phase): 후속 선호도 최적화 단계(DPO, RLHF 등)는 새로운 구조를 만드는 것이 아니라 기존의 결정을 "템퍼링(tempering, 담금질)"합니다. 확률 질량은 SFT 단계에서 형성된 피크(peak) 위로 더욱 집중되며, 이는 분포의 지지 영역을 벗어나지 않으면서 분포를 정교화합니다.

이러로 단계들을 정량화하기 위해 저자들은 두 가지 진단 지표를 정의합니다.

• 평균 제곱 오차(MSE) 거리 비율 ($r_d$): SFT 분포와 후보 "시드" 분포 사이의 거리를 측정합니다. 낮은 비율은 성공적인 핵 생성(기존에 존재하던 시드로의 수렴)을 나타냅니다.
• 확률 질량 중첩 (ProbMass): 후기 단계(DPO/Instruct)에서 시드 분포의 피크로 집중되는 확률 질량을 측정합니다. ProbMass의 증가는 시드의 피크에 특정 결과값이 응집되는 "안착" 과정을 나타냅니다.

실험 설정
이 프레임워크는 15개의 확률적 작업(예: 난수, 짝수, 소수 생성)에 대해 두 종류의 오픈 웨이트 모델 제품군인 OLMo 2와 Tulu 3를 사용하여 테스트되었습니다. 연구는 베이스 모델, SFT, DPO, Instruct 단계의 체크포인트를 활용했습니다. 저자들은 경험적 출력 분포를 회복하기 위해 100개의 서로 다른 생성 접두사(prefix)를 다양한 스타일(유희적 스타일부터 격식 있는 스타일까지)로 샘플링했습니다.

주요 결과

• 3단계 역학의 검증: 실험은 일관되게 세 단계의 패턴을 보여주었습니다. 액체 단계에서 베이스 모델은 높은 inter-prefix MSE를 보였으며, 이는 높은 엔트로피를 반영합니다. 핵 생성(SFT) 단계 동안 MSE 거리 비율이 급격히 감소하였으며, 이는 모든 프롬프트 분포가 베이스 모델 내에 이미 존재하던 단일 시드 분포로 수렴했음을 확인시켜 줍니다.
• 안착 동작: 안착 단계(DPO/Instruct) 동안, 절대적 MSE는 시드로부터 약간 증가하였으나(이는 정확한 시드 형태로부터 날카로워짐을 의미함), ProbMass 지표는 단조롭게 증가하였습니다. 이는 확률 질량이 새로운 영역으로 확장되는 것이 아니라 시드의 피크로 더욱 집중된다는 것을 확인해 줍니다.
• 교차 모델 전이: 한 모델 제품군(예: OLMo 2)의 베이스 모델에서 식별된 "외래 시드(foreign seed)"가 완전히 독립적인 다른 모델 제품군(예: Tulu 3)의 핵 생성 행동을 성공적으로 예측했습니다. 이는 이러한 역학이 특정 모델 아키텍처나 학습 레시피의 산물이 아니라, 구조적 특징임을 시사합니다.
• 대규모 공간에서의 한계: 프레임워크는 큰 출력 공간을 가진 작업(예: int_1_500)에서 한계를 보였는데, 이는 신뢰할 수 있는 시드 식별을 어렵게 만들었으며, 희소성(sparsity)과 요소 간 유사성을 고려한 지표의 필요성을 시사합니다.

의의 및 주장
본 논문은 결정화를 물리적 프레임워크를 정렬 연구로 도입하기 위한 "개념 증명(proof of concept)"으로 자리매김합니다. 본 연구의 주요 의의는 분야의 초점을 결과에 대한 **사후 기술(post-hoc description)**에서 역학에 대한 **사전 예측(a priori prediction)**으로 전환하는 데 있습니다. 정렬 과정을 잘 알려진 물리적 현상에 매핑할 수 있음을 입증함으로써, 저자들은 다음과 같은 효과를 기대할 수 있다고 주장합니다.

• 수학적 구조와 검증 가능한 예측 가능성.
• 원칙적인 개입 (예: 다양성을 보존하기 위한 "핵 생성 억제제" 식별).
• 정렬으로 인한 구조가 어디서 오는지, 그리고 왜 그곳으로 수렴하는지에 대한 더 깊은 이해.

저자들은 본 연구가 유한한 출력 공간을 가진 확률적 작업에 국한되어 있지만, 결정화 비유가 개방형 생성 및 추론 작업으로 확장될 수 있는 풍부하고 예측 가능한 프레임워크를 제공한다고 결론짓습니다. 이는 NLP의 새로운 미션, 즉 정렬의 결과를 목록화하는 것이 아니라 정렬의 과정을 이해하는 것으로 제시합니다.