기술 요약: 언어 모델 내 정렬 알고리즘의 메커니즘적 분석

문제 정의

도움이 되고(helpfulness), 해롭지 않으며(harmlessness), 정직한(honesty) 방향으로 대규모 언어 모델(LLM)을 유도하기 위해 설계된 사후 학습 정렬 알고리즘은 주로 "블랙박스"로서 평가됩니다. 성공 여부는 모델의 내부 연산을 어떻게 재형성하는지에 대한 이해보다는 집계된 행동 지표(예: 벤치마크 점수, 인간 선호도 평가)를 통해 측정됩니다. 이러한 진단적 공백은 특정 능력의 저하나 기만적 행동의 출현과 같은 의도하지 않은 부작용을 엄밀하게 예측하는 것을 방해합니다. 초기 근사 정책 최적화(PPO) 패러다임에서 직접 선호 객체인 DPO(Direct Preference Optimization), SimPO(Simple Preference Optimization), ORPO(Odds Ratio Preference Optimization), KTO(Kahneman-Tversky Optimization), GRPO(Group Relative Policy Optimization)를 포함한 다양한 방식으로 발전해 왔으나, 이러한 다양한 목적 함수들이 유사한 내부 표현으로 수렴하는지, 아니면 서로 다른 특징 수준의 변화를 유도하는지에 대한 비교론적 메커즘 통찰력은 부족한 실정입니다.

방법론

저자들은 세 가지 오픈 웨이트 모델 제품군(Llama-3.2-3B, SmolLM3-3B, Qwen3-4B)에 적용된 6가지 선호 최적화 방법(PPO, DPO, SimPO, ORPO, GRPO, KTO)에 대한 체계적인 메커니즘 분석을 제시합니다. 모델들은 UltraFeedback 데이터셋을 사용하여 저차원 적응(LoRA) 방식으로 정렬되었습니다. 본 분석은 세 가지 단계의 해석 가능성 프레임워크를 채택합니다:

1. 선형 프로빙(Linear Probing): 선호 표현을 국소화하기 위해, 저자들은 선택된 완료 문구와 거부된 완료 문구의 잔차 스트림 활성화(residual stream activations)에 로지스틱 회귀 분류기를 훈련시킵니다. 이는 선호 신호가 서로 다른 레이어에서 얼마나 선형적으로 분리 가능한지를 측정하며, 선호 정보가 가장 잘 디코딩되는 "최적"의 레이어를 식별합니다.
2. 희소 오토인코더(Sparse Autoencoders, SAEs): 중첩된 다의적 활성화(superposed, polysemantic activations)를 해석 가능한 단일 의미적 특징(monosemantic features)으로 분해하기 위해, 베이스 모델에 Batch Top-K SAE를 훈련시켰습니다. 이후 이 SAE들을 정렬된 모델의 특정 "앵커(anchor)" 특징 측정에 사용하여, 특징의 억제, 증폭 또는 분산 변화를 정량화합니다.
3. 크로스코더(Crosscoders): 베이스 모델과 정렬된 모델 간의 잠재 공간 기하학을 비교하기 위해, 쌍을 이룬 은닉 상태(hidden states)에 크로스코더를 훈련시켰습니다. 이를 통해 특징을 공유(shared), 베이스 특이적(base-specific), 정렬 특이적(aligned-specific), 감쇄된(attenuated) 또는 재지향된(redirected) 것으로 분류할 수 있습니다. 기하학적 통계(노름 비율 및 각도)를 사용하여 정렬이 건설적 공유(constructive sharing)를 유도했는지, 아니면 비건설적 회전/감쇄(non-constructive rotation/attenuation)를 유도했는지 결정합니다.

주요 기여

본 논문은 정렬이 균일한 행동적 수정이 아니라 이질적인 개입임을 입증합니다. 주요 기여는 다음과 같습니다:

• 포괄적인 정렬 진단: 본 연구는 출력 수준의 벤치마킹을 넘어 내부 표현 분석을 통해 세 가지 서로 다른 아키텍처에 걸쳐 6가지 주요 정렬 방법을 비교한 최초의 화이트박스 비교 연구를 제공합니다.
• 구별되는 정렬 시그니처: 저자들은 서로 다른 목적 함수가 유도하는 질적으로 다른 기하학적 변환을 식별했습니다:
  • KTO 및 GRPO: 이 방법들은 선호 표현의 선형 분리성을 향상시킵니다. KTO는 건설적 특징 공유와 희소하고 높은 살리언스(salience)를 가진 특징의 모집을 통해 이를 달성합니다. GRPO는 그룹 내 분산에 기반하여 그래디언트를 증폭함으로써 강력한 판별력을 이끌어냅니다.
  • DPO 및 ORPO: 이 방법들은 베이스 모델에 비해 선형 분리성을 저하시킵니다. DPO는 공유된 특징의 비건설적 기하학적 회전과 관련이 있으며, 원래의 선호 인코딩 방향에 직교하는 부분 공간으로 표현을 이동시킵니다. ORPO는 선호 관련 활성화를 감쇄시키며, 특정 특징 신호를 현저히 약화시킵니다 (예: Qwen3의 특정 특징에서 중앙값 활성화 400% 감소).
  • PPO 및 SimPO: 이 방법들은 베이스라인 기하학을 대체로 보존하며, KTO/GRPO에서 보이는 건설적 강화나 DPO/ORPO에서 보이는 저하 없이 선호의 선형 디코딩 가능성을 유지합니다.
• 아키텍처 의존적 가변성: 특정 정렬 목적 함수의 내부 효과는 모델 제품군에 따라 균일하지 않습니다. 예를 들어, ORPO는 Llama-3.2와 Qwen3에서 파괴적인 성능 붕괴와 특징 억제를 일으키는 반 반면, SmolLM3에서는 베이스 모델과 유사한 활성화 수준을 유지합니다. 이는 정렬 메커니즘에 대한 주장이 분석되는 특정 베이스 아키텍처와 레이어에 따라 범위가 제한되어야 함을 보여줍니다.

결과

• 선형 프로빙: 선호 판별력의 "낙타 혹(camel-hump)" 패턴(초기-중기 또는 중기-후기 레이어에 집중됨)은 방법론 전반에 걸쳐 지속됩니다. 그러나 KTO와 GRPO가 가장 높은 판별력을 보이는 반면, DTO와 ORPO는 베이스 모델에 비해 감소된 분리도를 보입니다.
• SAE 분석: ORPO는 Llama 및 Qwen 모델에서 앵커 특징의 뚜렷한 억제를 유도하는 반면, KTO는 특징 활성화의 더 높은 분산을 도입하여 더 큰 문맥 의존성을 시사합니다. SmolLM3는 다른 이질성을 나타내는데, GRPO는 프로브 최적 레이어에서만 활성화를 감소시키고 훈련 레이어에서는 오히려 높은 활성화를 보입니다.
• 크로스코더 기하학: KTO의 특징 공유는 기존의 판별력을 빌려와 개선하는 "건설적" 방식입니다. 대조적으로, DPO와 ORPO는 "비건설적" 왜곡을 보입니다. DPO는 특징을 선호 부분 공간으로부터 회전시키고, ORPO는 공유된 특징을 감쇄시킵로 합니다. PPO와 SimPO는 베이스라인 기하학의 보존을 재확인하는 특징 분포를 보여줍니다.
• 행동 상관관계: MT-Bench 점수는 표면적인 성능이 항상 내부적 건전성과 일치하지는 않음을 드러냅니다. 예를 들어, ORPO는 Llama-3.2 점수를 6.33에서 2.12로 급격히 떨어뜨렸는데, 이는 단순한 출력 노이즈가 아닌 내부 표현 드리프트와 특징 감쇄로 진단되었습니다.

의의

본 논문은 행동적 정렬이 균일한 내부 구조 재편을 의미하지 않는다고 주장합니다. 정렬을 일련의 구별되는 표현 변환으로 규정함으로써, 저자들은 안전성과 해석 가능성을 위한 표준화된 특징 수준의 감사가 필요함을 역설합니다. 연구 결과는 정렬 프로토콜이 출력 행동을 개선할 뿐만 아니라 내부 표현의 기하학적 충실도를 유지하거나 향고하도록 하기 위해서는 메커니즘을 인식하는 최적화 목적 함수가 필요함을 시사합니다. 이 연구는 정렬에 대한 "화이트박스" 이해를 향해 나아가며, 저하가 표현 드리프트, 과최적화, 또는 지시 이행 회로의 상실 중 어디에서 기인하는지 탐지하기 위한 진단 프레임워크를 제공합니다.

한계점

저자들은 자신들의 실험이 3B–4B 파라미터 모델로 제한되어 있으며, 표현 변화가 더 큰 프로덕션 모델에서는 비선형적으로 확장될 수 있음을 인정합니다. 또한, 본 분석은 진단적 성격을 띠고 있습니다. 즉, 관찰된 행동에 필요한 혹은 충분한 회로를 확립하기 위해 구성 요소 수준의 인과적 절제(예: 활성화 패칭)를 수행하는 것이 아니라, 디코딩 가능한 정보와 특징 기하학의 변화를 식별하는 데 집중합니다.