기술 요약: MENTIS – 언어 모델의 다중 스케일 잠재 비틀림(Latent Torsion) 측정

1. 문제 정의

선호도 정렬(Preference Alignment, PA)은 대규모 언어 모델(LLM)의 관찰 가능한 행동을 크게 개선해 왔으나, 지시 튜닝(Instruction-Tuned, IT) 모델을 PA 모델로 변환할 때 발생하는 내부 기하학적 변화는 여전히 불분명합니다. 기존의 행동 수준 평가(예: 탈옥 저항성, 거절률)는 프롬프트 인젝션과 같은 적대적 조건에서 정렬된 시스템이 여전히 실패한다는 점을 고려할 때 불충분합니다.

본 논문이 다루는 핵심 문제는 정렬이 내부 연산을 어떻게 재구성하는지를 측정하기 위한 진단 프레임워크가 부족하다는 것입니다. 구체적으로 본 논문은 다음을 질문합니다:

• IT 모델이 PA 모델이 될 때 어떤 기하학적 구조가 변화하는가?
• 이러한 변화는 깊이(레이어)에 따라 어디에 집중되는가?
• 이러한 변화는 개념, 프롬프트, 모델 제품군에 따라 얼마나 선택적으로 변하는가?

저자들은 사후 학습(post-training)이 단순한 정적 은닉 상태 프로브(hidden-state probes)나 행동 감사(behavioral audits)를 넘어, 모델의 **태스크 조건부 방향 재지향(task-conditioned directional reorientation)**을 이해할 수 있는 측정 가능한 흔적을 남긴다고 주장합니다.

2. 방법론: MENTIS 프레임워크

MENTIS(Measuring Multi-Scale Latent Torsion in Language Models)는 쌍을 이룬 IT 및 PA 체크포인트를 비교하도록 설계된 기하학 우선 프레임워크입니다. 이 프레임워크는 '신념(belief)'을 상징적 명제가 아니라, 태스크 조건부 내부 방향—즉, 특정 프롬프트 하에서 타겟 토큰의 지지도를 높이는 은닉 상태 공간 내의 국소적 방향—으로 정의합니다.

2.1 핵심 정의

• 레이어별 방향장 ($v_\ell$): 레이어 $\ell$에서의 은닉 상태 $h_\ell$에 대한 타겟 토큰 $y$의 로그 확률의 그래디언트로 정의됩니다. 이는 타겟을 지지하는 데 있어 가장 가파른 국소적 방향을 나타냅니다.
• 정렬 유도 시프트(Alignment-Induced Shift): PA 모델($v^{(1)}$)과 IT 모델($v^{(0)}$)의 방향장 차이를 크기($\Delta mag$)와 각도($\Delta ang$)로 측정한 것입니다.

2.2 비틀림 지표 (Torsion Metrics)

MENTIS는 네트워크의 깊이에 따른 이러한 방향장의 "회전(turning)"을 정량화합니다:

1. 각 비틀림 (Angular Torsion, $T$): 깊이 궤적을 따라 인접한 레이어 간의 회전 각도($\omega_\ell$)를 누적한 합입니다. 정렬 유도 시프트는 $\Delta T = T^{(PA)} - T^{(IT)}$입니다.
2. 행렬 비틀림 (Matrix Torsion, $T_1$): 교차 레이어 은닉 상태 공분산 행렬의 반대칭 성분에서 유도된 레이어별 공분산 기반 노름(norm)입니다. 이는 레이어에서의 총 회전 에너지를 측정합니다.
3. 스펙트럼 비틀림 (Spectral Torsion, $T_2$): 회전 신호의 스펙트럼 모드 분포에 대한 분산을 측정하는 보조 진단 지표입니다.
4. 에너지-광도-활성화 (Energy-Radiance-Activation, ERA): 레이어별 차이 프로파일($\Delta \tau_\ell$)을 정규화하여 정렬 유도 비틀림이 가장 집중되는 피크 레이어($\ell^\star$)를 식별하는 국소화 지표입니다.

2.3 다중 스케일 측정

프레임워크는 세 가지 스케일에서 작동합니다:

• 단어 수준 (Word Level): 개념 조건부 비틀림 변화를 분석하여 어떤 의미론적 개념이 가장 큰 재지향을 겪는지 결정합니다.
• 프롬프트 수준 (Prompt Level): 안전한 프롬프트와 안전하지 않은 프롬프트 제품군 사이의 비틀림 변화를 비교합니다.
• 모델 수준 (Model Level): 레이어별 프로파일을 조사하여 효과가 얕은 층, 중간 층, 늦은 층 또는 분산되어 있는지 결정합니다.

2.4 실험 설정

• 모델: 네 가지 7~8B 파라미터 모델 쌍 (OLMo-2-1124-7B, Mistral-7B-v0.3, Llama-3.1-8B, Tülu-3-8B).
• 벤치마크: 20,439개의 프롬프트, 18개의 대표 개념, 명시적인 안전/불안전 라벨을 가진 개념 구조화 정렬 벤치마크인 LITMUS.
• 베이스라인: CKA(표현 유사성), 코사인 거리(체크포인트 드리프트), RepE(선형 스티어링 방향)와 비교합니다.

3. 주요 결과

3.1 비틀림은 일반적인 드리프트와 정렬을 구분함

MENTIS는 표준 베이스라인에 비해 우수한 변별력을 보여줍니다.

• 개념 변별력: MENTIS는 개념 전반에 걸쳐 0.64의 변동 계수(CV)를 달성하여, CKA(0.08) 및 RepE(0.21)를 크게 상회했습니다.
• 안전/불안전 변별력: MENTIS는 안전 vs 불안전 프롬프트를 구분하는 데 0.89의 AUC를 달성했으며, 이는 코사인 거리의 0.64와 대조됩니다.
• 널 검증 (Null Verification): 동일 모델(IT→IT) 비교 시 비틀림 시프트가 $10^{-4}$ 미만으로 나타나, 관찰된 IT→PA 시프트가 수치적 아티팩트가 아님을 확인했습니다.

3.2 의미론적 선택성

정렬 유도 재구성은 균일하지 않고 선택적입니다.

• 규범적 vs 사실적: 규범적 개념은 사실적 개념($\Delta T_1 = 1.47$)보다 유의미하게 더 큰 비틀림 시프트($\Delta T_1 = 1.74$)를 보였습니다.
• 미세한 변이: 관련된 규범적 개념들(예: JUSTICE, PEACE, PROTEST) 사이에서도 비틀림 시프트가 다양하게 나타나며, 이는 MENTIS가 거친 의미론적 파티션을 넘어 방향 재지향을 포착함을 나타냅니다.
• 프레이밍 민감도: 이 지표는 단순히 데이터셋 라벨을 재현하는 것이 아니라 정렬에 중요한 프레이밍을 추적합니다 (예: 사실적이라고 라벨링된 "WAR" 개념이 단일 개념 중 가장 큰 시프트를 보임).

3.3 엔트로피 상관관계

비틀림은 문맥 엔트로피와 음의 상관관계를 갖습니다.

• 엔트로피가 높은 문맥(불확실성이 큰 경우)은 더 낮은 비틀림 노름과 연관됩니다.
• 가장 강력한 정렬 유도 재구성은 의미론적으로 구조화된 저-중 엔트로피 문맥에서 발생하며, 이는 정렬이 불확실성을 증폭하기보다는 안정적인 태스크 조건부 방향을 수정함을 시사합니다.

3.4 깊이 국소화 (ERA)

정렬 효과는 보편적인 레이어가 아닌 아키텍처 특이적 깊이 대역에 국소화됩니다.

• OLMo-2-1124-7B & Tülu-3-8B: 레이어 29–30에서 피크를 기록.
• Llama-3.1-8B: 레이어 20에서 피크를 기록.
• Mistral-7B-v0.3: 레이어 14에서 피크를 기록.
  이는 IT→PA 업데이트가 각 모델 제품의 특정 표현 조직과 상호작용함을 나타냅니다.

3.5 안전 vs 불안전 프롬프트

불안전한 프롬프트(거절 메커니즘을 통한)가 가장 많은 내부 변화를 유도할 것이라는 가설과 달리, 안전한 프롬프트가 모든 네 가지 아키텍처에서 더 큰 비틀림 시프트를 유도했습니다.

• 저자들은 이를 안전한 프롬프트가 거절으로 붕괴되지 않으면서도 도움을 주는 능력과 규범 일관적 구조를 유지해야 하기 때문에, 정형화된 경로가 트리거되는 불안전한 프롬프트보다 더 넓은 내부 재구성을 유도하는 것으로 해석합니다.

4. 의의 및 주장

본 논문은 MENTIS가 선호도 정렬의 첫 번째 구조화되고 깊이 국소화된 기하학적 시그니처를 제공한다고 주장합니다.

• 행동을 넘어: 결과는 행동 수준의 평가만으로는 드러낼 수 없는 내부 기하학적 흔적이 정렬에 존재함을 시사합니다.
• 신념의 조작적 정의: 신념을 태스크 조건부 내부 방향으로 정의함으로써, 본 논문은 철학적 신념 수정과는 구별되는, 방향장의 재지향으로서의 "신념 변화"를 추적할 수 있는 측정 가능한 방법을 제시합니다.
• 진단적 유용성: 프레임워크는 정렬이 글로벌 오프셋이 아니라 가치 중심적 개념과 특정 아키텍처 레이어에 집중된 선택적 재구성임을 식별합니다.
• 한계: 저자들은 MENTIS가 인과적 이론이 아닌 진단 프레임워크임을 명시합니다. MENTIS는 정렬의 기하학적 상관관계를 식별하지만, 높은 비틀림 레이어나 개념이 정렬된 행동에 인과적으로 필수적인지는 증명하지 않습니다. 절대적인 효과 크기는 작으며($\Delta \tau \in [0.002, 0.008]$), 이는 기여가 원시적 이동의 크기보다는 시프트의 구조(선택성, 엔트로피 상관관계, 깊이 국소화)에 있음을 강조합니다.

결론적으로, 본 논문은 선호도 정렬이 개념에 대해 선택적이고, 엔트로피에 의해 구조화되며, 아키텍처 특이적 깊이에 국소화된 방식으로 내부 연산을 재구성한다는 것을 보여줌으로써, 정렬된 LLM의 내부 메커니즘을 이해하는 새로운 관점을 제공합니다.