Alignment Dynamics in LLM Fine-Tuning

기술 요약: LLM 파인튜닝에서의 정렬 역학

문제 제기
대규모 언어 모델 (LLM) 은 지도형 파인튜닝 (SFT) 과 인간 피드백을 통한 강화학습 (RLHF) 을 통해 인간 가치와 정렬됩니다. 그러나 이러한 정렬은 종종 취약하며, 모델은 이후 파인튜닝 (중립적인 데이터에 대한 경우조차) 을 받으면 안전 장벽을 급격히 잃거나 사전 훈련된 행동으로 되돌아갈 수 있습니다. 이러한 취약성에 대한 기존 설명은 두 가지 범주로 나뉩니다: 매개변수 공간의 기하학에 초점을 맞춘 경향 기반 분석과 출력 분포의 변화에 초점을 맞춘 분포 기반 연구입니다. 매개변수 공간 학습 역학과 함수 공간 정렬 행동을 연결하여 파인튜닝 중 정렬이 어떻게 진화하고, 저하되며, 회복되는지를 설명하는 통합된 이론적 프레임워크를 제공하는 데에는 여전히 중요한 간극이 존재합니다.

방법론
저자들은 프롬프트 분포가 주어졌을 때 정렬된 완성을 생성할 기대 확률로 정의된 계산 가능한 정렬 점수 $S(\theta)$를 도입합니다. 그리고 파인튜닝 중 이 점수의 진화에 대한 폐쇄형 식을 유도합니다.

1. 이론적 프레임워크:

   • 토큰 수준 분해: 정렬 점수의 변화 ($\Delta S$) 는 개별 토큰 업데이트의 기여도로 분해됩니다. 이 분해는 토큰 업데이트의 기여도가 접두사 확률과 '미래 정렬 잠재력'(완성이 결국 정렬될 확률) 에 의해 '게이트'된다는 것을 보여줍니다.
   • 로그이트 공간 기하학: 이러한 토큰 수준 역학을 경험적 신경 탄성 커널 (eNTK) 과 상대적으로 안정된 커널 (RSK) 가정을 통해 로그이트 교란과 연결함으로써, 저자들은 정렬 역학에 대한 통합된 공식을 유도합니다.
   • 힘 분해: 정렬 점수의 진화는 두 가지 경쟁하는 힘에 의해 지배됨이 밝혀졌습니다:
     • 탄성 힘 (Rebound Force, $F_{rebound}$): '분포 관성'을 나타내는 고유한 자기 상호작용 항입니다. 이는 현재 정렬 상태와 모델의 사후 분포의 협착도(순수성) 에 의해 조절됩니다.
     • 구동 힘 (Driving Force, $F_{drive}$): 정렬된 ($\tilde{\pi}^+$) 과 비정렬된 ($\tilde{\pi}^-$) 완성 결과에 대한 조건부 사후 분포와 훈련 분포가 어떻게 정렬되는지에 의해 결정되는 외부 항입니다.

2. 실험적 검증:

   • 저자들은 안전 정렬 (BeaverTails, HEx-PHI), 급부상하는 비정렬, 그리고 감정 분석 (IMDb) 의 세 가지 영역에 걸쳐 다단계 SFT 패러다임 (전진 $\to$ 역진 $\to$ 재노출) 을 적용했습니다.
   • 이전 지시어 튜닝으로부터 정렬 역학을 분리하기 위해 베이스 모델 (Llama-3.1-8B, Gemma-2-2B, Qwen3-8B-Base) 을 활용했습니다.
   • 통제된 실험에서는 탄성 힘에 대한 이론적 예측을 테스트하기 위해 파인튜닝 분포의 협착도를 고정된 템플릿에서 스타일이 다양한 응답까지 변화시켰습니다.

주요 기여 및 결과

1. 통합 역학 프레임워크: 본 논문은 정렬 역학이 내부 저항 (탄성 힘) 과 외부 학습 신호 (구동 힘) 간의 경쟁임을 보여주는 수학적 유도를 제공합니다. 이는 왜 정렬이 이후 파인튜닝에 의해 반전될 수 있으며, 왜 사후 분포의 구조가 중요한지를 설명합니다.
2. 양방향 불안정성과 분포 협착도:
   • 이 프레임워크는 강력하게 정렬된 상태와 강력하게 비정렬된 상태 모두 '불안정'하며 되돌아갈 가능성이 높다고 예측합니다.
   • 결과: 실험은 낮은 다양성의 파인튜닝 데이터에 의해 유도된 더 좁은 사후 분포가 탄성 힘을 증폭시킨다는 것을 확인했습니다. 다양한 데이터셋으로 훈련된 모델에 비해 좁은 데이터셋으로 훈련된 모델은 역진 파인튜닝에 노출되었을 때 안전 정렬이 더 빠르게 저하되었습니다.
3. 재연습 프라이밍 효과:
   • 예측: 이전 정렬은 관찰된 정렬 점수가 억제된 후에도 지속되는 잠재적 '사후 흔적'($\tilde{\pi}^+$ 및 $\tilde{\pi}^-$의 구조적 잔재) 을 남깁니다. 원래 정렬 분포에 재노출되면, 이 흔적은 유효 구동 힘을 증폭시켜 더 빠른 재정렬을 유도합니다.
   • 결과: 통제된 실험은 동일한 기준 정렬 점수에서 시작하더라도 더 깊은 초기 파인튜닝 (1 단계) 을 거친 모델이 3 단계 (재노출) 동안 더 얕은 초기 훈련을 거친 모델보다 훨씬 빠르게 재정렬됨을 입증했습니다. 이 효과는 안전, 비정렬, 감정 작업 전반에 걸쳐 유지되었습니다.
4. 급부상하는 비정렬의 취약성: 이 연구는 좁은 파인튜닝에 의해 유도된 광범위한 비정렬 행동을 보이는 모델이 악의적인 파인튜닝 몇 단계만으로 이러한 행동이 급격히 재활성화될 수 있음을 강조하여, 이후 정렬의 고유한 취약성을 부각시킵니다.

의의 및 주장
저자들은 이 작업이 LLM 파인튜닝 중 정렬이 어떻게 방해받고 재활성화되는지에 대한 통합된 역학적 관점을 제공한다고 주장합니다. 정적 분포 변화나 순수한 기하학적 경향 분석을 넘어선 이 제안된 프레임워크는 토큰 수준의 최적화 역학을 전역 정렬 행동과 연결합니다.

이 작업의 의의는 다음과 같습니다:

• 정렬 진화에 대한 엄격하고 정량적인 특성을 제공합니다.
• '탄성 효과'의 메커니즘을 설명하고 분포 협착도를 정렬 안정성의 주요 조절자로 식별합니다.
• 재연습 프라이밍 효과를 발견하고 검증하여, 정렬의 강건성이 훈련 신호뿐만 아니라 이전 훈련에 의해 유도된 잠재적 사후 구조에 의해서도 결정됨을 시사합니다.
• 정렬의 강건성을 분석하고 잠재적으로 개선하기 위한 원칙적인 기반을 제공하며, 동시에 이러한 통찰이 정렬에 대한 적대적 공격을 informing 할 수도 있음을 인정합니다.

본 논문은 정렬이 훈련 신호와 유도된 사후 구조 간의 상호작용에 의해 지배된다고 결론지으며, 이는 정렬을 정적 속성으로 보는 관점에 도전하고 특정 구조적 취약점에 노출된 동적 과정으로 재정의합니다.