기술 요약: 순차적 직접 선호 최적화(DPO)에서의 비균등한 망각(Beyond Uniform Forgetting)

문제 정의

대규모 언어 모델(LLM)을 인간의 선호도에 정렬하는 작업은 일반적으로 유용성(helpfulness), 무해성(harmlessness), 정직성(honesty), 지시 이행(instruction following)과 같은 다중 행동 목표를 최적화하는 과정을 포함한다. 실제 환경에서는 처음부터 다시 학습하는 것을 피하기 위해, 이러한 목표들을 공동으로 최적화하기보다 직접 선호 최적화(DPO)와 같은 방법을 사용하여 순차적으로 최적화하는 경우가 많다. 그러나 후속 학습 단계가 이전 단계에서 학습된 선호도를 균일하게 저하시키는지(파괴적 망각), 아니면 그 결과가 특정 목표 간의 관계, 신호 강도, 그리고 학습 순서에 따라 달라지는지는 여전히 불분명하다.

기존 문헌은 순차적 정렬에서의 망각이 대개 완만하며 작업 의존적이라고 제안하지만, 이전의 분석들은 주로 집계된 지표(예: 다지선다형 정확도)나 지식 벤치마크에 의존해 왔다. 이러한 접근 방식은 샘플 수준의 이질적인 변화를 가릴 수 있으며, 직접적인 그래디언트 충돌(gradient conflict), 분포 드리프트(distributional drift), 또는 신호 불균형(signal imbalance) 중 무엇이 선호도 저하의 주요 동인인지 구분하지 못한다.

방법론

저자들은 Llama-3.1-8B-Instruct와 LoRA 어댑터를 사용하여 체계적인 실증 연구를 수행한다. 실험 파이프라인은 두 개의 서로 다른 선호 목표(단계 1 및 단계 2)를 순차적으로 학습시키고, 각 단계 이후에 모든 목표에 대해 모델을 평가하는 과정을 포함한다.

실험 레짐(Experimental Regimes)

본 연구는 네 가지 뚜렷한 선호 설정에 대해 각각 두 가지 학습 순서(A→B 및 B→A)로 테스트를 진행한다:

1. 분포적 충돌 (HH-RLHF): "유용함"과 "무해함" 목표를 비교하며, 이는 프롬프트 분포와 선호 차원이 서로 다르다.
2. 다중 속성 상호작용 (HelpSteer2): "언어적 장황함(verbosity)"과 "일관성(coherence)"을 비교하여, 미세한 응답 속성 간의 상호작용을 테스트한다.
3. 강한 안전 신호 (PKU-SafeRLHF): "무해함"과 "유용함"을 비교하며, 여기서 안전 신호는 HH-RLHF보다 훨씬 강력하다.
4. 호환 가능한 목표 (UltraFeedback): "지시 이행(IF)"과 "정직성"을 비교하며, 두 목표는 겹치는 응답 품질 행동에 보상을 준다.

평가 프로토콜

미묘한 변화를 포착하기 위해 저자들은 세 가지 수준의 분석을 채택한다:

1. 집계 지표 (Aggregate Metrics):
   • DPO-상대적 보상 마진 (DPO-Relative Reward Margin): 일관된 스케일링을 보장하기 위해 (이전 단계의 어댑터가 아닌) 고정된 베이스 모델 참조 모델에 대한 선호도 격차를 측정한다.
   • 상대적 선호 정확도 (Relative Preference Accuracy): 베이스 모델 대비 선택된 답변(chosen)과 거절된 답변(rejected) 사이의 격차를 개선한 쌍의 비율을 측정한다.
2. 쌍 수준 분석 (Pair-Level Analysis):
   • 길이 정규화 정책 마진 (Length-Normalized Policy Margins): 단계 간 개별 선택/거절 쌍에 대한 마진 변화($\Delta_i$)를 추적한다.
   • 사분위수 분해 (Quartile Decomposition): 쌍들을 단계 1 마진(신뢰도)에 따라 정렬하고 사분위수로 나눈다 (Q1: 어려움/낮은 신뢰도; Q4: 쉬움/높은 신뢰도). 이를 통해 변화가 어디에 집중되는지 결정한다.
3. 메커니즘 진단 (Mechanistic Diagnostics):
   • 그래디언트 코사인 유사도 (Gradient Cosine Similarity): Stage 2 DPO 그래디언트와 고정된 Stage 1 목표 그래디언트(LoRA 파라미터에 대해 계산됨) 사이의 각도를 측정하여 직접적인 대립을 감지한다.
   • 어댑터 이동 (Adapter Movement): 단계 간 LoRA 파라미터의 변위(displacement)를 분석하여 업데이트가 직교하는지 혹은 반대 방향인지 결정한다.

주요 결과

1. 비균등한 망각 패턴

순차적 DPO는 단일한 "균등한 망실" 패턴을 생성하지 않는다. 결과는 목표 관계와 신호 강도에 따라 부분적 저하, 안정성, 쌍 수준의 재분배, 또는 긍정적 전이(positive transfer)까지 다양하게 나타난다:

• HH-RLHF: 부분적 저하를 보인다. 유용함→무해함 순서에서 유용함 마진이 크게 감소(-68.8%)하지만, 중립 베이스라인보다는 높은 수준을 유지한다.
• HelpSteer2: 비대칭적 저하를 보인다. 장황함→일관성 순서에서 장황함은 약간 저하(-6.7%)되는 반면, 일관성은 향상된다.
• PKU-SafeRLHF: 안정성과 긍정적 전이를 보여준다. 강력한 안전 신호가 저하를 방지하며, 무해함→유용함 순서에서 유용함 학습 후 무해함 마진이 실제로 증가(+2.859)한다.
• UltraFeedback: 긍정적 전이를 보여준다. 두 목표 모두 순서와 상관없이 개선되거나 안정적인 상태를 유지하며, 이는 지시 이행과 정직성 사이의 높은 호환성을 시사한다.

2. 쌍 수준 변화의 이질성

집계 지표는 개별 선호 쌍 사이의 상당한 변동을 가릴 수 있다:

• 재분배 (Redistribution): 후속 학습은 이전에 학습된 일부 선호도는 저하시키는 동시에 다른 선호도는 향상시킬 수 있다.
• 사분위수 역학 (Quartile Dynamics): 변화의 집중도는 설정마다 다르다.
  • HH-RLHF (유용함→무해함)의 경우, 저하는 고신뢰도(Q4) 쌍에 집중된다.
  • PKU-SafeRLHF (무해함→유용함) 및 UltraFeedback의 경우, 고신뢰도 쌍은 종종 강화(향상)되며, 변화는 사분위수 전반에 걸쳐 다르게 분포된다.
  • 이는 "망각"이 균일한 이동이 아니라, 특정 목표 상호작용에 따른 구조화된 재분배임을 나타낸다.

3. 메커니즘적 통찰: 직접적인 그래디언트 충돌의 부재

직접적인 그래디언트 대립이 망각을 유발한다는 가설과는 반대로:

• 그래디언트 직교성 (Gradient Orthogonality): 8가지 모든 순서에서 Stage 2 그래디언트와 이전 목표의 참조 그래디언트 사이의 코사인 유사도는 0에 가깝다 (평균 각도 $\approx 90^\circ$). 체계적인 그래디언트 대립의 증거는 없다.
• 어댑터 이동 (Adapter Movement): Stage 2 업데이트는 Stage 1 어댑터와 직교하는 방향(코사인 $\approx 0$)으로 이동하며, 이를 역전시키지 않는다.
• 시사점: 선호도 변화는 직접적인 그래디언트 충돌보다는 간접적인 메커니즘, 즉 분포 드리프트(distributional drift), 신호 불균형(signal imbalance) 또는 간접적인 파라미터 이동에 의해 발생할 가능성이 높다.

기여

1. 체계적 실증 연구: 본 논문은 네 가지 서로 다른 선호 레짐에 걸쳐 순차적 DPO를 종합적으로 분석함으로써, 선호도 변화가 단순히 순차적 학습 때문이 아니라 목표 관계와 신호 강도에 의해 결정되는 스펙트럼(망각에서 긍정적 전이까지)임을 입증한다.
2. 쌍 수준 진단: 저자들은 사분위수 분해를 이용한 쌍 수준 정책 마진 분석을 도입한다. 이는 집계된 보상 마진과 상대적 정확도가 숨기고 있는 이질적인 재분배 패턴을 드러낸다.
3. 메커니즘적 증거: 그래디언트 코사인 유사도와 어댑터 이동을 측정함으로써, 본 연구는 업데이트 방향이 거의 직교함에도 불구하고 선호도 변화가 발생한다는 증거를 제시하여, 직접적인 그래디언트 대립이 망각의 주요 동인이라는 견해에 도전한다.

의의 및 주장

본 논문은 향후 순차적 정렬 파이프라인이 후속 목표가 이전 선호도에 균일하게 영향을 미칠 것이라고 가정해서는 안 된다고 주장한다. 대신, 실무자들은 목표 호환성과 신호 강도를 반드시 고려해야 한다.

저자들은 자신들의 발견이 직접적인 그래디언트 충돌보다 간접적인 메커니즘(드리프트, 신호 불균형)이 선호도 변화의 더 유력한 동인임을 시사한다는 점을 조심스럽게 주장한다. 또한, 8B 모델에 Lo-RA 어댑터를 사용했다는 점과 메커니즘 진단이 파라미터 공간에 국한되었다는 한계를 언급하며, 일반화 가능성을 확인하기 위해 향후 연구에서 더 큰 모델과 전체 파라미터 미세 조정(full-parameter fine-tuning)으로 진단을 확장할 필요가 있다고 제언한다. 이 연구의 목적은 특정 새로운 알고리즘을 제안하는 것이 아니라, 순차적 사후 학습 파이프라인의 모니터링 및 설계 능력을 개선하는 데 있다.