기술 요약: 온라인 데이터 선택은 암묵적 정렬이다

문제 정의

현재 대규모 언어 모델(LLM)의 사후 학습(post-training) 패러다임은 흔별하게도 지도 미세 조정(SFT)을 능력 적응 단계로, 정렬(안전성, 유용성, 스타일)을 선호도 최적화나 강화 학습이 처리하는 별도의 단계로 취급한다. 본 논문은 이러한 구분이 불완전하며 오해의 소지가 있다고 주장한다. SFT 과정에서 온라인 데이터 선택(손실, 품질, 다양성 또는 효용성을 기반으로 실시간으로 예시를 점수화하고 필터링하는 방식)이 채택될 때, 이 선택 과정 자체가 하나의 암묵적 정렬 메커니즘으로 작용한다.

핵심 문제는 서로 다른 선택 정책이 동일한 토큰 예산과 베이스 모델을 사용하더라도 서로 다른 "행동 드리프트(behavioral drifts)"를 유발한다는 점이다. 이러한 드리프트는 명시적인 선호도 최적화가 일어나기 전부터 모델의 유용성, 거절률, 장황함, 진실성, 아첨(sycophancy), 탈옥 강건성에 관한 선호도를 변화시켜 모델의 페르소나를 실질적으로 조종한다. 기존의 평가 방식은 대개 작업 정확도나 검증 손실에 집중하며, 이러한 정렬 관련 행동에 미치는 부수적 효과를 포착하는 데 실패한다.

방법론

이론적 정식화

저자들은 온라인 데이터 선택을 **재가중치 부여된 SFT 목적 함수(reweighted SFT objective)**로 정식화한다. 선택기가 선택된 예시에 가중치 $w_\pi(i)$를 할당함으로써, 선택기는 원래의 풀 분포 $p$에 대해 기울어진 학습 분포 $q_\pi$를 유도한다.

• 암묵적 선호: 온라인 스코어러는 암묵적 보상 모델로서 기능한다. 선택 가중치는 응답 스타일과 안전 태세에 대한 선호도를 정의한다.
• 행동 드리프트: 본 논문은 특정 선택기 $\pi$로 훈련된 모델과 베이스라인 무작위 선택기 $\pi_0$ 사이의 행동 벡터 $b(M)$ 차이를 정렬 드리프트 $\Delta A(\pi)$로 정의한다.
• 그래디언트 분석: 1차 근사 경계(Proposition 1)는 가중치 부여된 그래디언트 평균의 차이와 행동 드리프트를 연결한다. 만약 선택기의 가중치가 특정 행동 속성(예: 길이, 거절 스타일)과 상관관계를 갖는다면, 결과적인 그래디언트 업데이트는 작업 검증 손실이 유사하더라도 해당 축을 따라 모델의 행동을 변화시킨다.

실험 프로토콜: 정렬 드리프트 감사 (ADA)

이 현상을 정량화하기 위해 저자들은 통제된 프로토콜인 **정렬 드리프트 감사(Alignment Drift Auditing, ADA)**를 도입한다.

1. 설정: 고정된 베이스 모델(Llama-3.1-8B)에서 시작하여, 동일한 하이퍼파라미터와 토큰 예산(풀의 1%, 5%, 10%, 25%) 하에서 서로 다른 온라인 선택 정책을 사용하여 여러 번의 SFT를 수행한다.
2. 선택 정책:
   • 무작위(Random): 베이스라인.
   • 손실 기반(Loss-based): 높은 교사 강제 손실(teacher-forced loss) 예시를 선택한다.
   • 품질 기반(Quality-based): 외부 판별기나 휴리스틱(명확성, 완결성)을 기반으로 예시를 선택한다.
   • 다양성 기반(Diversity-based): 의미적 커버리지를 최대화하도록 예시를 선택한다.
   • 정렬 인식 선택(Alignment-Aware Selection, AAS): 기본 효용 점수를 최적화하면서 동시에 선택된 데이터의 속성 혼합(예: 거절 표식, 장황함)이 원래의 풀로부터 벗어나는 것을 억제하는 진단용 선택기이다.
3. 평가 지표: 모델을 유용성, 유해 거절, 양성 과잉 거절, 장황함, 진실성, 아첨, 탈옥 강건성, 그리고 캘리브레이션의 8가지 행동 축에 대해 평가한다.
4. 데이터 진단: 선택된 서브셋을 분석하여 전체 풀과 비교했을 때 어떤 속성(예: 긴 답변, 전제 동의)이 과잉 대표되는지 "농축 비율(enrichment ratios)"을 결정한다.

주요 기여

1. 암묵적 정렬의 정식화: 본 논문은 온라인 SFT 데이터 선택이 단순한 효율성 도구가 아니라, 감독된 목적 함수를 재가중치 부여함으로써 어시스턴트의 행동에 대한 암묵적 선호를 정의하는 메커니즘임을 입증한다.
2. 정렬 드리프트 감사(ADA): 선택에 의한 행동 지표의 인과적 영향을 격리하여, 표준 SFT 드리프트와 선택기에 의한 드리프트를 분리하는 새로운 평가 프로토콜을 제시한다.
3. 발산의 실증적 증거: 선택기가 통계적으로 구별 불가능한 작업 정확도를 달성하더라도, 안전 및 스타일 지표에서는 급격하고 구조적이며 재현 가능한 발산을 유도할 수 있음을 보여준다.
4. 정렬 인식 선택(AAS): 선택된 데이터의 속성 농축을 억제함으로써 데이터 효율성을 유지하면서도 정렬 드리프트를 제어하는 진단적 선택기를 제안한다.

주요 결과

• 작업 정확도 vs. 행동 드리프트: 선택기들이 작업 성능(예: 정확도 차이 0.8 이내) 면에서 일치할 수 있음에도 불구하고, 행동 결과에서는 크게 다를 수 있다. 예를 들어, 10% 토큰 예산에서 품질 기반 선택과 손실 기반 선택은 작업 점수가 0.8점 차이 내에 있었으나, 유해 거절률에서는 8점 이상, 양성 과절 거절에서는 3점 이상의 차이를 보였다.
• 드리프트의 방향성:
  • 품질 기반 선택은 유용성과 유해 거절을 증가시키는 경향이 있었으나, 장황함, 양성 과잉 거절, 아첨 또한 크게 증가시켰다.
  • 손실 기반 선택은 유용성을 개선했으나 유해 거절과 탈옥 강건성을 감소시켰으며, 장황함과 아첨을 증가시켰다.
  • 다양성 기반 선택은 드리프트의 크기를 줄였으나 완전히 제거하지는 못했다.
• 농축 상관관계: 행동 드리프트의 방향은 선택된 데이터의 속성 혼합에 따라 예측 가능하다. 예를 들어, 품질 선택은 "긴 답변"과 "거절 표식"을 농축시켰으며, 이는 장황함 및 거절률 증가와 직접적인 상관관계를 가졌다.
• 예산 민감도: 정렬 드리프트는 선택 압력이 가장 높은 낮은 토큰 예산(1–5%)에서 가장 두드렷하게 나타난다. 예산을 늘리면 드리프트가 감소하지만, 선택기에 의한 차이는 25%에서도 지속된다.
• AAS의 효과: 제안된 AAS 방식은 대부분의 작업 성능 이득을 유지하면서도 표준 손실/품질 선택에 비해 정렬 드리프트의 크기를 절반 이상 성공적으로 줄였다.

의의 및 주장

본 논문은 온라인 SFT 데이터 선택이 단순히 데이터 효율성 도구가 아니라, 정렬 파이프라인의 필수적인 부분으로서 보고되고 평가되어야 한다고 주장한다.

• 선택의 재정의: 온라인 선택기는 일반적으로 보상 모델에 할당되는 역할을 수행하며, 명시적인 정렬 단계 이전에 어시스턴트의 페르소나를 조종한다.
• "품질"의 재정의: 고품질 데이터는 행동적으로 중립적이지 않다. 그것은 암묵적인 스타일과 정책적 입장(예: 장황함, 순응성)을 내포한다. 품질을 위해 데이터를 선택하는 것은 의도치 않게 특정하고 잠재적으로 바람직하지 않은 페르소나를 선택하는 결과를 초래할 수 있다.
• 공동 설계의 필요성: 선택된 데이터가 모델을 원하는 행동 영역으로 이동시키거나 멀어지게 하므로, 데이터 선택 단계와 선호도 최적화 단계는 독립적으로 다루기보다 공동으로 설계되어야 한다.
• 실무적 시사점: 고위험 배포 환경에서 거절 경계, 답변 길이, 또는 아첨과 같은 변화는 부차적인 지표가 아니라 핵심적인 제품 행동이다.

저자들은 암묵적 정렬에 대한 감사가 없다면, 실무자들이 작업 효율성은 높지만 행동적으로는 정렬되지 않은 모델을 배포할 위험이 있으며, 이는 표준 정확도 지표로는 탐지할 수 없는 숨겨진 안전성 및 스타일의 퇴보를 초래할 수 있다고 결론짓는다.