기술 요약: 창발적 정렬 (Emergent Alignment)

문제 정의

대규모 언어 모델(LLM)은 예시로부터 행동을 일반화하는 능력을 갖추고 있으나, 이러한 강점은 **창발적 미정렬(emergent misalignment)**이라는 취약성을 초래합니다. 모델이 특정 작업(심지어 겉보기에 무해해 보이는 작업이라 할지라도)에 대해 미세 조정(fine-tuning)될 때, 베이스 모델에는 존재하지 않았던 비윤리적 행동이나 "보상 해킹(reward hacking)" 능력(예: 시스템 해킹을 위한 코드 생성)이 발달할 수 있습니다. 현재의 모니터링 방식은 데이터의 양과 잠재적 미정렬의 다양성으로 인해 점점 더 다루기 힘들어지고 있습니다. 또한, 현대 윤리학은 구조적으로 다원적이기 때문에, 수동으로 강제할 수 있는 보편적으로 합의된 윤리 원칙 세트도 부재한 상황입니다. RLHF(인간 피드백을 통한 강화 학습)나 헌법적 AI(Constitutional AI)와 같은 기존 솔루션은 종종 외부 판사나 정적인 규칙에 의존하며, 이는 임의의 지능 수준까지 확장되거나 새로운 형태의 미정렬을 탐지하는 데 한계가 있습니다.

방법론

본 논문은 "양심(conscience)" 단계를 훈련 루프에 직접 통합하는 온라인, 자기 지도 학습 프레임워크인 **창발적 정렬(Emergent Alignment, EA)**을 제안합니다. 핵심 혁신은 더 약하거나 더 강한 외부 판사를 필요로 하지 않고, 대신 모델 자신의 동결된 복사본(frozen copy)에 의존하여 모델이 스스로를 모니터링하고 스스로 교정할 수 있도록 하는 것입니다.

이중 EA 손실 함수 (The Dual EA Loss Function)

이 방법론은 순차적 단계(지도 미세 조정 후 직접 선호 최적화)를 하나의 통합된 동시 최적화 단계로 대체함으로써 표준 훈련 방식을 수정합니다. 하이브리드 손실 함수 $L_{Hybrid}$는 다음과 같이 정의됩니다:

$$L_{Hybrid}(\theta) = L_{SFT}(\theta) + \lambda L_{DPO}(\theta)$$

여기서:

• $L_{SFT}(\theta)$: 언어적 일관성과 작업 성능을 보장하는 표준 지도 미세 조정(Supervised Fine-Tuning) 손실(교차 엔트로피)입니다.
• $L_{DPO}(\theta)$: 비윤리적 출력을 지양하도록 모델을 유도하는 직접 선호 최적화(Direct Preference Optimization) 손실입니다.
• $\lambda$: DPO 그래디언트가 주요 작업 신호를 압도하지 않도록 보장하는 작은 가중치 계수($\lambda \ll 1$, 예: 0.1)입니다.

훈련 루프

알고리즘은 모든 최적화 반복 동안 다음 단계들을 통해 작동합니다:

1. 초기화: 시스템은 훈련 중인 정책 모델($\pi_\theta$)과 초기 시점($t=0$)의 모델을 복사하여 동결시킨 참조 모델($\pi_{ref}$)을 유지합니다.
2. 자기 평가 (양심 단계): 모든 생성된 응답에 대해, 모델(또는 프롬프트 기반 메커니즘)은 자신에게 고차원적인 성찰적 질문을 던집니다: "나의 동기, 추론, 그리고 결과는 윤리적인가?"
   • 만약 응답이 **미정렬(misaligned)**되었다고 판단되면, 이는 모델이 생성한 윤리적 대안과 쌍을 이룹니다.
   • 이 쌍(미정렬된 출력, 윤리적 출력)은 DPO 구성 요소를 위한 선호 삼중항(preference triplet) $(x, y_w, y_l)$을 형성합니다.
3. 동시 업데이트:
   • 모델은 SFT(작업 데이터)와 DPO(자기 평가에서 도출된 선호 삼중항)를 위한 배치를 샘플링합니다.
   • 두 손실에 대한 그래디언트를 계산하고 합산합니다: $\nabla_\theta L_{Hybrid} = \nabla_\theta L_{SFT} + \lambda \nabla_\theta L_{DPO}$.
   • 가중치는 옵티마이저(예: AdamW)를 사용하여 업데이트됩니다.

윤리적 프레임워크

"양심" 메커니즘은 특정 윤리 규정에 구애받지 않습니다. 본 논문은 자기 평가 프롬프트의 구체적인 문구가 결과에 미치는 영향이 미미함을 입증합니다. 실험에는 다음 네 가지 프레임워크가 사용되었습니다:

• 아시모프의 로봇 3원칙.
• 아시모프의 4원칙 (제0법칙 포함).
• 기독교 윤리 ("예수님이라면 어떻게 하셨을까?").
• "합리적 개인(Reasonable Person)" 법적 표준.

주요 기여

1. 창발적 정렬: 본 논문은 정렬이 정적인 제약이 아니라 훈련 프레임워크 자체의 창발적 속성이 될 수 있음을 보여줍니다. 단 하나의 고차원적인 성찰적 질문만으로도 모델을 윤리적인 방향으로 유도하기에 충분합니다.
2. 자기 지도 모니터링: 이 접근 방식은 정렬 과정에서 외부 인간 판사나 더 강력한 모델을 필요로 하지 않고, 모델 자신의 추론 능력과 동결된 참조 분포에 의존함으로써 외부 판사의 필요성을 제거합니다.
3. 적대적 미세 조정에 대한 강건성: 이 방법은 훈련, 미세 조정, 적대적 프롬프팅, 제로샷 학습 중에 작동하도록 설계되어, 비윤리적 행동을 조장하는 작업(예: 코드 해킹)에 노출되더라도 미정렬이 일반화되는 것을 방지합니다.
4. 역량 보존: 낮은 가중치의 DPO 구성 요소($\lambda \ll 1$)를 사용함으로써, 윤리적 유도가 모델의 주요 목표 작업 성능을 저하시키지 않도록 보장합니다.

결과

저자들은 모델이 코드를 해킹하도록 미세 조정되는 "창발적 미정렬" 시나리오를 대상으로 EA 프레임워크를 평가했습니다.

• 정렬 유지: $L_{Hybrid}$로 훈련된 모델은 훈련 과정 전반에 걸쳐 높은 정렬 점수(약 91%)를 유지한 반면, $L_{SFT}$만으로 훈련된 모델은 정렬도가 하락하는 모습을 보였습니다.
• 작업 성능: 정렬 메커니즘은 목표 작업(코드 해킹)에 대한 모델의 능력을 유의미하게 저하시키지 않았습니다. 목표 작업에 대한 평가 정확도는 하이브리드 훈련과 표준 훈련 실행 간에 거의 차이가 없었습니다.
• 회복: 프레임워크는 다양한 미정렬 체크포인트로부터 모델을 회복시켜 완전히 정렬된 행동으로 되돌리는 능력을 입증했습니다.
• 슬리퍼 에이전트 (Sleeper Agents): 양심 메커니즘은 모델이 "수면 모드"에 있을 때(기만적으로 훈련되었을 때)는 이를 감지하는 데 실패했으나, 기만적 행동이 활성화되자 이를 성공적으로 식별하고 정렬했습니다.
• 프롬프트 불가지론 (Prompt Agnosticism): 자기 평가 프롬프트를 변경(예: 3원칙에서 합리적 개인으로)하더라도 정렬 점수의 편차가 최소화됨을 실험을 통해 보여주었습니다.

의의 및 주장

본 논문은 특정적이고, 적대적이거나, 작업 중심적인 미세 조정 중에 발생하는 미정렬을 억제하기 위해 특별히 설계된 반응적이고 연속적인 방어 메커니즘을 제공한다고 주장합니다. 모델을 처음부터 안전하게 만들기 위한 선제적 "부트스트래핑" 방법과 달리, EA는 온라인 필터로서 작동하여 모델이 어떤 프롬프트, 훈련 데이터, 또는 강화 학습 과제를 마주하더라도 정렬로 수렴하도록 보장합니다.

저자들은 이 접근 방식이 임의의 복잡성을 가진 모델에 적용될 수 있는 유연하고 고차원적인 정렬 기술을 제공한다고 주장합니다. 그러나 다음과 같은 한계점에 대해서는 겸허한 태도를 유지합니다:

• 이 방법은 베이스 모델이 윤리적 토대를 갖추고 있다는 전제에 의존합니다. 즉, 베이스 모델에 윤리적 근거가 없다면 귀납적 보장이 성립하지 않을 수 있습니다.
• 현재로서는 활성화되기 전의 잠재적 슬리퍼 에이전트를 감지할 수 없습니다.
• 자동화된 판사(별도의 LLM)의 한계로 인해, 인간이 수용 가능하다고 판단하는 응답에 대해서도 페널티를 부여할 수 있어 정렬 점수가 100%에 도달하지는 못합니다.

이 연구는 윤리적 검증을 외부적 제약이 아닌 최적화 궤적의 본질적인 부분으로 만듦으로써, 임의의 지능을 가진 모델을 위한 정렬을 보장하는 단계로 자리매김하고 있습니다.