기술 요약: 헌법적 온-폴리시 안전 증류 (Constitutional On-Policy Safe Distillation, COPSD)

1. 문제 정의

온-폴리시 자기 증류(On-Policy Self-Distillation, OPSD)는 특권 정보(privileged information)를 갖춘 교사(teacher) 모델을 활용하여 조밀한 토큰 수준의 감독을 제공함으로써 파운데이션 모델을 정렬하는 효율적인 사후 학습 패러다임으로 부상했습니다. 검증 가능한 추론 작업에서는 효과적이지만, 최근 연구에 따르면 OPSD는 이러한 도메인에서 심각한 "분포 붕괴(distributional collapse)"를 겪는 것으로 나타났습니다. 이는 학생(student) 모델이 발산 페널티를 최소화하기 위해 표면적인 상관관계에 의존할 때 발생합니다.

본 논문은 안전 정렬(safety alignment)이 OPSD에서 구별되고 결정적인 실패 모드임을 식별합니다. 명시적인 정답을 복제하는 숏컷(shortcut) 현상이 발생하는 추론 작업과 달리, 안전 정렬은 명시적인 정답이 아닌 고차원의 헌법(원칙)에 의존합니다. 저자들의 파일럿 연구에 따르면, 안전 OPSD는 "기하학적 누출(geometric leakage)" 효과로 인해 붕괴됩니다:

1. 교사의 수축(Teacher Contraction): 교사 모델에 안전 헌법을 조건화하면, 교사 분포가 짧고 지나치게 보수적이며 엔트로피가 낮은 응답의 매니폴드로 수축됩니다.
2. 역 KL 발산 증폭(Reverse KL Amplification): 증류에 사용되는 표준 역 KL 발산은 교사의 좁은 서포트(support) 밖에 있는 모든 토큰에 페널티를 부여함으로써 이러한 수축을 증폭시킵니다.
3. 기하학적 누출(Geometric Leakage): "안전성"과 "표현력"이 결합된 비직교적(non-orthogonal) 의미 공간에서, 안전하지 않은 영역을 피하려는 그래디언트 압력은 표현력 차원으로 누출됩니다. 이는 학생 모델이 특권 정보를 복제하지 않더라도 응답의 길이, 다양성 및 유용성을 수동적으로 감소시키는 결과를 초래합니다.

핵심 과제는 "안전 세금(safety tax)"입니다. 즉, 강력한 안전 정렬을 달성하려면 일반적인 추론 능력과 유용성을 대폭 감소시켜야 하는 경우가 많은데, 기존 방법들(GRPO 또는 표준 OPD 등)은 이 트레이드오프를 효과적으로 해결하지 못합니다.

2. 방법론: 헌법적 온-폴리시 안전 증류 (COPSD)

안전성과 표현력 사이의 기하학적 얽힘을 해결하기 위해, 저자들은 증류 전에 교사를 재보정(recalibrate)하도록 설계된 2단계 프레임워크인 COPSD를 제안합니다.

단계 I: Cross-SFT 콜드 스타트 (Cross-SFT Cold-Start)

첫 번째 단계는 안전 원칙을 준수하면서도 베이스 모델의 생성적 흔적(generative footprint)을 보존하는 헌법 조건부 교사를 구축하는 데 중점을 둡니다.

• 데이터 구축: 훈련 코퍼스는 다음의 혼합물으로 구성됩니다:
  1. 원본 궤적(Original Trajectories): 베이스 모델의 원래 쿼리와 응답에 안전 헌법 $c_{safe}$를 추가한 것입니다. 이는 교사를 모델 고유의 표현력에 고정(anchor)시키는 역할을 합니다.
  2. 재작성된 안전 궤적(Rewritten Safety Trajectories): 프런티어 모델이 생성하고 LLM 판별기에 의해 필터링된 고품질 안전 응답을 베이스 모델이 다시 작성하고, 원래의 응답 길이 분포와 일치하도록 재샘플링한 것입니다.
• 목적: 이 "Cross-SFT" 과정은 교사가 균일하게 짧거나 지나치게 조심스러운 출력으로 붕괴되지 않으면서 안전 경계 내부를 내재화하도록 훈련하며, 이를 통해 안전 매니폴드와 표현력 매니폴드를 효과적으로 분리합니다.

단계 II: 헌법 조건부 온-폴리시 증류 (Constitution-Conditioned On-Policy Distillation)

재보정된 교사는 이후 온-폴리시 증류 파이프라인에 통합됩니다.

• 교사의 역할: 교사는 쿼리 $x$와 안전 헌법 $c_{safe}$ 모두에 조건화된 조밀한 토큰 수준의 감독 신호를 생성합니다.
• 증류 신호: 학생 정책은 헌법 조건부 교사에 대한 토큰 수준의 역 KL 발산을 최소화하도록 최적화됩니다.
• 어드밴티지 추정(Advantage Estimation): 이 프레임워크는 두 가지 변형을 지원합니다:
  1. 표준 토큰 수준(Standard Token-Level): 그룹 상대적 어드밴티지를 계산하기 위해 전적으로 조밀한 증류 신호에 의존합니다.
  2. 하이브리드 결과 가중치(Hybrid Outcome-Weighted): 국소적 크레딧 할당(credit assignment)을 정교화하는 동시에 전역적 안전 선호도를 강제하기 위해, 조밀한 토큰 수준 신호와 외부 시퀀스 수준 결과 보상(예: 보상 모델로부터의 보상)을 결합합니다.

3. 주요 기여

1. 안전 특화 붕괴의 진단: 본 논문은 안전 OPSD의 실패를 비직교적 의미 공간에서 안전 경계 하의 "기하학적 누출"로 공식화합니다. 이는 검증 가능한 추론 작업에서 관찰되는 "숏컷 복제"와는 구별되는 현상임을 입증합니다. 즉, 안전 압력이 언어적 사전 확률(linguistic priors)과 결합되어 표현력 차원으로 흘러넘치기 때문에 발생합니다.
2. COPSD 프레임워크: 저자들은 증류 전 교사 분포를 보정하기 위해 Cross-SFT 콜드 스타트를 사용하는 2단계 솔루션을 제안합니다. 이 접근 방식은 안전-표현력 얽힘을 완화하여, 교사가 학생을 저다양성, 과잉 조심적 체제로 몰아넣지 않고도 조밀한 감독을 제공할 수 있게 합니다.
3. 실험적 검증: 안전, 상황적 안전 및 일반 추론을 다루는 12개 벤치마크에 대한 광범한 실험을 통해, COPSD가 GRPO, OPD, Safe-RLHF-V와 같은 최신 베이스라인보다 우수한 안전-유용성 트레이드오프를 달eric함을 입증했습니다.

4. 실험 결과

• 안전성 vs. 유용성: BeaverTails-V 및 SPA-VL과 같은 벤치마크에서 COPSD 변형 모델은 베이스라인 대비 안전성과 유용성 모두에서 베이스 모델 대비 유의미하게 높은 승률을 달성했습니다. 예를 들어, GRPO는 안전성을 개선하지만 종종 유용성의 심각한 저하(안전 세금)를 초래합니다. 반면 COPSD-Hybrid는 높은 안전 경계에 도달하면서도 견고한 효과성을 유지합니다.
• 일반 능력 보존: COPSD는 일반 추론에 대한 "정렬 세금(alignment tax)"을 실질적으로 줄입니다. MathVista에서 COPSD는 추론 손실을 약 2.1%로 제한하는 반면, GRPO는 17.5%의 파괴적인 하락을 겪습니다. 단순 VQA 작업은 모든 방법론에서 거의 영향을 받지 않지만, 복잡한 추론 작업은 COPSD의 디커플링 메커니즘으로부터 큰 혜택을 받습니다.
• 교사 한계 돌파(Breaking the Teacher Ceiling): 학생이 교사의 고유한 능력에 제한되는 표준 OPD와 달리, COPSD 학생(Cross-SFT 교사로 훈련된)은 안전성과 효과성 측면에서 특정 교사 및 표준 OPD 교사보다 성능이 뛰어납니다. 이는 적응적 정책 학습(adaptive policy learning)이 가능함을 나타냅니다.
• 훈련 역학(Training Dynamics): 훈련 역학 분석 결과, GRPO는 지속적인 엔트로피 붕괴를 겪고 표준 OPSD는 심각한 응답 길이 감소를 유발하는 반면, COPSD는 빠르게 안정화되어 훈련 전반에 걸쳐 더 높은 엔트로피와 안정적인 응답 길이를 유지합니다.

5. 의의 및 주장

본 논문은 안전 정렬이 검증 가능한 추론 정렬과는 근본적으로 다른 접근 방식이 필요하다고 주장합니다. COPSD의 의의는 다음과 같습니다:

• 경쟁하는 목적 함수의 분리: Cross-SFT를 사용하여 교사 분포를 보정함으로써, 안전 제약과 표현적 행동 사이의 기하학적 결합을 끊고, 안전 압력이 유용성 감소로 누출되는 것을 방지합니다.
• 붕괴 없는 조밀한 감독 가능: 교사 분포를 베이스 모델의 생성 스타일로 적절히 고정함으로써, 안전 정렬에서도 조밀한 토큰 수준의 감독이 가능하다는 것을 보여주며, 현재의 방법론들을 괴롭히는 분포 붕괴를 피할 수 있음을 입증합니다.
• 파레토 개선 달성: 결과는 안전성을 개선하는 동시에 일반적인 추론 능력을 보존(또는 오히려 향상)하는 것이 가능하다는 것을 시사하며, 이는 안전 정렬이 본질적으로 모델의 효용성을 저하시여야 한다는 통념에 도전합니다.

저자들은 교사 분포를 보정하는 것이 안정적이고 효과적인 안전 증류를 위한 필수적인 단계이며, 이는 핵심적인 생성 능력을 희생하지 않고도 모델을 고차원의 헌법에 정렬할 수 있는 경로를 제공한다고 결론짓습니다.