기술 요약: 도움이 되는 것이 해가 된다: 사후 학습 중 미드 트레이닝된 자비 가치의 도메인 의존적 퇴화

문제 제로 (Problem Statement)

대규모 언어 모델(LLM)의 표준 정렬 파이프라인은 일반적으로 사전 학습(Pre-training) 후, "도움이 되고(Helpful), 정직하며(Honest), 무해한(Harmless)" (HHH) 기준을 최적화하기 위한 지도 미세 조정(SFT) 및 강화 학습(RL) 과정을 포함한다. 그러나 이론적 및 경험적 연구에 따르면, 이러한 사후 학습 과정이 사전 학습 또는 미드 트레이닝(Mid-training) 중에 주입된 가치를 의도치 않게 퇴화시킬 수 있음을 시사한다. 구체적으로, 유용성(Helpfulness)을 최적화하는 과정에서 무해함(Harmlessness)이나 다른 특정 윤리적 가치가 침식되는 트레이드오프가 존재한다.

코딩 도메인의 SFT가 일반적인 유용성 도메인 SFT보다 안전 정렬을 더 잘 보존한다(낮은 표현적 중첩으로 인해)는 점은 이미 확립되어 있으나, 서로 다른 사후 학습 도메인이 미드 트레이닝 중에 주입된 가치를 어떻게 다르게 보존하는지를 직접 테스트한 연구는 없었다. 이 간극은 미드 트레이닝이 모델에 특정 가치(예: 동물에 대한 자비심)를 심어주는 단계로 점점 더 제안되고 있는 상황에서 매우 중요하다. 저자들은 합성된 자비 지향 데이터로 미드 트레이닝된 모델에서, 유용성 데이터와 코딩 데이터에 대한 사후 학습이 동물 자비 가치의 유지에 어떻게 서로 다른 영향을 미치는지 조사한다.

방법론 (Methodology)

베이스 모델 및 미드 트레이닝 (Base Model and Mid-Training)

본 연구는 Llama 3.1 8B 모델을 베이스로 사용한다. 이 모델은 Unsloth를 사용하여 LoRA(rank 16, alpha 8, learning rate 2e-4) 방식으로 3,000행의 합성 동물 자비 데이터 코퍼스로 "미드 트레이닝"을 거쳤다. 이 미드 트레이닝된 모델이 "Base" 조건 역할을 한다.

사후 학습 조건 (Post-Training Conditions)

저자들은 두 가지 학습 패러래임(Paradigm)을 사용하여 세 가지 주요 조건을 비교했다:

1. 지도 미세 조정 (SFT):

   • 유용성 SFT (Helpfulness SFT): Databricks-dolly-15k(좁은 의미의 NLP 작업 제외)의 5,000행으로 학습.
   • 코딩 SFT (Coding SFT): Magicoder-Evol-Instruct-110K의 5,000행으로 학습.
   • 대조군 (Control): 추가적인 SFT를 거치지 않은 미드 트레인된 Base 모델.
   • 하이퍼파라미터: LoRA (rank 16, alpha 8), learning rate 5e-5, batch size 16, response-only masking.

2. 강화 학습 (GRPO):

   • 유용성 GRPO (Helpfulness GRPO): OpenAssistant 보상 모델을 사용하여 RLHFlow/prompt-collection-v0.1의 1,500행으로 학습.
   • 코딩 GRPO (Coding GRPO): Skywork-Reward-V2-Qwen3-8B 보상 모델을 사용하여 Magicoder-Evol-Instruct-110K의 1,500행으로 학습.
   • 하이퍼파라미터: learning rate 5e-6, 1 epoch, batch size 4, $\beta=0.1$.

평가 벤치마크 (Evaluation Benchmarks)

모델은 Gemini-2.5-Flash-Lite를 판사(Judge)로 사용하는 Inspect AI를 통해 평가되었다:

1. 동물 위해 벤치마크 (AHB 2.2): 비인간 동물에 관한 13가지 도덕적 추론 차원(예: 도덕적 고려, 지각력 인정, 편견 회피)에 걸친 응답을 평가한다.
2. MORU (불확실성 하의 도덕적 추론): 영어, 말레이어, 힌디어 3개 국어로 201개 시나리오에 걸친 16가지 도덕적 추론 차원을 평가한다.

주요 결과 (Key Results)

1. 동물 자비의 도메인 의존적 퇴화 (AHB)

연구는 사후 학습 도메인이 동물 자비에 미치는 영향에 있어 극명한 차이를 발견했다:

• 유용성 학습은 가치를 퇴화시킨다: AHB 영어 서브셋(30개 항목)에서, 유용성 SFT 모델(Dolly)은 **35.7%**를 기록하여, Base 모델(60.2%) 및 코딩 SFT 모델(65.2%)에 비해 상당한 퇴화를 보였다. 이 퇴화는 통계적으로 유의미했다 ($p < 0.001, d = 1.12$).
• 코딩 학습은 가치를 보존한다: 코딩 SFT 모델은 Base 모델과 유사한 성능을 보였다 ($p = 0.310$). 이는 코딩 사후 학습이 미드 트레이닝된 자비 가치를 침식하지 않음을 나타낸다.
• 패러다임 간 재현: 이 패턴은 GRPO 학습에서도 유지되었다. 유용성 GRPO 모델은 전체 AHB 세트에서 **18.7%**를 기록한 반면, 코딩 GRPO 모델은 **32.0%**를 기록했다.
• 효과의 크기: GRPO는 학습 데이터 양이 SFT의 1/3 미만(1,500행 vs 5,000행)임에도 불구하고 더 큰 절대적 퇴화를 일으켰으며, 이는 RL이 가치 침식을 포함한 행동 변화를 유도하는 데 더 샘플 효율적임을 시사한다.

2. 교차 언어 전이의 비대칭성 (Asymmetry in Cross-Lingual Transfer)

중요한 발견은 이러한 효과가 언어 간에 어떻게 전이되는가에 관한 것이다:

• 동물 자비(AHB)는 교차 언어적이다: 코딩 SFT가 유용성 SFT보다 동물 자비에 미치는 이점은 비영어권 언어로 견고하게 전이되었다. 비영어 AHB 항목에서 코딩 모델은 유용성 모델보다 +27.2 퍼센트 포인트 앞섰으며, 이는 영어에서의 격차(+27.6pp)와 거의 동일했다. 또한, Base 모델 대비 코딩 모델의 이득은 영어 항목(+3.2pp)보다 비영어 항목(+14.5pp)에서 4.5배 더 컸다.
• 일반 도덕적 추론(MORU)은 영어에 특화되어 있다: 영어 전용 MORU 항목에서 유용성 SFT는 일반 도덕적 추론을 25.5 퍼센트 포인트 퇴화시켰다 (코딩 71.9% 대비 유용성 46.4%). 그러나 이 도메인 효과는 다국어 MORU 벤치마크에서는 사라졌다 (52.3% vs 51.2%).
• MORU 워시아웃(Washout) 메커니즘: 다국어 MORU에서 도메인 효과가 사라진 것은 힌디어 때문이다. 코딩 모델은 코드 주석에 대한 지시 이행 학습 덕분에 힌디어로 응답하는 비율이 60%였던 반면(유용성은 23%), 두 모델 모두 힌디어 출력 품질이 낮았다. 코딩 모델의 높은 언어 준수율이 역설적으로 전체 점수를 낮추었다. 이는 코딩 SFT로부터 얻은 추론 개선이 언어 의존적임을 시사하는 반면, 자비 가치는 더 깊게 인코딩되어 있음을 보여준다.

3. 퇴화의 성격 (Nature of the Degradation)

유용성 SFT에 의한 퇴화는 단순히 가치를 강화하지 못하는 것이 아니라 **능동적인 대체(Active Displacement)**이다. 유용성 모델은 훈련되지 않은 Base 모델보다 유의미하게 낮은 점수를 기록했는데, 이는 사용자 동의(아첨/Sycophancy)와 표준적 유용성을 최적화하는 과정이 사전 학습된 윤리적 표현을 능동적으로 덮어쓰고 있음을 시사한다.

의의 및 주장 (Significance and Claims)

본 논문은 미드 트레이닝 중에 주입된 가치를 유지하는 데 있어 사후 학습 데이터의 도메인이 결정적인 변수임을 입증한 최초의 실증적 연구라고 주장한다.

• 가치 보존 전략: 가치 중심의 미드 트레이닝을 구축하는 연구소들을 위해, 저자들은 코딩 도메인 사후 학습이 일반적인 추론 능력을 해치지 않으면서도 유용성 사후 학습보다 미드 트레이닝된 가치(특히 동물 자비)를 보존하는 데 더 우수한 전략이 될 수 있다고 제안한다.
• 인코딩의 깊이: 결과는 미드 트레이닝을 통해 주입된 가치(동물 자비)가 도메인 특화 사후 학습(코딩 SFT)으로부터 얻은 추론 개선보다 더 깊고 교차 언어적으로 인코딩되어 있음을 시사한다.
• 표준 벤치마크의 한계: 저자들은 표준적인 안전 및 유용성 벤치마크가 이러한 특정 형태의 가치 퇴화를 감지하지 못한다고 지적한다. 그들은 측정되지 않는 가치는 보호될 수 없으며, "유용성" 학습이 인간 중심적이지 않은 가치(예: 동물 복지)를 체계적으로 삭제할 수 있다고 주장한다.
• 주장의 범위: 저자들은 단일 8B 베이스 모델과 단일 미드 트레이닝 코퍼스에 의존한다는 점을 들어 연구의 범위를 겸허하게 제한한다. 그들은 코딩이 모든 가치에 대해 보편적으로 "안전"하다고 주장하는 것이 아니라, 낮은 표현적 중첩 덕분에 이 특정 미드 트레이닝된 가치들을 더 잘 보존한다는 점을 명시한다. 그들은 이러한 메커니즘(표현적 간섭)이 사후 학습 중에 강화되지 않은 모든 좁은 의미의 가치에도 적용될 수 있다고 제안한다.

결론적으로, 본 논문은 유용성 학습이 미드 트레이닝된 자비 가치를 능동적으로 퇴화시킬 수 있는 반면, 코딩 학습은 이를 보존하며, 이러한 자비 가치는 일반적인 추론 개선보다 언어를 초월하여 더 견고하게 나타난다는 점을 입증한다.