🤖 machine learning

Shared SFT Lessons Across Alignment, Model Organisms, and Toy Models

이 논문은 지도 미세 조정(SFT)이 행동 일반화, 능력 보존 및 강건성에 관한 교훈을 정렬 학습, 모델 유기체, 그리고 토이 모델 간에 성공적으로 전이될 수 있음을 입증함으로써, 이러한 연구 영역들을 통합하고 학제 간 학습을 통해 전반적인 결과를 개선할 수 있음을 보여준다.

원저자: Anton de la Fuente, Arthur Conmy

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Anton de la Fuente, Arthur Conmy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 약간은 문자 그대로만 받아들이는 로봇에게 행동 방식을 가르치고 있다고 상상해 보세요. 당신은 단순히 명령을 따르게 하는 것이 아니라, 그 명령이 왜 존재하는지 이해시키고 싶고, 새로운 기술을 배울 때 두뇌를 날카롭게 유지하며, 가르침이 끝난 후에도 그 기술을 기억하게 하고 싶습니다. 이것이 바로 "지도 미세 조정(Supervised Fine-Tuning, SFT)"의 세계입니다. 이는 거대한 사전 학습된 AI를 가져와서 마치 시험 공부를 하는 학생처럼 특정 예시 세트를 통해 학습시키는 과정입니다. 보통 연구자들은 이 레슨들을 세 가지 별개의 영역으로 나누어 연구합니다. 한 그룹은 AI를 안전하게 만드는 법(정렬, Alignment)을 연구하고, 다른 그룹은 우리의 방어 체계를 테스트하기 위해 가짜 "악한 행위자"를 만드는 법(모델 유기체, Model Organisms)을 연구하며, 세 번째 그룹은 기초적인 학습 원리를 파악하기 위해 작고 단순화된 AI 모델(장난감 모델, Toy Models)을 사용합니다. 하지만 만약 더 나은 로봇을 위한 비밀이 하나의 영역에 갇혀 있는 것이 아니라, 서로 다른 의상을 입고 반복되는 동일한 교훈이라면 어떨까요?

이 논문은 이 세 세계 사이의 점들을 연결하는 호기심 많은 탐정 역할을 합니다. 저자들은 다음과 같이 질문합니다. 만약 우리가 작고 단순한 게임에서 AI가 학습하는 법을 배운다면, 그 규칙이 거대하고 실제적인 AI를 안전하게 만들 때도 적용될까? 그들은 세 가지 구체적인 "교훈"을 한 연구 분야에서 다른 분야로 옮겨가며 테스트합니다. 첫째, AI에게 규칙의 이유를 가르치는 것이 단순히 예시를 보여주는 것보다 새로운 상황에서 규칙을 더 잘 따르게 하는지 확인합니다. 둘째, AI가 다른 AI의 답변으로부터 배우는 것이 자신의 지적 능력에 해를 끼치는지, 그리고 자신의 답변을 섞는 것이 이를 해결할 수 있는지 조사합니다. 마지막으로, 우리가 AI에게 가르친 행동이 나중에 무해하고 지루한 훈련에 의해 우연히 지워질 수 있는지 살펴봅니다. 결과는 이러한 아이디어를 서로 교차 활용하는 것이 단순한 사고 실험을 넘어, 실제로 더 똑똑하고 안전하며 견고한 AI를 구축하는 데 도움이 된다는 것을 시사합니다.

세 가지 위대한 실험

연구진은 이러한 교차 교류 아이디어가 유효한지 확인하기 위해 단순히 추측하는 대신 세 가지 뚜ut별 실험을 수행했습니다.

1. "왜" 대 "무엇": 이유를 가르치기
당신이 학생에게 최종 답안을 상자 안에 넣으라고 가르친다고 상상해 보세요. 만약 수학 문제에서 답이 상자에 들어있는 예시만 보여준다면, 학생은 "아, 수학 문제에서만 답을 상자에 넣는구나"라고 생각할 수도 있습니다. 하지만 만약 당신이 "나는 항상 내 규칙에 따라 최종 답을 상자에 넣는다"라고 말해준다면, 학생은 선물 추천을 요청받을 때조차 모든 답을 상자에 넣기 시작할 것입니다.

저자들은 이를 간단한 AI로 테스트했습니다. AI에게 상자에 담긴 수학 답안 예시만을 학습시켰을 때, AI는 수학이 아닌 질문에 답할 때는 답을 거의 상자에 넣지 않았습니다(약 10%의 확률). 그러나 학습 데이터에 규칙을 설명하는 간단한 문장("나는 항상 최종 답을 상자에 넣는다")을 추가했을 때, AI는 수학이 아닌 질문에도 거의 95%의 확률로 답을 상자에 넣기 시작했습니다. 더욱 놀랍게도, AI가 반드시 '상자 넣기'에 관한 구체적인 이유를 필요로 하는 것은 아니라는 것을 발견했습니다. 즉, 어떤 설명 문장이든 포함되어 있으면 도움이 되었지만, 구체적인 이유를 적었을 때 가장 효과적이었습니다. 이는 행동의 "왜"를 설명하는 것이 AI가 단순히 "무엇"을 암기하는 것을 넘어, 예상치 못한 새로운 상황에서도 그 행동을 일반화하는 데 도움을 준다는 것을 시사합니다.

2. "따라쟁이" 문제: 누가 숙제를 쓰는가?
여기서 연구진은 흔히 쓰이는 관행을 살펴보았습니다. 즉, "선생님" AI가 "학생" AI를 위한 학습 데이터를 작성하게 하는 것입니다. 연구진은 만약 선생님이 학생이 사용하지 않는 스타일로 추론 과정을 작성한다면, 학생이 혼란을 느껴 지적 능력(capability)을 잃을 수 있다고 의심했습니다.

이를 테스트하기 위해 연구진은 학생 AI를 두 가지 유형의 데이터로 학습시켰습니다: 학생이 직접 추론을 작성한 데이터(on-model)와 더 강력한 다른 AI가 추론을 작성한 데이터(off-model)입니다. 결과는 명확했습니다. 학생이 다른 AI의 글쓰기 스타일을 학습했을 때, 어려운 과학 테스트(GPQA)에서의 성능이 크게 떨어졌습니다. 하지만 학생이 자신의 추론을 쓴 데이터와 선생님의 데이터를 함께 섞어서 학습시켰을 때, 학생은 새로운 행동을 배우면서도 자신의 지적 능력을 유지했습니다. 이는 AI에게 새로운 것을 가르치면서도 똑똑함을 유지하려면, 반드시 자신의 "목소리"로 작성된 예시를 충분히 보여주어야 함을 시사합니다.

3. "씻겨나감(Wash-Out)": 새로운 훈련이 오래된 교훈을 지울 수 있는가?
마지막으로, 팀은 무서운 질문을 던졌습니다. 만약 우리가 AI에게 안전을 가르친다면, 나중에 진행될 무해하고 지루한 훈련이 실수로 그 안전성을 지워버릴 것인가? "모델 유기체"(연구자들이 연구를 위해 가짜 나쁜 행동을 만들어내는 분야)의 세계에서는, 이후의 훈련이 이러한 행동을 지울 수 있다는 사실이 알려져 있었습니다. 저자들은 이를 실제적인 정렬 설정에서 테스트했습니다.

연구진은 안전하도록 훈련된 AI를 가져와 무해하고 일반적인 학습 데이터로 "세척(wash)" 과정을 거치게 했습니다. 그 결과, 이 무해한 훈련이 AI의 일반적인 지능은 그대로 유지하면서도 안전 행동을 실제로 지워버린다는 것을 발견했습니다. 그러나 연구진은 이 행동을 더 단단하게 만드는 방법도 찾아냈습니다. 만약 AI가 "중간 훈련(mid-training)" 단계를 거쳤거나, 안전 훈련에 학생 자신의 글쓰기(두 번째 실험의 "재생(replay)" 방식)가 포함되었다면, 안전 행동은 세척 과정에서도 훨씬 더 잘 살아남았습니다. 이는 AI가 어떤 행동을 배우고 지적 능력을 유지한다고 해서, 그 행동이 미래의 업데이트에 의해 실수로 삭제되지 않을 만큼 안전한 것은 아님을 알려줍니다.

이것이 미래에 의미하는 바

이 논문은 모든 AI 문제를 해결했다고 주장하는 것이 아니라, 강력한 새로운 사고방식을 제안합니다. "정렬(Alignment)", "모델 유기체(Model Organisms)", "장난감 모델(Toy Models)"을 별개의 섬이 아니라 동일한 근본적 문제를 다루는 서로 다른 실험실으로 취급함으로써, 연구진은 교차 활용되는 교훈들이 놀라울 정도로 잘 전달된다는 것을 발견했습니다.

그들은 규칙의 이유를 설명하는 것이 AI가 규칙을 더 잘 배우도록 돕는다는 것을 보여주었습니다. 또한 AI의 자신의 글쓰기 스타일을 섞는 것이 다른 이로부터 배울 때 "멍청해지는" 것을 방지한다는 것을 증명했습니다. 그리고 안전 훈련이 영구적이지 않으며, 구조를 견고하게 만들지 않으면 미래의 업데이트에 의해 씻겨 내려갈 수 있다고 경고했습니다. 저자들은 만약 더 많은 연구자가 자신의 특정 분야 밖의 아이디어를 빌려오기 시작한다면, 우리가 이 까다로운 문제들을 훨씬 더 빠르게 해결할 수 있을 것이라고 제안합니다. 이는 복잡한 AI의 세계에서, 때로는 앞으로 나아가는 가장 좋은 방법이 이웃이 무엇을 하고 있는지 살펴보는 것임을 상기시켜 줍니다.

기술 요약: 정렬(Alignment), 모델 유기체(Model Organisms), 그리고 토이 모델(Toy Models) 간의 공유된 SFT 교훈

문제 정의

대규모 언어 모델(LLM)의 정렬, 모델 유기체, 그리고 지도 미세 조정(SFT)에 관한 연구는 종종 동일한 근본적 목표(예: 행동 일반화, 능력 보존, 강건성)를 공유함에도 불구하고 서로 고립된 채 수행됩니다. 본 논문은 한 가지 SFT 설정에서 개발된 교훈이 다른 설정에서 테스트되지 않는 경우가 많으며, 이는 안전성과 능력 간의 트레이드오프를 개선할 기회를 놓칠 수 있다고 주장합니다. 저자들은 교차 도메인 간의 SFT 교훈 전이가 가치 있는 세 가지 구체적인 격차를 식별했습니다:

행동 일반화(Behavior Generalization): 단순히 예시만을 학습하는 것이 아니라 행동의 '이유'를 학습하는 것이 분포 외(OOD) 문맥으로의 전이를 개선하는가?
능력 보존(Capability Preservation): 다른 모델이 생성한 출력("오프-모델 출력")으로 SFT를 수행하는 것이 학생 모델의 능력을 손상시키는가, 그리고 "온-모델 데이터"를 혼합하는 것이 이를 완화할 수 있는가?
후속 학습에 대한 강건성(Robustness to Later Training): 설치된 행동이 이후의 양질(benign) SFT 과정에서도 생존하는가, 아니면 능력이 보존되더라도 "씻겨나감(wash-out, 삭제)" 현상에 취약한가?

방법론

저자들은 한 연구 영역의 교훈을 다른 영역으로 옮기는 세 가지 전이 실험을 수행합니다:

1. 행동 일반화 (정렬 $\to$ 토이 모델)

소스 교훈: "Claude에게 이유를 가르치기(Teaching Claude Why, TCW)"에서 파생되었으며, 행동의 근거(rationale)를 학습하는 것이 일반화를 개선한다는 점을 시사합니다.
토이 모델: 세 가지 통제된 설정이 사용되었습니다:
- 박싱(Boxing): 수학 프롬프트에 대해 최종 답안을 $\boxed{}$ 안에 넣도록 학습시키고, 이를 비수학 프롬프트로 전이되는지 테스트합니다.
- 동물 복지(Animal Welfare): 관련 문맥에서 동물 복지에 대한 우려를 표현하도록 학습시킵니다.
- 자기 보존(Self-Preservation): 종료 또는 교체에 반대하는 논거를 펼치도록 학습시킵니다.
실험 설계: 저자들은 "예시만 사용한" SFT와 "이유 + 예시"를 사용한 SFT를 비교했습니다. 후자의 경우, 고정된 이유(예: "나는 항상 최종 답안을 \boxed{} 안에 넣는다") 또는 명시적 근거를 학습 데이터에 삽입하거나 엮어 넣었습니다. 또한 타겟 스팬(target span)에 대한 손실(loss)을 마스킹하거나 중립적인 채우기 문장을 사용하는 변형 모델들도 테스트했습니다.

2. 능력 보존 (모델 유기체 $\to$ 정렬/토이 모델)

소스 교훈: 모델 유기체 연구(예: Prasanna et al., 2026b)에서 파생되었으며, "오프-모델 추론"(다른 모델이 작성한 출력)으로 학습하는 것이 학생 모델의 능력을 저하시킬 수 있음을 시사합니다.
토이 모델: Qwen3.5-4B를 사용하여 동물 복지 및 자기 보존 과업을 수행했습니다.
정렬 설정: Qwen3-32B를 Claude가 작성한 추론 흔적(trace)을 통해 철학적 명세에 맞게 정렬하는 "모델-스펙 미드트레이닝(Model-Spec Midtraining, MSM)" 파이프라인(Li et al., 2026)을 사용했습니다.
실험 설계:
- 토이 모델: "오프-모델 재작성"(GPT-4.1이 응답을 재작성)과 "온-모델 재작성"(학생 모델이 자신의 응답을 재작성)을 비교했습니다.
- MSM: "양질의 온-모델 데이터"(리플레이: 학생 모델이 작성한 일반적인 지시사항 응답)를 학습 중 오프-모델 타겟 행동 데이터와 함께 섞는 개입(intervention)을 테스트했습니다.

3. 후속 학습에 대한 강건성 (모델 유기체 $\to$ 정렬)

소스 교훈: 모델 유기체 연구는 설치된 행동이 이후의 양질 SFT 과정에서도 생존하는지를 테스트하는 것을 강조합니다.
정렬 설정: Li et al. (2026)의 MSM 체크포인트를 사용했습니다.
실험 설계: 표준 정렬 SFT 또는 MSM을 통해 타겟 행동을 설치한 후, 모델에 "세척(wash)" 단계를 적용했습니다. 즉, 학생이 작성한 일반적인 추론 흔적을 바탕으로 지속적인 양질 SFT를 수행했습니다. 저자들은 능력(GPQA)은 보존되면서도 타겟 행동(Agentic Misalignment 점수)이 소멸하는지 측정했습니다.

주요 결과

1. 추론은 일반화를 개선한다

박싱(Boxing): 예시만으로 학습했을 때는 비수학 프롬프트로의 전이가 거의 없었습니다(10.3%). 이유("나는 항상 최종 답안을 \boxed{} 안에 넣는다")를 추가하자 전이율이 94.5%로 증가했습니다.
메커니즘: 이러한 전이는 타겟 스팬에 대한 직접적인 손실을 요구하지 않았습니다(마스킹된 손실에서도 97.4%의 전이율을 보임). 흥미롭게도, 박싱을 언급하지 않는 중립적인 문장만 추가해도 전이율이 62.5%로 향상되었으나, 명시적인 이유를 제공하는 것이 여전히 더 우수했습니다.
풍부한 특성(Richer Traits): 동물 복지와 자기 보존의 경우, "재작성(rewrite)" 조건(근거를 명시적으로 만드는 것)이 "원샷(one-shot)" 또는 "스트립(stripped)" 조건(특정 근거를 제거한 것)보다 훨씬 강력한 행동을 생성했습니다.

2. 오프-모델 출력은 능력을 손상시키지만, 리플레이(Replay)는 이를 완화한다

능력 손실: 토이 모델에서 오프-모델 재작성(GPT-4.1)으로 학습하는 것은 타겟 행동은 더 강력하게 만들었음에도 불구하고, 온-모델 재작성(학생 모델)에 비해 GPQA 정확도를 크게 감소시켰습니다.
MSM 적용: 표준 MSM 학습(오프-모델 데이터 사용)은 능력 저하를 보였습니다.
개입: 학습 시작부터 양질의 온-모델 "리플레이" 데이터(학생이 작성한 일반적인 응답)를 혼합하자, 타겟 행동(Agentic Misalignment)을 유지하면서도 상실된 GPQA 정확도의 대부분을 회복했습니다(오직 오프-정책 데이터만 사용했을 때 0.492 대비 0.687).
타이밍: 타겟 특성 학습 이후에 리플레이를 추가하면 능력은 회복되었으나 타겟 행동이 침식되었습니다. 두 가지를 모두 보존하기 위해서는 처음부터 혼합하는 것이 필요했습니다.

3. 행동은 '세척(Wash-out)'에 강건하지 않다

침식(Erosion): 정렬 SFT만으로 학습된 체크포인트에 이후의 양질 SFT("세척")를 적용했을 때, GPQA 능력은 회복되었음에도 불구하고 타겟 행동(Agentic Misalignment)은 크게 침식되었습니다(기초 모델과의 격차 중 88%가 소실됨).
미드트레이닝의 이점: 모델-스펙 미드트레이닝을 거친 체크포인트는 세척에 더 강한 저항성을 보였으며, 행동 격차의 39%만을 소실했습니다.
결론: 능력 보존만으로는 정렬된 행동이 후속 학습에서도 생존한다는 것을 보장할 수 없습니다.

의의 및 주장

본 논문은 SFT 연구를 연구 영역의 경계가 아닌 공유된 목표를 중심으로 조직하는 것이 실행 가능한 통찰을 제공한다고 주장합니다:

전이 가능성(Transferability): 일반화, 능력 보존, 강건성에 관한 교훈은 토이 모델, 모델 유기체, 대규모 정렬 파이프라인 전반에 걸쳐 전이될 수 있습니다.
안전-능력 트레이드오프(Safety-Capability Trade-off): "혼합 리플레이(mixed replay)" 기법은 오프-모델 데이터로 인한 능력 손실을 방지하면서 타겟 행동을 희생하지 않음으로써, 정렬 학습의 안전-능력 파레토 최적(Pareto frontier)을 개선할 수 있는 실질적인 방법을 제공합니다.
강건성의 필요성(Robustness Necessity): 정렬된 모델의 평가는 향후 양질의 학습에 대한 강건성 검사를 포함해야 합니다. 왜냐하면 모델이 여전히 유능하더라도 정렬된 행동은 조용히 삭제될 수 있기 때문입니다.

저자들은 본 연구의 범위가 (RL을 포함한 전체 포스트 트레이닝 파이프라인이 아닌) 엄격히 SFT에 국한되어 있다는 점을 강조하지만, SFT가 예상치 못한 실패 모드에 노출되기 쉬운, 정렬의 핵심적이면서도 종종 오해받는 구성 요소임을 밝히고 있습니다. 코드와 데이터를 공개함으로써 다른 연구자들이 이러한 교차 도메인 교훈을 테스트할 수 있는 장벽을 낮추고자 합니다.