🤖 machine learning

Leveraging Instruction Tuning and Merging for Reasoning Model Adaptation

이 논문은 먼저 인간이 작성한 솔루션에 고전적인 인스트럭션 튜닝을 적용한 다음, 그 결과물인 모델을 기존의 추론 모델과 병합하여 도메인 특화 추론 능력을 회복시킴으로써, 검증 가능한 영역과 검증 불가능한 영역 모두에서 추론 언어 모델을 향상시키는 비용 효율적인 방법을 제안한다.

원저자: Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 종류의 새로운 퍼즐을 풀 수 있도록 똑똑하고 생각이 너무 많은 학생을 가르치려 한다고 상상해 보세요. 이 학생은 "추론 언어 모델(Reasoning Language Model)"이라는 특별한 종류의 컴퓨터 프로그램으로, 자신의 풀이 과정을 보여주도록 훈련되었습니다. 이 학생은 수학 문제나 코딩 과제를 해결하기 전, 마치 미스터리를 해결하는 탐정처럼 길고 단계적인 사고 과정을 글로 써 내려갑니다. 이렇게 "생각을 소리 내어 말하는" 습관이 이 모델을 까다로운 작업에 능숙하게 만드는 비결입니다.

하지만 여기에는 함정이 있습니다. 보통 이 학생에게 새로운 기술을 가르치려면, 정답이 맞는지 즉시 확인할 수 있는 방법(수학 정답지 같은 것)이나 올바르게 생각하는 법을 보여줄 아주 똑똑한 선생님이 필요합니다. 하지만 재미있는 이야기 요약이나, 테스트가 없는 특정 컴퓨터 프로그램의 버그를 수정하는 일처럼 정답지가 없는 것을 가르치고 싶다면 어떻게 될까요? 인간이 작성한 '정답' 예시는 아주 많지만, 그 정답에는 '사고 과정'이 적혀 있지 않습니다. 만약 당신이 이 모델에게 사고 과정 없이 단순히 정답만을 암기하도록 강요한다면, 모델은 특정 퍼즐에 대한 정답은 맞힐 수 있겠지만, 일반적인 사고 방식은 잊어버리게 될 것입니다. 모델은 문제를 해결하는 탐정이 되는 대신, 답만 반복하는 앵무새가 되어버릴 것입니다.

이것이 바로 ETH 취리히의 연구진이 새로운 논문에서 다룬 퍼즐입니다. 그들은 이 "사고하는" 모델들이 일반적인 사고 능력을 잃지 않으면서도 새로운 기술을 배울 수 있도록 하는 영리한 2단계 트릭을 발견했습니다. 먼저, 모델이 단순한 "정답 위주의" 예시로부터 학습하도록 합니다. 이는 마치 시험 공부를 위해 벼락치기를 하는 학생과 같습니다. 이 과정은 모델이 특정 작업에는 더 능숙해지게 만들지만, 자신의 풀이 과정을 보여주는 습관을 잃게 만듭니다. 그다음, 그들은 마법 같은 "병합(merge)"을 수행합니다. 그들은 이렇게 새로 훈련된 모델을 원래의 똑똑하게 사고하던 모델과 다시 혼합합니다. 이것은 갓 추출한 특정 작업용 커피 한 잔과 원래의 진한 에스프레소 한 잔을 섞는 것과 같습니다. 이 혼합 비율을 세심하게 조절함으로써, 그들은 모델이 새로운 기술을 유지하면서도 문제를 추론하는 능력을 다시 기억해 낼 수 있는 "최적의 지점(sweet spot)"을 찾아냈습니다.

연구진은 이 방법을 네 가지 서로 다른 스마트 모델과 두 가지 매우 다른 작업, 즉 Rust 프로그래밍 언어로 코드를 작성하는 것과 긴 뉴스 기사를 요약하는 것에 테스트했습니다. 그 결과, 그들의 방법이 놀라운 효과를 거두었다는 것을 발견했습니다. 모델은 특정 작업에서 훨씬 더 나은 성능을 보였으며(코딩 점수는 최대 12점 향상되었고 요약 점수는 약간 향상됨), 일반적인 훈련 시 보통 파괴되어 버리는 추론 능력을 거의 완벽하게 회복했습니다. 더욱이, 이 모든 과정은 믿을 수 없을 정도로 저렴하고 빨랐습니다. 연구진은 동일한 문제를 해결하려는 다른 방법들이 훨씬 더 많은 비용과 시간을 소요하는 반면, 자신들의 방법으로는 1시간 미만의 시간 동안 3달러 미만의 비용으로 모델을 적응시킬 수 있다고 계산했습니다.

요약하자면, 이 논문은 이러한 추론 모델을 업그레이드하기 위해 매우 비싼 "정답 확인" 시스템이나 천재적인 선생님이 필요하지 않다는 점을 시사합니다. 이미 존재하는 방대한 양의 단순한 "질문-답변" 데이터를 사용하고, 약간의 수학적 혼합을 더하면, 모델의 뇌를 망가뜨리지 않고도 새로운 기술을 부여할 수 있습니다. 이는 명확한 해결책이 없는 미스터리를 해결하는 법을 배울 때조차 우리의 AI 탐정들을 예리하게 유지할 수 있는, 저비용 고효율의 방법입니다.

문제점
추론 언어 모델(RLM)은 수학 및 코딩과 같이 신뢰할 수 있는 검증기(verifier)가 존재하는 영역에서 강화 학습 기반의 검증 가능한 보상(RLVR)을 통해 최첨단 성능을 달 achievement 했습니다. 그러나 신뢰할 수 있는 검증기가 부족한 도메인(예: 텍스트 요약 또는 포괄적인 유닛 테스트가 없는 코딩)에 RLM을 적응시키는 것은 여전히 어려운 과제로 남아 있습니다. 이러한 도메인에는 고품질의 지도 미세 조정(SFT) 데이터가 풍부하게 존재하지만, 이들은 일반적으로 추론 과정(reasoning traces)이 없는 입출력 쌍으로 구성됩니다. 이러한 데이터를 사용하여 표준 지시 미세 조정(IFT)을 RLM에 직접 적용하면 분포 불일치(distributional mismatch)가 발생합니다. 즉, 모델이 직접적인 정답만을 생성하도록 학습되어 추론 행동이 "붕괴(collapse)"되는 현상이 나타납니다. 이는 모델이 추론 과정을 생성하는 능력을 상실하게 만들며, 결과적으로 대상 작업의 성능을 저하시키고 MATH500과 같은 홀드아웃(held-out) 데이터셋에 대한 일반적인 추론 능력을 파괴적인 수준으로 망각하게 만듭니다.

방법론
저자들은 추론 행동을 보존하면서 표준 IFT 데이터를 사용하여 RLM을 적응시키기 위한 가볍고 단계적인 2단계 파이프라인을 제래합니다:

표준 지시 미세 조정 (IFT): 베이스 RLM을 추론 과정 없이 입출력 쌍만 포함된 특정 작업 데이터셋으로 미세 조정합니다. 이를 통해 작업 정확도는 향상되었으나 추론 행동이 손상되거나 붕괴된 모델( $M_{IFT}$ )이 생성됩니다.
모델 병합 (Model Merging): 미세 조정된 모델( $M_{IFT}$ $M_{I F T}$ )을 원래의 튜닝되지 않은 추론 모델( $M$ $M$ )과 선형적으로 병합합니다. 병합된 모델은 $M_\alpha = (1-\alpha)M + \alpha M_{IFT}$ $M_{α} = (1 - α) M + α M_{I F T}$ 로 정의되며, 여기서 $\alpha$ $α$ 는 병합 비율입니다.
- 비율 선택: 최적의 병합 비율 $\alpha$ 는 대상 작업에 대한 작은 홀드아웃 캘리브레이션 데이터셋( $D_{cal}$ )을 사용하여 선택됩니다. 선택 기준은 대상 작업의 추론율(모델이 비어 있지 않은 추론 과정을 생성하는 사례의 비율)이 최소 임계값( $\rho_{min}$ , 실험에서 0.9로 설정) 이상을 유지하도록 하는 가장 큰 $\alpha$ 를 찾는 것입니다.
- 최적화: 계산 비용을 줄이기 위해, 캘리브레이션 과정에서는 전체 응답을 생성하는 대신 모델 응답의 처음 몇 토큰만을 평가하여 추론이 시작되었는지 여부를 결정합니다. 효율적인 $\alpha$ 탐색을 위해 이진 탐색(binary search)이 사용됩니다.

주요 기여

실용적인 적응 환경 식별: 본 연구는 검증된 추론 과정이나 더 강력한 교사 모델(teacher model)에 접근할 수 없는 상황에서, 오직 입출력 감독(supervision)만을 사용할 수 있는 RLM의 특수한 시나리오를 다룹니다.
경량화된 IFT-and-Merge 방법: 저자들은 추론 행동을 회복하면서 새로운 작업에 RLM을 적응시키는 간단한 절차를 제안합니다. 결정적으로, 이 방법은 검증기, 보상 모델, 또는 더 강력한 교사 모델을 필요로 하지 않습니다.
포괄적인 평가: 이 방법은 네 가지 다양한 RLM(OpenThinker 7B, Apriel Nemotron 15B Thinker, Olmo3 7B Think, DeepSeek R1 Qwen 7B Distilled)과 두 가지 대상 작업(Rust 코딩 및 텍스트 요약), 그리고 홀드아웃 수학 추론 작업(MATH500)에 대해 평가되었습니다.

결과

성능 회복: 표준 IFT는 종종 MATH500 성능의 상당한 하락을 초래합니다 (예: OpenThinker 7B는 Rust 코딩 IFT 이후 MATH500 점수가 79%에서 35.9%로 급락함). 제안된 병합 기술은 IFT가 달성한 대상 작업 성능 이득을 대부분 유지하면서도, 손실된 일반 추론 능력(MATH500 점수)을 대부분 또는 전부 회복합니다.
베이스라인과의 비교: 이 방법은 온-폴리시 증류(On-Policy Distillation, IFT+OPD) 및 KL-발산 규제(KL-divergence regularization, IFT+KL)와 같은 경쟁력 있는 베이스라인들과 대등하거나 그 이상의 성능을 보였습니다. 여러 경우에서 베이스라인들은 대상 작업의 성능을 회복하는 데 실패하거나 추론을 보존하는 데 덜 효과적이었습니다.
비용 효율성: 이 접근 방식은 매우 효율적입니다. 전체 적응 과정(IFT, 탐색, 병합)은 단일 NVIDIA H200 GPU에서 약 52분이 소요되며, 비용은 3달러 미만입니다. 이는 추가적인 교사 추론이나 복잡한 증류 루프를 요구하는 베이스라인들에 비해 현저히 저렴합니다.

의의
본 논문은 이 방법이 검증기의 부재로 인해 RLVR를 수행할 수 없는 도메인에 강력한 추론 모델을 적응시키기 위한 비용 효율적이고 접근 가능한 경로를 제공한다고 주장합니다. 널리 사용 가능한 IFT 데이터셋을 활용하고 단순한 모델 병합을 통해 추론 행동을 회복함으로써, 이 기술은 RLM이 새로운 작업별 기술을 습득하는 동시에 일반적인 추론 능력을 유지할 수 있게 합니다. 저자들은 이 방법이 IFT 데이터가 충분한 신호를 제공하는 작업(코딩 및 요약 등)에는 효과적이지만, 추론 과정 자체가 성능의 주요 동력이 되는 도메인(예: 복잡한 수학적 증명)에서는 추론 과정 자체에 대한 감독이 여전히 필요할 수 있다고 언급합니다.

유사한 논문