💬 NLP

Multi-task Code LLMs: Data Mix or Model Merge?

이 논문은 효율적인 멀티태스크 코드 LLM을 생성하기 위한 데이터 믹싱과 모델 머징 전략을 비교하며, 모델 머징이 더 큰 규모(7B)에서는 전문화된 성능을 유지하거나 심지어 능가함으로써 데이터 믹싱보다 우수하고, 데이터 믹싱은 더 작은 규모(2B)에서 선호된다는 것을 밝혀냈다.

원저자: Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

게시일 2026-01-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게는 두 가지 매우 다른 기술, 즉 코드 작성(프로그래머처럼)과 코드 설명(선생님처럼)을 배워야 하는 아주 똑똑하고 작은 로봇 조수가 있다고 상상해 보세요. 당신은 이 로봇이 두 가지 모두를 잘하기를 원하지만, 두 개의 별도 로봇을 훈련시킬 예산이나 시간이 없습니다. 당신에게는 두 가지 주요 학습 방법이 있습니다.

"믹스 앤 매치" 수업 (데이터 혼합): 모든 프로그래밍 문제와 모든 설명 강의를 하나의 큰 양동이에 다 집어넣고 로봇에게 한꺼번에 가르칩니다.
"전문가 교체" (모델 병합): 먼저 한 로봇은 프로그래밍의 대가로, 다른 로봇은 설명의 대가로 훈련시킵니다. 그런 다음, 그들의 뇌(그들의 "가중치")를 가져와서 하나의 슈퍼 로봇으로 정교하게 블렌딩합니다.

이 논문은 단순한 질문을 던집니다: 어떤 방법이 더 효과적인가? 그리고 그 답은 전적으로 로봇의 크기에 달려 있습니다.

거대한 발견: 크기가 중요하다

연구진은 이를 다양한 크기의 로봇(약 20억 개의 "뇌 세포"를 가진 작은 로봇과 70억 개의 세포를 가진 더 큰 로봇)을 대상으로 테스트했습니다. 결과는 다음과 같았습니다.

1. 작은 로봇 (20억 파라미터): "믹스 앤 매치"의 승리

작은 로봇의 경우, 두 명의 전문가 뇌를 하나로 합치려고 시도하는 것은 재앙이었습니다. 그것은 마치 기름과 물을 섞는 것과 같았습니다. 두 기술이 서로 충돌했고, 로봇은 혼란에 빠져 두 가지 일 모두를 제대로 수행하는 법을 잊어버렸습니다.

비유: 작은 학생이 한 수업에서 미적분과 시 쓰기를 동시에 배우려고 노력한다고 상상해 보세요. 만약 당신이 두 개의 별도 수업을 강제로 결합하여 그들에게 "수학 시인"이 되라고 요구한다면, 그들은 압도당해 두 가지 모두를 제대로 배우지 못할 수도 있습니다.
해결책: 작은 로봇에게는 수학 책과 시집을 그냥 한데 모아 놓고 함께 공부하게 하는 것이 더 낫습니다. "믹스 앤 매치" 방식(데이터 혼합)은 작은 로봇이 혼란을 겪지 않고 두 가지 작업 모두에 유능함을 유지하도록 해주었습니다.

2. 큰 로봇 (70억 파라미터): "전문가 교체"의 승리

큰 로봇의 경우, 이야기는 완전히 뒤바뀌었습니다. 두 전문가의 뇌를 블렌딩하는 것은 매우 아름답게 작동했습니다. 사실, 병합된 로봇은 때때로 개별 전문가보다 더 뛰어났습니다.

비유: 이미 수학의 대가이자 문학의 대가인 천재 교수가 있다고 상상해 보세요. 만약 당신이 그들의 "수학 뇌"와 "문학 뇌"를 가져와 결합한다면, 그들은 혼란을 겪지 않습니다. 대신, 그들은 방대한 지식을 사용하여 단독 전문가로서 할 수 없었던 방식으로 문제를 해결하는 방법을 찾아냅니다.
결과: 병합된 큰 로봇은 전문화된 전문가 성능의 96%를 유지했습니다. 어떤 경우에는 병합된 로봇이 코딩을 위해 특별히 훈련된 로봇보다 코딩 테스트에서 더 높은 점수를 받기도 했습니다!

왜 이런 일이 일어나는가? ("뇌 스캔")

연구진은 단순히 테스트 점수만 본 것이 아니라, 훈련 중에 로봇의 뇌 내부가 어떻게 변하는지 살펴보았습니다.

작은 로봇: 작은 로봇이 두 가지를 동시에 배우려고 할 때, 그들의 뇌는 두 작업에 대해 매우 유사한 방식으로 변화했습니다. 마치 수학과 시를 위해 정확히 같은 뉴런을 사용하는 것과 같았습니다. 당신이 두 개의 작은 로봇을 병합하려고 할 때, 그 뉴런들은 누가 무엇을 할지를 두고 싸우며 뇌 속에 "교통 체증"을 일으켰습니다.
큰 로봇: 큰 로봇은 수학을 위한 부분과 시를 위한 부분을 나누어 사용할 수 있을 만큼 충분한 "뇌 공간"을 가지고 있습니다. 그들은 집 안에 있는 두 개의 별도 방과 같습니다. 병합할 때, 방들이 충돌하지 않고 그저 나란히 놓여 있어, 간섭 없이 두 가지 모두의 대가가 될 수 있게 해줍니다.

핵심 요약

만약 당신이 작고 효율적인 AI 시스템(예: 배터리나 메모리가 제한된 장치용)을 구축하고 있다면, 전문가를 병합하려고 하지 마세요. 그냥 필요한 모든 데이터가 섞인 하나의 모델을 훈련시키세요.

하지만, 더 크고 강력한 모델을 가지고 있다면, 전문가를 병합하세요. 코딩 전문가와 요약 전문가를 각각 훈련시킨 다음, 이를 결합하여 방대한 멀티태스크 모델을 처음부터 훈련시키는 비용을 아끼면서도 다재다다능하고 고성능인 모델을 얻을 수 있습니다.

요약하자면:

작은 모델인가? 데이터를 섞으세요.
큰 모델인가? 전문가를 병합하세요.

이 논문은 개발자들이 모델의 크기에 따라 올바른 전략을 선택하여 자원을 낭비하지 않고 최상의 성능을 얻을 수 있도록 명확한 규칙을 제공합니다.

기술 요약: 멀티태스크 코드 LLM: 데이터 혼합인가, 모델 병합인가?

문제 정의

에이전트 프레임워크의 부상은 프런티어 모델과 병행하여 성능, 비용 및 추론 제약을 균형 있게 조절할 수 있는 소규모 전문화된 코드 거대언 Language 모델(LLM)에 대한 수요를 창출했습니다. 그러나 실제 배포 시에는 이러한 소형 모델이 여러 코딩 작업(예: 코드 생성 및 코드 요약)을 동시에 처리해야 하는 경우가 많습니다. 이러한 멀티태스크 모델을 만들기 위한 두 가지 주요 전략이 존재합니다:

데이터 혼합(Data Mixture): 모든 원하는 작업의 결합된 데이터셋으로 베이스 모델을 한 번에 미세 조정(Fine-tuning)합니다.
모델 병합(Model Merging): 각 작업에 대한 별도의 "전문가(specialist)" 모델을 학습시킨 후 사후적으로 가중치를 병합합니다.

데이터 혼합과 모델 병합 모두 활발히 연구되는 분야이지만, 코드 LLM에 특화된 비교 효과성에 대해서는 아직 연구가 부족합니다. 어떤 전략이 더 나은 멀티태스크 성능을 제공하는지, 모델 규모가 이 선택에 어떻게 영향을 미치는지, 그리고 가중치 공간 분석을 통해 최적의 전략을 예측할 수 있는지 여부는 불분명합니다.

방법론

저자들은 두 가지 모델 제품군(Qwen2.5-Coder 및 DeepSeekCoder)과 두 가지 규모(약 1.5B/1.3B 및 7B 파라미터)에 걸쳐 데이터 혼합 지도 미세 조정(SFT)과 네 가지 최첨단 모델 병합 기술을 비교하는 광범위한 실험을 수행했습니다.

작업(Tasks): 본 연구는 두 가지 뚜렷한 코딩 작업인 코드 생성(KodCode, HumanEval, MBPP 사용)과 코드 요약(CodeXGLUE Code-to-Text 사용)에 집중했습니다.
전략(Strategies):
- 데이터 혼합: 생성 및 요약 데이터셋을 섞은 조합으로 SFT를 수행합니다.
- 모델 병합: 생성 및 요약을 위한 별도의 전문가 모델을 학습시킨 후, Linear, TIES (Trim, Elect Sign & Merge), DARE (Drop And Rescale), DELLA (Deep Linear Learning Alignment)를 사용하여 병합합니다.
분석(Analysis): 저자들은 베이스 모델로부터의 레이어별 $L_2$ 거리와 작업별 가중치 업데이트 간의 피어슨 상관계수를 계산하여 간섭과 표현 중첩을 이해하는 가중치 공간 진단 접근 방식을 도입했습니다.

주요 기여

규모별 비교: 본 논문은 2B 및 7B 규모의 코드 LLM을 위한 데이터 혼합 대 모델 병합의 포괄적인 경험적 비교를 제공합니다.
가중치 공간 진단: 저자들은 레이어별 가중치 변화와 작업 간 업데이트 상관관계를 기계적 진단 도구로 사용하는 방법을 제안했습니다. 그들은 작은 모델에서 작업 간 업데이트 상관관계가 높게 나타나(간섭을 의미함), 큰 모델에서는 낮은 상관관계(직교하는 표현을 의미함)를 보인다는 것을 발견했습니다.
실무 지침: 모델 규모에 기반한 명확한 경험칙을 확립했습니다:
- 소형 모델 (~2B): 데이터 혼합 SFT가 선호되는 전략입니다. 전문가 모델을 병합하면 용량 제한으로 인해 상당한 성능 저하가 발생하기 때문입니다.
- 대형 모델 (7B): 모델 병합이 더 우수하며, 종종 최소한의 평균 저하(<2.1%)만으로 개별 전문가 모델과 대등하거나 이를 능가합니다.

결과

HumanEval, MBPP, CodeXGlue 벤치마크에 대한 평가 결과, 전략의 효과성에 있어 뚜렷한 규모 의존적 차이가 드러났습니다.

소형 모델 (1.3B/1.5B):
- 데이터 혼합 SFT가 병합 전략보다 일관되게 우수한 성능을 보였습니다. 예를 들어, Qwen 1.5B의 경우 데이터 혼합은 전문가 모델 대비 평균 -1.26%의 저하만을 기록한 반면, 병합 방법들(Linear, TIES, DELLA)은 -7%에서 -27%에 이르는 손실을 입었습니다.
- 가중치 분석 결과, 소형 모델에서는 생성과 요약 업데이트 사이의 피어슨 상관관계가 높게 나타났으며, 이는 모델이 유사한 파라미터를 수정하여 병합 시 파괴적인 간섭을 일으킨다는 것을 시사합니다.
대형 모델 (7B):
- 모델 병합이 데이터 혼합보다 유의미하게 우수했습니다. Qwen 7B의 경우, DELLA 병합이 가장 좋은 전체 성능(-2.08% 평균 손실)을 달ographic했으며, 이는 데이터 혼합 SFT(-2.57%)를 약간 상회하는 수치입니다.
- DeepSeek 7B의 경우, DARE 병합은 거의 완벽한 성능 유지(-0.01% 평균 손실)를 달성했으며, 특정 지표(예: MBPP pass@1이 0.775에서 0.799로 개선)에서는 전문가 모델을 능가하기도 했습니다.
- 가중치 분석 결과, 7B 모델에서는 작업 간 업데이트 상관관계가 낮게 나타났으며, 이는 모델이 별개의 표현 경로를 활용하여 충돌 없이 성공적인 결합이 가능함을 나타냅니다.
아키텍처 특이성: 최적의 병합 알고리즘은 아키텍처마다 달랐습니다. Qwen-Coder 7B에는 DELLA가 가장 잘 작동했고, DeepSeek-Coder 7B에는 DARE가 탁월한 성능을 보였습니다.

의의 및 주장

본 논문은 자원이 제한된 에이전트 시스템을 배포하려는 실무자들에게 실행 가능한 통찰력을 제공한다고 주장합니다. 주요 의의는 최적의 멀티태스크 학습 전략이 단순히 작업의 특성이 아니라 근본적으로 모델 규모에 의해 결정된다는 발견에 있습니다.

소형 모델의 경우: 훈련 과정에서 세심한 데이터 혼합 전략에 투자하는 것이 사후 병합보다 우수한 결과를 가져오며, 제한된 파라미터 용량으로 인한 "파괴적 간섭(catastrophic interference)"을 피할 수 있습니다.
대형 모델의 경우: 작업별 전문가 모델을 병합하는 것은 매력적인 이점을 제공하며, 팀이 모델을 결합하기 전에 독립적으로 최적화할 수 있는 모듈형 개발을 가능하게 합니다. 이 접근 방식은 중복된 멀티태스크 훈련을 피함으로써 훈련 비용을 줄이고, 처음부터 다시 훈련할 필요 없이 새로운 능력을 추가할 수 있게 합니다.

저자들은 신중한 전략 선택을 통해 소형 에이전트 시스템이 낭비적인 과잉 훈련 없이도 멀티태스크 코드 지능을 누릴 수 있으며, 가중치 공간 분석이 배포 전 적절한 전략을 선택하기 위한 예측 도구로 쓰일 수 있다고 결론지었습니다.