💻 computer science

Surrogate Benchmarks for Model Merging Optimization

본 논문은 구축된 모델을 활용하여 하이퍼파라미터로부터 병합된 모델의 성능을 예측함으로써, 전체 규모의 실험에 따르는 계산 비용 없이 모델 병합을 위한 하이퍼파라미터 최적화 알고리즘의 효율적인 개발과 비교를 가능하게 하는 저비용 대리 벤치마크를 소개한다.

원저자: Rio Akizuki, Yuya Kudo, Nozomu Yoshinari, Yoichi Hirose, Toshiyuki Nishimoto, Kento Uchida, Shinichi Shirakawa

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rio Akizuki, Yuya Kudo, Nozomu Yoshinari, Yoichi Hirose, Toshiyuki Nishimoto, Kento Uchida, Shinichi Shirakawa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 매콤한 커리 제조의 달인인 셰프 A와 섬세한 초밥 제조의 명수인 셰프 B, 두 명의 전문가 셰프가 있다고 상상해 보세요. 당신은 이 둘을 완벽하게 수행할 수 있는 단 한 명의 "슈퍼 셰프"를 만들고 싶습니다.

인공지능의 세계에서 이것은 **모델 병합(Model Merging)**이라고 불립니다. 새로운 셰프를 처음부터 훈련시키는 대신(이는 수년의 시간과 엄청난 양의 재료/데이터가 필요합니다), 셰프 A와 셰프 B의 "레시피"(내부 설정)를 하나로 합치는 방법을 시도하는 것입니다.

문제점: "비법 소스"를 찾기가 어렵다

까다로운 점은 이 레시피들을 섞는 것이 단순히 재료를 섞는 것만큼 간단하지 않다는 것입니다. 모든 조리 단계마다 셰프 A의 스타일을 얼마나 남기고 셰프 B의 스타일을 얼마나 추가할지를 정확히 결정해야 합니다. 이러한 결정들을 **하이퍼파라미터(hyperparameters)**라고 부릅니다.

배합을 제대로 하면 슈퍼 셰프가 탄생하지만, 잘못되면 결과는 엉망이 됩니다.

완벽한 배합을 찾기 위해 연구자들은 보통 시행착오 방식(진화 알고리즘과 같은 방법)을 사용합니다. 수천 가지의 조합을 시도하고, 그 결과를 테스트한 뒤, 가장 좋은 것을 골라내는 방식입니다. 하지만 문제는 단 하나의 조합을 테스트하는 것조차 믿을 수 없을 정도로 느리고 비용이 많이 든다는 점입니다. 이는 마치 새로운 요리를 맛보기 위해 음식 평론가 팀을 고용하는 것과 같으며, 요리 하나당 5분이 걸린다고 가정해 봅시다. 만약 1,000개의 조합을 테스트해야 한다면, 58시간 동안 쉬지 않고 맛을 봐야 합니다! 이 때문에 과학자들이 더 나은 배합을 찾는 새로운 방법을 발명하는 것은 매우 어려운데, 그 비용이 너무 높기 때문입니다.

해결책: "수정구슬" (대리 벤치마크)

요코하마 국립 대학교의 저자들은 다음과 같이 질문했습니다. "매번 실제로 맛을 보지 않고도 이 배합이 얼마나 좋을지 예측할 수 있다면 어떨까?"

그들은 대리 벤치마크(Surrogate Benchmark), 즉 SMM-Bench라고 불리는 것을 만들었습니다. 이것은 수정구슬 또는 매우 정확한 음식 평론가 시뮬레이터라고 생각하면 됩니다.

이들은 다음과 같이 이를 구축했습니다:

훈련 단계: 실제로 비용이 많이 들고 느린 맛보기 과정을 수천 번 수행했습니다(한 가지 유형의 혼합에는 13만 번 이상, 다른 유형에는 4만 번 이상). 그들은 시도한 모든 "레시피 설정"과 그에 따른 "맛 점수"를 기록했습니다.
학습 단계: 이 모든 데이터를 스마트한 컴퓨터 프로그램(머신러닝 모델)에 입력했습니다. 이 프로그램은 다음과 같은 패턴을 학습했습니다. "아, 셰프 A의 향신료를 0.8 사용하고 셰프 B의 것을 0.2 사용하면 점수가 보통 높게 나오는구나."
결과: 이제 새로운 레시피를 맛보는 데 5분을 쓰는 대신, 수정구슬은 순식간에 점수를 예측할 수 있습니다.

테스트 내용

그들은 두 가지 버전의 수정구슬을 만들었습니다:

SMM-Bench-PS: "재료"를 직접 섞는 방식(밀가루와 설탕을 섞는 것과 같은 방식)을 위한 것.
SMM-Bench-DFS: "조리 단계"를 섞는 방식(셰프 A의 칼질 기술을 쓸지, 셰프 B의 다지기 스타일을 쓸지 결정하는 것과 같은 방식)을 위한 것.

그들은 이 수정구슬이 새로운 실험 결과를 얼마나 잘 예측하는지 테스트했습니다. 수정구슬은 놀라울 정도로 정확했으며, 실제 결과와 비교했을 때 약 95%의 정확도로 "맛 점수"를 예측했습니다.

이것이 중요한 이유

이 논문은 연구자들이 이제 이 수정구슬을 사용하여 다음과 같은 일을 할 수 있음을 보여줍니다:

새로운 아이디어를 즉시 테스트하기: 새로운 혼합 알고리즘이 작동하는지 확인하기 위해 며칠씩 기다리는 대신, 일반 노트북에서 몇 분 만에 수정구슬로 테스트할 수 있습니다.
공정하게 비교하기: 값비싼 슈퍼컴퓨터 없이도 누구나 동일한 시뮬레이터를 사용하여 어떤 알고리즘이 가장 좋은지 확인할 수 있습니다.

논문에서 그들은 이 수정구슬을 사용하여 두 가지 "혼합 전략"(Sep-CMA와 DE)을 비교했습니다. 그들은 한 전략이 다른 전략보다 약간 더 낫다는 것을 발견했는데, 이 모든 비교를 단 몇 분 만에 끝냈습니다. 만약 실제 "맛보기" 방식을 사용했다면 며칠이 걸렸을 것이고 강력한 그래픽 카드도 필요했을 것입니다.

핵심 요약

이 논문은 그 자체로 새로운 모델 병합 방법을 발명하는 것이 아닙니다. 대신, 과학자들이 막대한 비용을 들이거나 몇 주씩 기다리지 않고도 자신들의 모델 병합 전략을 연습하고, 테스트하고, 개선할 수 있게 해주는 저비용 시뮬레이터를 발명한 것입니다. 이는 마치 셰프들이 실제 주방에 들어가기 전에 퓨전 레시피를 연습할 수 있는 시뮬레이션 게임을 제공하는 것과 같습니다.

기술 요약: 모델 병합 최적화를 위한 대리 벤치마크(Surrogate Benchmarks)

문제 정의
모델 병합 기술은 여러 모델을 하나의 모델로 통합하며, 이를 통해 대규모 데이터셋이나 고비용의 연산 없이도 능력을 향상시키는 경우가 많습니다. 그러나 대부분의 모델 병합 기술은 최종 모델의 성능에 상당한 영향을 미치는 하이퍼파라미터에 의존합니다. Akiba 등(2025)의 최근 연구에서 보여주었듯이, 이러한 하이퍼파라미터(예: CMA-ES와 같은 진화 알고리즘 사용)를 최적화하는 것이 더 우수한 결과를 낳지만, 이 과정은 계산 비용이 매우 많이 듭니다. 단 하나의 병합 구성을 평가하는 데에도 고성end GPU에서 몇 분이 소요될 수 있으며, 결과적으로 수천 번의 평가가 필요한 최적화 알고리즘(예: 1,000번의 평가에 58시간 이상 소요)을 실행하는 것은 새로운 최적화 알고리즘을 개발하거나 공정하고 재현 가능한 비교를 수행하는 데 있어 상당한 장벽이 됩니다. 기존의 모델 병합 벤치마크는 최종 성능을 평가하지만, 최적화 과정 자체의 계산 비용을 줄여주지는 못합니다.

방법론: SMM-Bench
저자들은 모델 병합 최적화에 특화된 최초의 대리 벤치마크인 SMM-Bench를 제안합니다. 핵심 접근 방식은 병합 하이퍼파라미터와 그에 대응하는 평가 점수에 대한 데이터를 수집하여, 실제 병합 및 추론 단계를 실행하지 않고도 성능을 예측하는 대리 모델(surrogate models)을 훈련하는 것입니다.

이 벤치마크는 이전의 최적화 설정들을 반영하여 두 가지 별개의 탐색 공간으로 정의됩니다:

SMM-Bench-PS (Parameter Space): 두 개의 소스 LLM(Shisa-gamma-7b-v12 및 WizardMath-7B-V1.1)을 사용한 태스크 아리스메틱(task arithmetic) 기반의 레이어별 병합에 초점을 맞춥니다. 탐색 공간은 64개의 연속적인 설계 변수(두 모델의 각 레이어에 대한 가중치)로 구성되며, 범위는 $[0, 1]$ 로 제한됩니다.
SMM-Bench-DFS (Data Flow Space): 레이어 스태킹(layer stacking)과 입력 스케일링(input scaling)에 초점을 맞춥니다. EvoLLM-JP-v1-7B와 Shisa-gamma-7b-v1 두 모델을 활용하며, 32개의 범주형 변수(Model A, Model B 또는 삽입 없음 중 레이어 선택)와 63개의 연속형 변수(레이어에 대한 입력 스케일링 계수)를 포함하는 혼합 탐색 공간을 정의합니다.

데이터 수집 및 모델 구축:

데이터 생성: 저자들은 PS를 위해 133,000개 이상의 데이터 포인트, DFS를 위해 40,000개 이상의 데이터 포인트를 수집했습니다. 데이터는 탐색 공간의 다양한 커버리지를 보장하기 위해 무작위 샘플링, CMA-ES 및 Tree-structured Parzen Estimator (TPE) 전략을 사용하여 수집되었습니다.
대리 모델: 수집된 데이터는 훈련 및 테스트를 위해 9:1 비율로 분할되었습니다. 입력 하이퍼파라미터에 기반하여 평가 점수(일본어 수학 데이터셋: gsm8k-ja 및 MGSM에 대한 정확도)를 예측하도록 LightGBM 모델이 훈련되었습니다. 모델은 5-겹 교차 검증(five-fold cross-validation)을 포함한 Optuna를 통해 최적화되었습니다.

주요 결과

예측 정확도: 대리 모델은 높은 예측 성능을 보여주었습니다. SMM-Bench-PS의 경우, 모델은 $R^2$ 점수 gsm8k-ja에서 0.950, MGSM에서 0.921을 달치했습니다. SMM-Bench-DFS의 경우 각각 0.962와 0.957을 기록했습니다. Kendall's Tau 계수 또한 강한 순위 상관관계를 나타냈습니다.
최적화 시뮬레이션: 저자들은 SMM-Bench 벤치마크 상에서 Random Search, CMA-ES, TPE를 사용하여 최적화 궤적을 시뮬레이션했습니다. 결과에 따르면, 대리 벤치마크는 "실제" 벤치마크(실제 LLM 병합 평가)와 비교했을 때 이러한 알고리즘들의 동작을 성공적으로 포착했습니다. DFS 대리 모델은 성능을 약간 과대평가하는 경향이 있었으나, 여전히 최적화 추세를 효과적으로 시뮬레이션했습니다.
알고리즘 비교: 저자들은 SMM-Bench-PS에서 Separable CMA-ES (Sep-CMA)와 Differential Evolution (DE)을 비교함으로써 벤치마크의 유용성을 입증했습니다. Sep-CMA는 두 데이터셋 모두에서 DE보다 우수한 성능을 보였습니다. 결정적으로, 이 비교는 노트북에서 몇 분 만에 완료되었으며, 실제 LLM 병합을 통해 동일한 평가를 수행하려면 수많은 GPU 일수가 필요했을 것입니다.

의의 및 주장
본 논문은 SMM-Bench가 모델 병합 최적화 알고리즘의 개발 및 평가를 위한 저비용 메커니즘을 제공한다고 주장합니다. 실제의 값비싼 평가를 빠른 대리 예측으로 대체함으로써, 이 벤치마크는 다음을 가능하게 합니다:

신속한 알고리즘 개발: 연구자들은 LLM 병합과 관련된 막대한 계산 비용을 들이지 않고도 새로운 최적화 전략을 반복적으로 실험할 수 있습니다.
재현 가능한 비교: 표준화된 조건 하에서 서로 다른 최적화 방법(예: 진화 전략, 베이지안 최적화) 간의 공정하고 재현 가능한 비교를 용이하게 합니다.
접근성 향상: 이 벤치마크는 모델 병합 영역의 AutoML 연구에 대한 진입 장벽을 낮추어, 자원 제약으로 인해 불가능했을 실험들을 가능하게 합니다.

저자들은 이 연구를 신경 구조 탐색(NAS) 및 일반적인 하이퍼파라미터 최적화에서 대리 벤치마크가 수행하는 역할과 유사하게, 정교한 모델 병합 최적화를 향한 기초적인 단계로 규정하고 있습니다.

문제점: "비법 소스"를 찾기가 어렵다

해결책: "수정구슬" (대리 벤치마크)

테스트 내용

이것이 중요한 이유

핵심 요약

유사한 논문