Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

기술 요약: 액세스 세트가 중요합니다: 확장 가능한 가중치 공간 모델 병합을 위한 예산 전문가 읽기

1. 문제 제기

대형 언어 모델 (LLM) 개발이 베이스 모델, 지시 미세 조정 변형, 도메인 전문가, 델타 업데이트 등을 포함하는 체크포인트 계열에 점점 더 의존함에 따라, 이러한 것들을 가중치 공간 병합을 통해 단일 배포 가능 모델로 통합하는 작업이 중요해졌습니다. 기존 연구는 가중치를 어떻게 결합할지 (예: 평균화, TIES, 또는 DARE 를 통한) 에 초점을 맞추고 있지만, 규모 확장 시 중요한 실행 병목 현상이 발생했습니다: 전문가 파라미터를 읽는 비용입니다.

간단한 병합 스크립트에서는 시스템이 모든 전문가 파라미터의 실제 기여도와 관계없이 체크포인트를 불투명한 파일로 간주하여 모두 스캔합니다. 전문가 수 ($K$) 가 증가함에 따라 전문가 읽기 I/O 는 거의 선형적으로 확장되어 병합 프로세스가 계산 제한이 아닌 I/O 제한이 됩니다. 이는 특히 디스크 기반 저장소에 있는 대규모 전문가 풀을 다룰 때 반복적 병합 워크플로우의 확장성을 제한합니다.

2. 방법론: MergePipe

저자들은 MergePipe를 소개하며, 이는 모델 병합을 전문가 액세스 세트 문제로 재정의하는 예산 인식 실행 계층입니다. 병합 규칙을 주요 제약 조건으로 간주하는 대신, MergePipe 는 가중치의 논리적 결합과 해당 가중치의 물리적 액세스를 분리합니다.

핵심 추상화:
MergePipe 는 전문가들이 공유된 가중치 좌표계 (예: 공유 베이스에서 미세 조정됨) 에 정렬되어 있다는 가정 하에 작동합니다. 이는 어떤 전문가 델타 블록이 물리적으로 읽힐지 결정하는 액세스 마스크($A$) 를 도입합니다.

• 전체 읽기 병합: $A = 1$ (모든 전문가 읽기).
• 예산 병합: 전문가 읽기 비용 $C_{expert}(A) \leq B$가 되도록 마스크 $A$를 선택합니다. 여기서 $B$는 사용자가 정의한 I/O 예산입니다.
• 실행: 시스템은 마스크 인식 연산자 $\Psi_{op}$를 실행합니다. 생략된 항목은 마스크 자체로 표현되며 저장소 읽기를 트리거하지 않습니다.

시스템 구성 요소:

1. 카탈로그: 불투명한 파일이 아닌 블록 구조화된 데이터로 체크포인트를 노출합니다. 전체 체크포인트를 스캔하지 않고도 비용 추정이 가능하도록 메타데이터 (크기, 레이아웃, 해시, 스케치, 커버리지 힌트) 를 저장합니다.
2. 플래너: 예산 제약을 만족하는 결정론적 액세스 마스크 $A$를 구성합니다. 카탈로그 통계 (예: 노름, 스케치) 를 사용하여 후보 전문가 델타를 순위 매기고, 블록을 선택하기 위해 탐욕적 또는 바이트당 점수 휴리스틱을 사용합니다. 이는 병합 연산자 논리를 변경하지 않지만 어떤 델타가 구체화될지 결정합니다.
3. 실행기: 베이스 블록을 스트리밍하고 DeltaIterator 를 사용하여 선택된 전문가 델타만 구체화합니다. 마스크 인식 연산자를 적용하고 액세스 마스크, 계획 해시, 계보가 포함된 재생 가능한 매니페스트를 기록합니다.

이론적 보장:

• 예산 건전성: 실행 트레이스는 구성상 지정된 예산 $B$ 내에서 유지되도록 보장됩니다.
• 전체 예산 일관성: 예산이 모든 전문가를 커버하도록 설정된 경우 ($A=1$), 시스템은 표준 전체 읽기 병합을 정확하게 복원합니다.
• 오차 한계: 고정 계수 덧셈 연산자의 경우, 생략된 업데이트 오차는 생략된 델타의 노름으로 제한됩니다. 비덧셈 연산자 (TIES 또는 DARE 등) 의 경우, 시스템은 동일한 추상화를 제공하며 충실도는 경험적으로 평가됩니다.

3. 주요 기여

1. 예산 객체로서의 전문가 액세스 세트: 이 논문은 전문가 액세스를 1 급 예산 자원으로 간주하여 '어떤 것' (액세스) 과 '어떻게' (결합) 를 분리하는 것을 제안합니다.
2. 이론적 분석: 저자들은 예산 건전성과 전체 예산 일관성을 증명하고, 덧셈 병합에 대한 생략된 업데이트 한계를 유도하여 노름 기반 액세스 점수의 사용을 정당화합니다.
3. MergePipe 구현: 이 추상화를 구현한 구체적인 시스템으로, 기존 병합 연산자의 변경 없이 전문가 읽기 I/O 를 수배 감소시키고 상당한 속도 향상을 달성합니다.

4. 실험 결과

저자들은 최대 25 명의 전문가를 가진 0.6B 에서 8B 파라미터까지의 Qwen 및 Llama 체크포인트 계열에서 MergePipe 를 평가했습니다.

• I/O 및 속도: MergePipe 는 전문가 읽기 I/O 를 최대 한 자릿수까지 감소시킵니다. 특정 시나리오 (예: 20 명의 전문가를 사용한 TIES 병합) 에서 단순 전체 읽기 기준 대비 최대 11 배의 속도 향상을 달성합니다.
• 확장성: 단순 병합은 전문가 수가 증가함에 따라 I/O 와 월 시간 (wall time) 이 거의 선형적으로 증가하는 반면, MergePipe 는 예산 상한을 강제함으로써 전문가 읽기를 거의 평탄하게 유지합니다.
• 연산자 일반성: 이 접근법은 다양한 연산자 (AVG, TIES, DARE) 와 호환됩니다. TIES 와 같은 희소 방법은 가장 큰 혜택을 받아, 고수준 전문가 시나리오에서 I/O 가 약 174GB 에서 약 3.5GB 로 감소합니다.
• 충실도:
  • 파라미터 편차: 전체 읽기 예산의 50% 에서 전체 읽기 병합에 대한 상대 $\ell_2$ 편차는 $O(10^{-3})$ 수준으로 유지됩니다.
  • 하류 성능: 벤치마크 (HumanEval, IFEval, DROP) 는 단조로운 저하를 보이지 않습니다. 일부 경우 성능은 전체 읽기 기준보다 약간 위쪽으로 변동하여 유리한 속도 - 충실도 프론티어를 나타냅니다.
• 오버헤드: 시스템 오버헤드는 최소화됩니다. 계획 시간은 실행 시간의 약 1% 를 차지하며, 메타데이터 저장은 전체 I/O 의 작은 부분에 불과합니다.

5. 중요성과 주장

이 논문은 LLM 규모의 체크포인트 계열에서 병합의 제한 자원은 종종 결합에 필요한 계산이 아닌 읽어야 하는 전문가 가중치 세트라고 주장합니다.

• 패러다임 전환: 저자들은 LLM 규모의 병합이 더 나은 병합 규칙뿐만 아니라 가중치 액세스 추상화를 필요로 한다고 주장합니다. 가중치를 불투명한 파일이 아닌 구조화된 예산 데이터로 간주함으로써 MergePipe 는 실용적인 속도 - 충실도 프론티어를 노출합니다.
• 상호 보완성: MergePipe 는 기존 대칭성 또는 순열 정렬 방법과 상호 보완적으로 제시됩니다. 가중치가 정렬되면 MergePipe 는 물리적 실행을 최적화합니다.
• 미래 시사점: 모델 계열이 계속 성장함에 따라, 저자들은 가중치 공간 방법이 확장성을 유지하기 위해 파라미터 I/O 패턴을 명시적으로 관리하는 실행 계층과 결합되어야 한다고 제안합니다.

이 연구는 새로운 병합 알고리즘을 발명하는 것이 아니라, 거대한 전문가 풀 시대에 기존 병합 알고리즘을 확장 가능하게 만드는 데 필요한 실행 인프라를 제공합니다.