기술 요약: 출력 공간 투영을 통한 모델 병합

문제 제기

작업별 미세 조정된 언어 및 비전 모델의 급증으로 인해, 재학습 없이 여러 미세 조정 체크포인트를 단일 다중 작업 모델로 결합하는 모델 병합에 대한 수요가 창출되었습니다. Task Arithmetic, Model Soups, TIES, DARE 와 같은 기존 실용적 접근법은 경험적 성공을 보여주었으나, 고정된 스칼라 가중치, 확률적 마스킹, 부호 기반 가지치기 등의 휴리스틱 설계 선택에 의존합니다. 결정적으로, 이러한 방법들은 최적 결합 가중치의 공식적 수학적 특성을 결여하고 있으며, 그들이 명백히 최적임을 증명할 수 있는 정확한 손실 함수를 갖추지 못했습니다.

방법론

저자들은 출력 공간 투영 관점을 기반으로 잔차 업데이트에 대한 **볼록 2 차 계획법 (QP)**으로 모델 병합을 공식화하는 프레임워크를 제안합니다.

1. 볼록 QP 로의 공식화

이 논문은 미세 조정 잔차에 대한 대각 마스크를 통한 병합이 볼록 QP 로 표현될 수 있음을 관찰하며 시작합니다.

• 설정: 가중치 $\theta$를 가진 베이스 모델과 특정 레이어 $N$에서 $K$개의 미세 조정 모델이 가진 잔차 업데이트 $\{\delta^{(k)}_N\}$가 주어졌을 때, 목표는 병합된 잔차 $\delta_{merge}$를 찾는 것입니다.
• 대각 마스킹: 이 방법은 합산하기 전에 각 잔차에 대각 마스크 $D_k = \text{diag}(d^{(k)})$를 적용합니다: $\delta_{merge}(d) = \sum_{k=1}^K D_k \delta^{(k)}_N$.
• 목적 함수: 이 방법은 캘리브레이션 세트 $\mathcal{K}$에 대해 제곱 출력 보정 목적 함수 $J(d) = \sum_{j \in \mathcal{K}} \|A_j d + b_j\|^2$를 최소화합니다. 여기서 $b_j$는 입력 $x_j$에 대한 베이스 모델의 오차를 나타내고, $A_j$는 출력에 대한 잔차의 선형화된 효과를 인코딩합니다.
• 최적성: 이 QP 를 풀면 제곱 출력 손실을 최소화하는 가중치를 얻을 수 있습니다. 기존 방법들 (Task Arithmetic, Model Soups, TIES, DARE) 은 이 QP 의 특정 실현 가능 점이나 특수한 경우 (예: 고정 스칼라 또는 특정 확률적 마스크) 에 해당함이 입증되어, 동일한 목적 함수 하에서 QP 해가 이론적으로 우월하거나 동등함을 시사합니다.

2. 일반 기저와 비감소 오차

저자들은 축 정렬 (대각) 병합의 한계를 해결하기 위해 대각 마스크 접근법을 일반 기저 공식화로 확장합니다.

• 투영 관점: 병합은 후보 수정들의 부분 공간을 사용하여 베이스 모델의 잔차 오차를 근사하는 것으로 간주됩니다. 최적 해는 출력 공간에서 후보 업데이트들이 span 하는 부분 공간으로 베이스 모델 잔차를 투영하는 것에 해당합니다.
• 비감소 오차: 논문은 임의의 선택된 기저에 대한 비감소 오차에 대한 폐형식 진단식을 유도합니다. 이 오차는 선택된 부분 공간에 포착된 잔차 에너지의 비율에 의해 결정됩니다.
• 최적 기저: 분석에 따르면, 완화된 투영 문제에 대한 최적 기저는 잔차 에너지 행렬 $S = \sum_{j} b_j b_j^\top$의 주요 고유벡터로 주어집니다.
• 트레이드오프 특성화: 이 프레임워크는 대각 QP 의 계산 효율성과 최적 기저의 성능 향상 사이의 트레이드오프를 정량화합니다. 모델 업데이트가 공유 기저에서 독립적인 모드로 분해될 때 대각 병합이 최적임을 확립하며, 그렇지 않은 경우 "비최적성 간격"은 포착된 에너지 비율을 통해 측정 가능합니다.

3. 다중 레이어 확장

다중 레이어 병합을 위해 저자들은 순차적 레이어별 알고리즘을 제안합니다. 레이어 간 결합 최적화는 비선형 상호작용으로 인해 비볼록이므로, 이 방법은 단일 레이어 QP 를 순차적으로 적용합니다. 각 단계에서 잔차는 현재 병합된 모델을 사용하여 업데이트되고, 다음 레이어에 대해 QP 를 풀며 필요한 야코비안을 재계산합니다.

주요 기여

1. 통합 프레임워크: 이 논문은 기존 휴리스틱 병합 방법 (Task Arithmetic, Model Soups, TIES, DARE) 을 대각 마스크 QP 의 특수한 경우로 포함시켜 통합된 수학적 관점을 제공합니다.
2. 볼록 공식화: 모델 병합이 잔차 업데이트에 대한 볼록 2 차 계획법으로 공식화될 수 있음을 확립하여, 선택된 기저에 대한 전역 최소값을 보장합니다.
3. 폐형식 진단식: 저자들은 계산 가능한 진단식인 선택된 기저에 의해 포착된 잔차 에너지의 비율을 도입하여, 전체 하류 평가 없이 캘리브레이션 세트만으로 병합 품질을 예측할 수 있게 합니다.
4. 최적 기저 특성화: 이 작업은 제곱 출력 손실을 최소화하기 위한 최적 기저로 잔차 활성화의 출력 가중 주성분을 식별하여, 대각 병합이 충분한 경우와 더 복잡한 기저가 필요한 경우를 명확히 합니다.
5. 경험적 검증: 이 프레임워크는 언어 (LLaMA 3.1) 및 비전 (ViT-B/32, MNIST) 벤치마크 전반에 걸쳐 검증되어, 기존 휴리스틱보다 일관된 향상을 입증했습니다.

실험 결과

• 단일 레이어 성능: ViT-B/32(CIFAR-10, STL-10, Imagenette, EuroSAT 에서 미세 조정됨) 와 LLaMA 3.1 에 대한 단일 레이어 병합 실험에서, QP 해는 모든 데이터셋에 걸쳐 **최저 평균 제곱 오차 (MSE)**를 달성하고 Task Arithmetic, Model Soups, TIES, DARE, Fisher-가중 병합과 비교하여 최고 평균 정확도를 기록했습니다.
• 기저 분석: MNIST 숫자 분류 작업에 대한 실험은 최적 기저(잔차 행렬의 상위 고유벡터) 가 일관되게 최저 MSE 를 달성함을 보여줍니다. 표준 대각 기저는 최적 기저보다 덜 효과적이지만 경쟁력 있으며 벤치마크 휴리스틱보다 우월하여, 이를 효율적인 대리자로 사용하는 것을 검증합니다.
• 다중 레이어 향상: LLaMA 3.1 에 대한 순차적 다중 레이어 확장은 코드, 지시 따르기, 수학 작업 전반에 걸쳐 베이스라인 방법과 비교하여 MSE 와 정확도 모두에서 일관된 개선을 보여줍니다.
• 진단 유용성: "포착된 에너지" 지표는 다양한 기저 선택의 성능 순위를 성공적으로 예측하여, 잔차 에너지 포착과 하류 손실 사이의 이론적 연결을 확인합니다.

중요성과 주장

이 논문은 기존 휴리스틱의 성공을 설명하고 이를 개선하기 위한 원칙적인 방법을 제공하는 통합 이론적 프레임워크를 제공한다고 주장합니다.

• 이론적 엄밀성: 임의의 규칙에 의존하는 이전 방법들과 달리, 이 접근법은 해당 방법이 최적인 정확한 수학적 개념 (투영을 통한 제곱 출력 손실 최소화) 을 제공합니다.
• 실용적 유용성: 이 프레임워크는 비싼 최적 기저가 언제 필요한지 versus 저렴한 대각 QP 로 충분할지를 결정할 수 있는 계산 가능한 진단식을 제공합니다.
• 겸손함: 저자들은 프레임워크가 선형화된 제곱 출력 목적 함수에 대해 유도되었음을 인정하며 한계를 지적합니다. 그들은 비 2 차 손실 (예: 교차 엔트로피) 로의 프레임워크 확장 및 고차원 설정에서 최적 기저를 위한 확장 가능한 근사법 개발이 향후 중요한 연구 방향임을 명시적으로 밝힙니다. 또한 LLM 실험에서 관찰된 바와 같이, 낮은 MSE 가 항상 높은 작업 정확도와 완벽하게 상관관계가 있는 것은 아니라는 한계도 지적합니다.

요약하자면, 이 논문은 가중치의 휴리스틱 결합에서 출력 공간의 볼록 최적화 문제로 모델 병합을 재정의하여, 기존 방법에 대한 이론적 정당성과 더 최적의 병합 전략으로 가는 길을 제시합니다.