기술 요약: 데이터 혼합인가, 모델 병합인가? 모델 병합을 통한 대규모 언어 모델의 유용성(Helpfulness), 정직성(Honesty), 무해성(Harmlessness)의 균형 조절

문제 정의

대규모 언어 모델(LLM)의 신뢰할 수 있는 배포를 위해서는 유용성(정확하고 과업에 부합하는 응답), 정직성(환각 현상 방지), 무해성(유해한 출력 방지)이라는 세 가지 핵심 차원, 즉 3H 최적화에 대한 균형 잡힌 최적화가 필요합니다. RLHF(인간 피드백 기반 강화 학습) 및 DPO(직접 선호도 최적화)와 같은 기존의 정렬 기술은 개별적인 측면을 개선해 왔으나, 본질적인 트레이드오프 관계로 인해 세 가지 요소를 동시에 달성하는 데는 여전히 큰 어려움이 있습니다. 예를 들어, 유용성을 최적화하면 의도치 않게 유해한 콘텐츠가 생성될 수 있고, 무해성 정렬은 정직하지 못한 응답을 초래할 수 있습니다.

이러한 갈등을 해결하기 위한 전통적인 방식은 다양한 데이터셋을 결합하여 단일 모델을 미세 조정하는 **데이터 혼합 전략(data mixture strategies)**에 의존합니다. 그러나 이 방법들은 전문가 지식에 대한 높은 의존도, 높은 계산 비용, 미세 조정 과정 중 발생하는 상충하는 최적화 신호 관리의 어려움 등의 한계가 있습니다. 반면, 모델 병합(특화된 모델들의 파라미터를 통합하는 방식)은 파라미터 수준에서 범용적인 최적화의 문제를 완화하고 치명적 망각(catastrophic forgetting)을 방지하며 목표 간의 균형을 맞출 수 있는 비용 효율적인 대안을 제공하지만, 3H 최적화에 대한 구체적인 효과와 한계는 아직 충분히 탐구되지 않았습니다. 이 분야의 주요 과제로는 선호도 노이즈 축적(여러 정렬된 모델을 병합할 때 실제 과업 방향을 가리는 이상치 가중치 업데이트가 발생하는 현상)과 레이어 희소성 적응(기존 방식이 LLM의 서로 다른 레이어에 걸친 다양한 희소성 패턴을 반영하지 못하는 문제)이 있습니다.

방법론

벤치마킹 및 분석

저자들은 3H 최적화를 위한 데이터 혼합과 모델 병합 기술을 체계적으로 비교하기 위해 종합적인 벤치마크를 구축했습니다. 여기에는 다음이 포함됩니다:

• 데이터셋: 5가지 주석 차원(유용성, 정직성, 무해성 및 이들의 조합)을 다루는 10개의 선호도 데이터셋.
• 베이스라인: 12개의 훈련 불필요 모델 병합 전략(예: Weight Average, Task Arithmetic, TIES, DARE, TSVM)을 포함한 15개의 대표적인 방법과 3개의 데이터 혼합 전략(Heuristic, ArmoRM, Hummer).
• 모델: 정적(단일 단계) 및 지속적(다단계) 최적화 설정 모두에서의 두 가지 인스트럭션 튜닝된 LLM 제품군(Llama-3-8B 및 Mistral-7B).

이 벤치마크를 통해 저자들은 3H 차원 간에 간과되었던 협력적 및 갈등적 관계를 밝혀냈습니다. 특히, "유용한(Helpful)" 훈련은 3H 모든 차원에 동시에 이득을 주는 반면, "정직한(Honest)" 훈련과 "무해한(Harmless)" 훈련은 서로를 약화시키는 경향이 있다는 점을 발견했습니다.

제안된 방법: RESM

다중 목적 병합에서의 선호도 노이즈와 레이어 희소성 문제를 해결하기 위해, 본 논문은 **RESM(Reweighting Enhanced task Singular Merging)**을 제안합니다. 이 방법은 Task Singular Vector(TSV) 병합을 기반으로 하며, 두 가지 새로운 메커니즘을 도입합니다:

1. 이상치 인식 가중치 부여 (선호도 노이즈 해결):

   • 여러 정렬된 모델을 병합할 때 선호도 노이즈가 축적된다는 점을 인식하여, RESM은 3σ 원리에 기반한 통계적 유의성 필터링 메커니즘을 사용합니다.
   • 각 레이어에 대해 가중치 편차($\Delta$)의 행 단위 평균($\mu$)과 표준편차($\sigma$)를 계산합니다.
   • 임계값 함수를 통해 낮은 크기의 변동(노이즈)은 억제하고 통계적으로 유의미한 편차만을 유지합니다.
   • 집계 가중치($\alpha$)는 이러한 희소한 이상치 크기의 L1 정규화를 통해 계산되어, 다양한 과업으로부터의 균형 잡힌 기여를 보장하고 고차원 업데이트가 병합을 지배하는 것을 방지합니다.

2. 희소성 적응형 랭크 선택 (레이어 희소성 해결):

   • 기존 방식은 모든 레이어에 대해 균일한 랭크 선택 임계값($k$)을 사용하는데, 이는 파라미터 중요도의 이질성을 반영하지 못합니다.
   • RESM은 **희소성 합의(sparsity consensus, $\Omega_l$)**를 기반으로 각 레이어의 랭크($k_l$)를 동적으로 결정합니다.
   • 희소성은 작은 임계값 $\epsilon$ 미만의 파라미터 편차 비율을 계산하여 산출됩니다.
   • 동적 랭크는 $k_l = \lfloor d_l(\gamma_0 + \gamma\Omega_l) \rfloor$로 정의되며, 여기서 $d_l$은 레이어 차원입니다. 이를 통해 희소한 레이어에서는 더 높은 랭크를 유지(핵심적인 방향성 특징 보존)하고, 밀집된 레이어에서는 더 강력한 차원 축소(노이즈 억제)를 수행합니다.

최종 병합된 레이어는 다음과 같이 재가중된 특이 벡터를 통합하여 계산됩니다:
$$\theta^{RESM}_l = \theta^0_l + \sum_{i=1}^n U^{(i)}_{l\perp}[:, : k_l] \cdot (\alpha^{(i)}_l S^{(i)}_l) \cdot V^{(i)\top}_{l\perp}[: k_l, :]$$

주요 결과

성능 비교

Llama-3 및 Mistral 모델에 대한 광범적인 평가 결과, 모델 병합이 3H 최적화의 균형을 달성하는 데 있어 데이터 혼합 방식보다 우수함을 입증했습니다:

• 정적 최적화: Llama-3의 경우, 가장 우수한 데이터 혼합 방식(Hummer)이 **10.16%**의 정규화된 이득을 달성했습니다. 반면, 모델 병합 방식들은 일관되게 이를 능가했으며, 제안된 RESM은 14.97%의 이득을 달성했습니다. 베이스라인인 TSVM은 13.00%를 기록했습니다.
• Mistral 결과: 유사한 경향이 관찰되었으며, RESM은 베이스라인보다 3.36% 높은 이득을 달성하여 가장 우수한 데이터 혼합 방식(1.53%)을 앞질렀습니다.
• 안정성: DARE, DELLA와 같은 무작위 희소화 방식이 서로 다른 무작위 시드에 따라 불안정한 성능을 보인 것과 달리, RESM은 SVD 기반 접근 방식과 적응형 전략 덕분에 견고하고 일관된 결과를 보여주었습니다.

절제 연구 (Ablation Studies)

절제 연구를 통해 RESM의 두 구성 요소의 필요성을 확인했습니다:

• 이상치 가중치 부여를 제거하면 Llama-3의 정규화된 이득이 14.97%에서 13.60%로 감소합니다.
• 적응형 랭크 선택을 제거하면 이득이 13.71%로 감소합니다.
• 두 전략을 결합했을 때 가장 높은 성능을 보여, 노이즈 축적과 레이어 희소성을 모두 해결하는 것이 중요함을 검증했습니다.

지속적 최적화

연속적인 DPO 훈련 환경(순차적 데이터를 사용하는 실제 시나리오 시뮬레이션)에서 RESM은 최종 단계 모델보다 우수한 성능을 유지했습니다. 저자들은 치명적 망각 효과가 상호작용적 최적화를 통해 역설적으로 3H 정렬을 강화한다는 점을 관찰했으며, 기초 체크포인트로부터 병합하는 RESM의 전략이 이전 목표에 대한 과적합을 효과적으로 완화했음을 확인했습니다.

의의 및 주장

본 논문은 3H 최적화를 위해 데이터 혼합과 모델 병합을 비교하는 최초의 체계적인 벤치마크를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 경험적 통찰: 모델 병합이 상충하는 정렬 목표를 효과적으로 협상하는 단계적 최적화 패러다임을 제공하며, 상충하는 신호로 인해 어려움을 겪는 데이터 혼합 전략보다 종종 더 우수함을 밝혀냈습니다.
2. 방법론적 발전: 제안된 RESM 알고리즘은 이상치 가중치 부여와 적응형 랭크 선택을 통해 LLM 병합의 구체적인 기술적 난제인 선호도 노이즈와 레이어 희소성을 해결하며, 추가 학습 데이터 없이도 최첨단(SOTA)의 균형 잡힌 정렬을 달성합니다.
3. 이론적 토대: 작업 벡터 간의 방향성 충돌 확률에 대한 이론적 경계를 제공하여, 적응형 랭크 선택이 고정 랭크 방식에 비해 충돌 가능성을 줄임을 입증했습니다.

저자들은 재가중치 및 희소성 인식 전략으로 강화된 모델 병합이 윤리적으로 제약된 다중 목적 정렬 LLM을 구축하기 위한 실행 가능하고 효율적인 경로임을 결론짓습니다. 또한, RESM이 정직성과 무해성을 크게 개선함에도 불구하고, "유용성" 차원은 여전히 차원 내 충돌(intra-dimension conflicts)로 인한 과제가 남아 있음을 강조하며, 향후 계층적 충돌 해결 프레임워크의 필요성을 시사했습니다.