기술 요약: EvoPref

문제 제기

대형 언어 모델 (LLM) 정렬은 현재 주로 RLHF, DPO, ORPO 와 같은 경사 기반 선호도 최적화 방법에 크게 의존하고 있습니다. 이러한 방법들은 효과적이지만, **선호도 붕괴 (preference collapse)**라는 문제를 겪고 있는데, 이는 모델이 훈련 목표를 충족시키는 좁은 행동 양식으로 수렴하면서 소수 선호도를 무시하게 되는 현상입니다. 그 결과 모델은 제한된 방식으로만 유용하며 다양성이 결여됩니다. 저자들은 이를 LLM 파인튜닝의 매우 비볼록한 손실 지형에 기인한다고 보며, 단일 궤적 경사 하강법이 종종 최적이 아닌 국소 최소값에 갇혀 방대한 정렬 가능한 행동 공간을 탐색하지 못한다고 지적합니다.

방법론: EvoPref

본 논문은 다양한 LLM 정렬을 발견하도록 설계된 다목적 진화 알고리즘 (MOEA) 인 EvoPref를 소개합니다. 역전파를 통해 단일 손실 함수를 최적화하는 대신, EvoPref 는 저랭크 적응 (LoRA) 어댑터들의 집단을 유지하며 **유용성 (Helpfulness), 무해성 (Harmlessness), 정직성 (Honesty)**이라는 세 가지 상충되는 목표를 동시에 진화시킵니다.

핵심 구성 요소

1. 집단 기반 탐색: EvoPref 는 50 세대에 걸쳐 LoRA 어댑터들의 집단 ($\mu=32$) 을 진화시킵니다. 기본 LLM 가중치는 고정되며, 저랭크 어댑터 행렬 ($A$와 $B$) 만 업데이트됩니다.
2. NSGA-II 선택: 알고리즘은 파레토 우세에 기반하여 솔루션을 순위 매기기 위해 비우세 정렬 유전 알고리즘 II (NSGA-II) 를 사용합니다. 이는 목적 함수 공간의 단일 영역에 솔루션이 군집하는 것을 방지하기 위해 파레토 프론트 내에서 다양성을 유지하는 **군집 거리 (crowding distance)**를 활용합니다.
3. 그리드 기반 아카이브: 핵심 구성 요소는 3 차원 목적 함수 공간을 이산화하는 $10 \times 10 \times 10$ 그리드 아카이브입니다.
   • 다양성 보존: 아카이브는 각 그리드 셀에서 발견된 최상의 비우세 솔루션을 저장합니다. 이는 세대 간에 발견된 다양성 양식의 소실을 방지합니다.
   • 교차 파트너: 아카이브는 교차 파트너의 원천으로 작용하여 집단이 이전에 발견된 다양한 솔루션과 상호작용할 수 있게 합니다.
4. LoRA 인지 교차: 표준 산술 교차는 LoRA 행렬의 랭크를 팽창시켜 저랭크 제약을 위반할 수 있습니다. EvoPref 는 LoRA 어댑터의 인수화된 구성 요소 ($A$와 $B$) 에 작동하는 랭크 보존 교차를 도입합니다:
   $$A' = \gamma A_1 + (1-\gamma)A_2, \quad B' = \gamma B_1 + (1-\gamma)B_2$$
   이는 의미 있는 매개변수 조합을 가능하게 하면서도 저랭크 구조를 보존합니다.
5. 적응형 돌연변이: 돌연변이 단계 크기 ($\sigma$) 는 Rechenberg 의 1/5 성공 규칙을 사용하여 적응되며, 수동 튜닝 없이 탐색과 활용을 자동으로 균형 있게 조절합니다.

주요 기여

저자들은 네 가지 주요 기여를 식별합니다:

1. 다양성 발견: 아카이브 보존을 갖춘 집단 기반 방법이 경사 기반 방법들보다 훨씬 더 다양한 정렬을 발견함을 입증하며, 특히 더 높은 선호도 커버리지와 더 낮은 붕괴율을 달성합니다.
2. 이론적 동기: Dang 등 [10] 의 런타임 분석을 선호도 최적화로 확장합니다. 이 분석은 아카이브 기반 방법이 단일 궢적 최적화보다 붕괴를 더 효과적으로 탈출한다고 시사하는데, 그 이유는 다양성 지표 (예: 군집 거리) 가 국소 최적점을 탈출하는 데 필수적이지 선택적 향상 사항이 아니기 때문입니다.
3. 알고리즘적 혁신: 체계적인 선호도 공간 탐색을 위한 LoRA 인지 교차, 그리드 기반 아카이브, 그리고 진화적 LLM 정렬에 맞춤화된 적응형 돌연변이 전략의 도입.
4. 엄격한 평가: DPO, IPO, KTO, ORPO 와 같은 경사 기반 방법, 단일 목적 진화 전략 (CMA-ES), 그리고 다른 다목적 알고리즘 (MOEA/D, SMS-EMOA) 에 대한 포괄적인 비교를 30 회 독립 실행과 엄격한 통계적 검정 (Friedman 검정, Wilcoxon 부호 순위 검정) 을 통해 수행했습니다.

결과

HH-RLHF 데이터셋과 표준 벤치마크 (RewardBench, MT-Bench, TruthfulQA, Safety Eval) 를 사용하여 Mistral-7B-Instruct 모델에 대해 평가했습니다:

• 선호도 커버리지: EvoPref 는 중앙값 선호도 커버리지가 **82.5%**로, ORPO(70.0%, 상대적 개선 18%, $p<0.001$) 및 기타 진화 기반 방법들을 크게 능가했습니다.
• 붕괴 감소: 붕괴율은 47% 감소했습니다 (EvoPref 11.0% 대 ORPO 20.6%).
• 정렬 품질: EvoPref 는 경쟁력 있는, 그리고 경우에 따라 우수한 정렬 품질을 유지했습니다. 이는 가장 높은 중앙값 RewardBench 정확도 (ORPO 의 75.0% 대비 75.5%, $p<0.05$) 와 MT-Bench 점수 (7.62) 를 달성했습니다.
• 어블레이션 연구: 아카이브를 제거하면 커버리지가 71.2% 로 감소했고, 군집 거리를 제거하면 70.0% 로 감소하여 다양성 메커니즘이 방법의 성공에 필수적임을 확인했습니다.
• 일반화: 다양성 이점은 홀드아웃 벤치마크 (WildChat 및 HarmBench) 로 일반화되었으며, EvoPref 는 경사 기반 방법들에 비해 우수한 커버리지와 안전성 성능을 유지했습니다.

의의 및 주장

본 논문은 진화적 최적화가 다양한 LLM 정렬을 위한 원칙적인 패러다임이라고 주장합니다. 그 주요 의의는 다음을 입증하는 데 있습니다:

• 다양성은 부수적 산물이 아니라 필수 조건입니다: 이 연구는 경사 하강법 내재적 '선호도 붕괴'를 탈출하기 위해 다양성 메커니즘 (특히 아카이브 기반 보존과 군집 거리) 이 필수적이라는 이론적 통찰을 검증합니다.
• 단일 지점 최적화를 넘어: 단일 모델 구성을 산출하는 경사 방법과 달리, EvoPref 는 100 개 이상의 다양한 모델 아카이브를 생성합니다. 이를 통해 실무자는 재훈련 없이 배포 맥락에 따라 특정 어댑터를 선택할 수 있습니다 (예: 고위험 애플리케이션에서는 안전성을, 일반 보조에서는 유용성을 우선시).
• 비볼록 탐색: 집단을 진화시킴으로써 EvoPref 는 선형 보간 방법 (예: "rewarded soups") 이나 단일 궢적 경사 하강법으로는 도달할 수 없는 파레토 프론트의 비볼록 영역을 탐색할 수 있습니다.

저자들은 경사 기반 방법들이 원시 품질 측면에서는 여전히 경쟁력이 있지만, 진화적 접근법이 안전하고 유용한 LLM 행동의 전체 스펙트럼을 발견하기 위한 근본적으로 다르고 더 견고한 경로를 제공한다고 결론지었습니다.