기술 요약: H3Fusion

문제 정의

사전 학습된 대규모 언어 모델(LLM)의 정렬(Alignment)은 응답이 도움이 되고(Helpful), 해롭지 않으며(Harmless), 정직한(Honest), 즉 HHH 성질을 갖추도록 보장하는 것을 목표로 합니다. 그러나 현재의 접근 방식들은 다음과 같은 중대한 과제에 직면해 있습니다:

1. 트레이드오프(Trade-offs): 하나의 속성(예: 안전성)을 위해 미세 조정(Fine-tuning)을 수행하면 종종 다른 속성(예: 유용성 또는 진실성)이 저하됩니다. 예를 들어, 과도한 안전성 튜닝은 모델을 지나치게 조심스럽게 만들어 사용자를 돕지 못하게 만들 수 있고, 높은 유용성은 환각(Hallucination) 현상을 증가시킬 수 있습니다.
2. 사용자 가변성: 서로 다른 사용자 프로필은 이러한 차원들을 다르게 우선순위에 둡니다 (예: 디자이너는 유용성보다 안전성을 우선시할 수 있음). 이는 복잡한 선호도 지형을 형성합니다.
3. 기존 융합 방식의 한계:
   • 앙상블 방법(Ensemble Methods): 추론 시점의 앙상블(예: 다수결 투표, 요약)은 여러 모델에 대한 비동기적 추론을 요구하므로 높은 계산 비용과 지연 시간(Latency)을 초래합니다.
   • 모델 병합(Model Merging): 가중치 병합 기술(예: Task Arithmetic, DARE)은 여러 모델 변체를 동시에 유지해야 하므로 상당한 메모리 오버헤드가 발생하며, 언더피팅(Under-fitting)이나 휴리스틱 선택 문제로 인해 성능이 저하될 수 있습니다.
   • 표현 서브스페이스(Representation Subspace): 모든 HHH 속성을 동시에 만족하는 모델의 표현 서브스페이스 내 단일 지점을 식별하는 것은 여전히 어렵습니다.

방법론: H3Fusion

H3Fusion은 개별적으로 정렬된 모델들(Helpful, Harmless, Honest)을 하나의 견고한 아키텍처로 통합하기 위해 혼합 전문가(Mixture-of-Experts, MoE) 기반의 융합 메커니즘을 제안합니다. 이 접근 방식은 정렬을 표현 서브스페이스 내에서의 제어 가능한 드리프트(Drift)로 취급합니다.

1. 아키텍처 설계

• 기본 청사진(Base Blueprint): 이 방법은 표준 사전 학습된 LLM(예: LLaMA-2, LLaMA-3, Qwen-2)에서 시작합니다.
• MoE 통합: 표준 피드포워드 네트워크(FFN) 레이어를 희소 게이팅 MoE(Sparsely-Gated MoE) 레이어로 교체합니다.
• 전문가 초기화: 무작위 초기화 대신, 전문가($FFN_1, \dots, FFN_k$)를 개별적으로 정렬된 모델들(유용성, 안전성, 진실성을 각각 담당하는 모델)의 가중치로 초기화합니다.
• 라우터(Router): 라우터 네트워크는 입력에 따라 활성화될 전문가를 동적으로 선택합니다. 출력은 가중 합 $\sum G(h)_i \cdot FFN_i(h)$로 계산됩니다.
• 효율성: 레이어당 일부 전문가(예: $k=2$)만 활성화되므로, 추론 비용을 선형적으로 증가시키지 않으면서 모델의 용량을 확장할 수 있습니다.

2. 목적 함수 및 손실 함수 설계

정렬은 임베딩 거리와 활성화 채널화(Activation Canalization)를 포함하는 이중 목적 함수로 정식화되며, 세 가지 손실 구성 요소를 통해 최적화됩니다:

• 드리프트 인식 정규화 ($L_R$):

  • 모델의 정렬을 원래의 투영 행렬(Projection Matrix)에 추가된 섭동(Perturbation)인 드리프트 $\epsilon$으로 정의합니다.
  • 각 전문가를 위한 "튜너" 역할을 하는 $\gamma_j$를 도입하여 $\sum \gamma_j \|W_j\|^2$ 형태의 정규화 항을 도입합니다.
  • 메커니즘: 전문가의 투영 행렬의 노름(Norm)을 스케일링함으로써, 이 방법은 임베딩 드리프트의 크기를 제어합니다. 이를 통해 특정 전문가의 행동으로부터 최종 모델이 얼마나 벗어날지(예: "안전성" 드리프트를 줄여 유용성을 높이는 것)를 동적으로 조정할 수 있습니다.

• 게이팅 손실 ($L_G$):

  • 라우터 선택 오류에 패널티를 주는 교차 엔트로피 손실로 정식화됩니다.
  • 목표: 특정 입력(예: 유용한 데이터셋으로부터의 입력)에 대해 라우터가 해당 전문가(예: 유용한 전문가)를 높은 확률로 활성화하도록 보장합니다.
  • 이중 목적: MoE 앙상블의 임베딩과 특정 태스크를 위한 타겟 정렬 임베딩 사이의 거리를 최소화합니다.

• 전체 손실(Total Loss):
  $$L_{total} = L_{CE} + \lambda L_G + L_R(\gamma_1, \gamma_2, \gamma_3)$$
  여기서 $L_{CE}$는 표준 교차 엔트로피 손실이며, $\lambda$는 게이팅 가중치, $\gamma$는 정규화 상수입니다.

3. 학습 과정

• 데이터: 혼합 데이터셋 $D_{mix} = D_{helpful} \cup D_{safe} \cup D_{truth}$를 사용합니다.
• 미세 조정(Fine-tuning): 모델은 적은 횟수의 미세 조정 단계를 거칩니다. 라우터 가중치와 전문가 투영(Expert Projections)은 업데이트되지만, 기본 아키텍처는 거의 그대로 유지됩니다.
• 부트스트래핑(Bootstrapping): 이 방법은 기존에 정렬된 모델들의 전문성을 부트스트래핑하여, 전문가를 처음부터 학습시켜야 하는 필요성을 피합니다.

주요 기여

1. MoE 기반 융합: 표준 FFN 레이어를 대체하여 세 개의 독립적으로 정렬된 모델을 하나의 MoE 아키텍처로 통합하는 새로운 컨센서스 학습(Consensus Learning) 방식을 도입했습니다.
2. 드리프트 정규화: 정렬을 제어 가능한 드리프트로 정식화하고, 전문가 상수($\gamma_i$)를 가진 정규화 손실을 도입하여 경쟁하는 정렬 차원들을 동적으로 균형 있게 조절합니다.
3. 게이팅 손실: 라우터 활성화를 채널화하는 게이팅 손실을 제안하여, 모델이 입력 문맥에 가장 적합한 전문가를 동적으로 선택하도록 보장합니다.
4. 효율성: 많은 앙상블이나 무거운 모델 병합 기술에 비해 적은 미세 조정 단계와 낮은 계산 복잡도로 높은 성능을 달 achieves 합니다.

실험 결과

저자들은 세 가지 벤치마크 데이터셋인 Alpaca-Eval(유용성), BeaverTails(무해성), TruthfulQA(진실성)에서 H3Fusion을 평가했습니다.

• 개별 모델 대비 성능: H3Fusion은 세 차원 모두에서 개별적으로 정렬된 모델들보다 평균 11.37% 더 높은 성능을 보였습니다.
• 앙상블 대비 성능: 최첨단 LLM 앙상블 접근 방식보다 13.77% 더 강력한 견고성을 입증했습니다.
• 모델 병합 대비 성능: 모델 병합 방식(예: Task Arithmetic, DARE, Localize-Stitch)보다 6.18% 더 우수한 성능을 보였습니다.
• 구체적인 이득:
  • 최상의 개별 유용성 모델과 비교했을 때, H3Fusion은 유용성을 약 13% 개선했습니다.
  • 안전성 모델과 비교했을 때, 유용성을 유지하면서도 안전성 성능을 향상시켰습니다.
  • LLaMA-2-7B에 대해 **30.97%**의 평균 점수(계산식: $(Helpfulness + Truthfulness - Safety)/3$)를 기록하여, 더 적은 활성 파라미터(11.06B vs 13.01B)를 가졌음에도 불구하고 표준 미세 조정된 LLaMA-2-13B의 27.73%를 능가했습니다.
• 파라미터 효율성: H3Fusion은 여러 모델 변체를 요구하는 방식들에 비해 더 작은 메모리 풋프린트(22GB)로 이러한 결과를 달성했습니다.

의의 및 주장

논문은 H3Fusion이 전통적인 앙상블의 계산 오버헤드나 모델 병합의 메모리 비용 없이, 경쟁하는 정렬 목표(Helpful, Harmless, Honest) 사이의 균형을 맞추는 근본적인 문제를 해결한다고 주장합니다.

• 제어 가능성: 이 방법은 모델의 행동을 "조종"할 수 있는 메커니즘을 제공합니다. 사용자는 정규화 상수($\gamma$)를 조정함으로써, 전체 모델을 다시 학습시키지 않고도 모델의 정렬 프로필을 동적으로 변경할 수 있습니다 (예: 더 안전하게 만들되 유용성을 낮추거나, 그 반대로 하는 것).
• 견고성: 이 접근 방식은 개별 정렬 모델이나 단순한 가중치 평균 기술보다 제로샷 프롬프트에 더 잘 일반화되는 더 견고한 정렬 모델을 생성합니다.
• 확장성: 희소 게이팅(Sparse Gating)을 활용함으로써, H3-HHH 준수를 위한 모델링 용량을 확장하면서도 추론 효율성을 단일 모델 통과(Single Model Pass) 수준으로 유지합니다.

저자들은 사전 정렬된 모델의 필요성과 (특히 유용성 측면에서 GPT-4o를 사용하는) 평가 비용에 대한 한계를 인정하지만, 이들의 방식이 LLM의 통합적이고 다차원적인 정렬을 향한 실행 가능한 경로를 제공한다고 확언합니다.