We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

기술 요약: 다목적 LLM 정렬을 위한 적응형 다분기 조향 (AMBS)

문제 제기
대규모 언어 모델 (LLM) 은 인간의 의도와 정렬되어야 하며, 이는 일반적으로 세 가지 경쟁적인 목표인 유용성 (Helpfulness), 무해성 (Harmlessness), 정직성 (Honesty) (HHH) 을 통해 구현됩니다. 이전 연구들은 감독된 미세 조정 (SFT) 또는 인간 피드백을 통한 강화 학습 (RLHF) 을 통해 정렬을 달성해 왔으나, 이러한 방법들은 특히 복잡한 설정에서 추론 중에 HHH 목표를 동시에 만족시키는 데 어려움을 겪는 경우가 많습니다.

기존의 추론 시간 정렬 접근법인 조향 벡터 (steering vectors) 등은 일반적으로 목표를 고립적으로 처리합니다. 단일 공유 표현을 한 목표 방향으로 조향할 경우, 다른 목표들을 덮어쓰거나 간섭할 수 있습니다. 최근 "1-to-N" 트랜스포머 설정 (공유 표현을 여러 경로로 복제) 으로 확장된 연구들은 독립적인 변환을 적용함으로써 이를 완화하려 시도했습니다. 그러나 이러한 독립적인 업데이트는 경로 간의 관계에 대한 제약이 부족하여 일관성 없는 응답과 목표 간 편차를 초래합니다. 또한, 훈련 기반의 트레이드오프 방법 (예: 안전한 RLHF, 전문가 혼합) 은 추론 중에 공유 표현 내에서 목표별 변환을 제약하지 않아 "축 붕괴 (axis collapse)" 또는 상충되는 목표를 동시에 만족시킬 수 없는 분리된 표현을 야기합니다.

방법론: 적응형 다분기 조향 (AMBS)
저자들은 공유 표현에 대한 목표별 변환을 매개변수화하는 1-to-N 트랜스포머 설정을 위한 2 단계 프레임워크인 AMBS 를 제안합니다. 핵심 혁신은 독립적인 수정이 아닌 공통 참조에서의 편차로 업데이트를 정의하는 것입니다.

1. 1 단계: 공유 표현 계산
   트랜스포머는 주어진 입력에 대해 레이어 $\ell$ (일반적으로 최종 레이어 $L$) 에서 공유 은닉 표현 $h^{(0)}_\ell$을 계산합니다. 이 표현은 공통 기반 역할을 하며 모든 목표에 걸쳐 재사용됩니다.

2. 2 단계: 참조 기반 변환
   공유 표현은 $N$개의 경로로 복제됩니다 ($h^{(i)}_\ell = h^{(0)}_\ell$). 각 목표 $i$에 대해, 공유 참조 $h^{ref}_\ell = h^{(0)}_\ell$에 상대적인 변환 $\Delta h^{(i)}_\ell$이 적용됩니다.

   • 편차 기반 업데이트: 독립적인 업데이트 대신, 변환은 참조에서의 편차의 함수로 정의됩니다: $\Delta h^{(i)}_\ell = f_i(\tilde{h}^{(i)}_\ell - h^{ref}_\ell; \phi_i)$.
   • 저랭크 매개변수화: 정책 $f_i$는 가산 편향을 가진 저랭크 투영으로 구현됩니다: $\Delta h^{(i)}_\ell = ((\tilde{h}^{(i,0)}_\ell - h^{ref}_\ell)A_i)B_i + b_i$. 여기서 $A_i$와 $B_i$는 학습 가능한 저랭크 행렬이며, $b_i$는 학습 가능한 편향입니다. 중요한 점은 편향 $b_i$가 0 이 아닌 초기 편차를 보장하여 반복적인 고정점 계산 없이 단일 순전파 내에서 저랭크 업데이트를 즉시 활성화한다는 것입니다.
   • 출력 생성: 각 경로는 목표별 출력 분포 $p^{(i)}_\theta$를 생성합니다. 이들은 디코딩 시 가중 기하평균을 사용하여 단일 결합 분포 $p^{joint}_\theta$로 결합됩니다.

3. 최적화 목적 함수
   프레임워크는 복합 손실 함수를 최소화합니다:
   $$\min \sum_{i=1}^N L^{(i)}_{obj} + \lambda L_{cons}$$

   • $L^{(i)}_{obj}$: 경로 $i$에 대한 목표별 손실 (예: 교차 엔트로피).
   • $L_{cons}$: 경로 간 변환된 표현 간의 제곱 유클리드 거리를 측정하는 일관성 항입니다. 이 항은 필요한 목표별 변이를 허용하면서도 과도한 편차를 처벌하여 다른 결합 방법에서 관찰되는 "붕괴"를 방지합니다.

주요 기여

• 프레임워크 설계: 공유 참조에서의 편차로 변환을 매개변수화함으로써 1-to-N 트랜스포머 설정을 확장한 AMBS 도입으로, 경로 간 간섭을 제어하면서도 경로의 고유성을 유지합니다.
• 이론적 공식화: 경로 간 차이가 기본 상태의 독립적인 변환이 아닌 편차 항 ($\Delta h^{(i)}_\ell - \Delta h^{(j)}_\ell$) 에만 의존한다는 수학적 공식화이며, 비퇴화 초기화와 저랭크 매개변수의 즉시 활성화를 증명하는 보조 정리에 의해 뒷받침됩니다.
• 실증적 성능: LLaMA-2-7B, Mistral-7B, Gemma-7B, DeepSeek-7B 등 네 가지 다른 백본 모델에 걸쳐 AMBS 가 계산 효율성을 유지하면서 HHH 공동 성능을 향상시켰음을 입증했습니다.

결과
실험은 표준 벤치마크인 Alpaca(유용성), BeaverTails(무해성), TruthfulQA(정직성) 에서 수행되었습니다.

• 성능 향상: AMBS 는 백본 전반에 걸쳐 가장 높은 평균 점수 (Avg) 를 달성했습니다. LLaMA-2-7B 의 경우, AMBS 는 평균 **56.5%**를 기록하여 이전 최첨단 (TrinityX, 55.1%) 과 AlignX(51.3%) 를 능가했습니다.
• 목표별 개선:
  • 유용성: 승률 (WR) 을 53.0% 로 증가시켰습니다 (RAHF 의 48.7% 대비).
  • 무해성: 안전 점수 (SS, 낮을수록 좋음) 를 5.3% 로 감소시켰습니다 (Aligner 의 7.2% 대비).
  • 정직성: 진실성 - 정보성 (TI) 을 37.9% 로 개선했습니다 (DExperts 의 31.7% 대비).
• 간섭 분석: 목표가 변경될 때 큰 성능 저하를 보이는 단일 목표 방법이나 모든 목표에서 동일한 점수를 보이는 "붕괴"를 보이는 기존 결합 방법과 달리, AMBS 는 목표 간에 높지만 균일하지 않은 성능 (예: 37.0% / 25.8% / 14.3%) 을 유지하여 붕괴 없이 간섭이 감소했음을 나타냅니다.
• 효율성: 이 방법은 기본 모델을 고정하고 저랭크 매개변수만 최적화함으로써 높은 처리량 (예: 초당 189 토큰) 과 낮은 훈련 비용 (9 GPU 시간) 을 유지합니다.

의의 및 주장
본 논문은 AMBS 가 추론 시간의 다목적 정렬에서 중요한 격차를 해소한다고 주장합니다. 공유 표현 내에서 목표별 변환을 제약함으로써, 이 프레임워크는 서로 다른 목표 (유용성, 무해성, 정직성) 를 만족시키는 것과 이들 간의 일관성을 유지하는 것 사이의 트레이드오프를 성공적으로 균형 잡습니다. 저자들은 이 접근법이 기존 결합 정렬 방법에서 관찰된 "축 붕괴"와 불안정성을 방지하여, 비용이 많이 드는 재훈련이나 복잡한 모듈식 아키텍처 없이 신뢰할 수 있는 LLM 을 배포할 수 있는 견고한 해결책을 제공한다고 주장합니다. 결과는 정렬이 효과적으로 표현 수준에서 포착되며, 디코딩은 이득의 주요 원천이 아닌 통합 단계로 작용함을 시사합니다.

한계
저자들은 평가의 규모, 광범위한 인간 평가 대신 지표 측정을 위한 프록시 판정자 (LLM) 에 대한 의존성, 그리고 현재 디코더 전용 모델에 초점을 맞춘 점 등을 한계로 인정합니다. 향후 연구는 더 큰 규모의 인간 연구, 더 넓은 안전 설정, 그리고 멀티모달 모델로의 확장을 포함할 것으로 제안됩니다.