기술 요약: 베이스 정렬 모델 협업(BACO)을 통한 다양성 및 품질 최적화

1. 문제 정의

대규모 언어 모델(LLM)은 근본적인 다양성-품질 트레이드오프(diversity-quality trade-off) 문제에 직면해 있다. 정렬 기술(예: RLHF)은 출력 품질, 지시 이행 능력, 안전성을 크게 향상시키지만, 출력의 다양성을 체계적으로 감소시킨다. 정렬된 모델은 반복된 생성 과정에서 단일한 지배적 응답으로 수렴하는 경향(모드 붕괴, mode collapse)이 있는 반면, 그들의 베이스(미정렬) 모델들은 다양하지만 종종 품질이 낮거나 일관성이 없는 출력을 생성한다.

기존의 방식들은 이러한 트레이드오프를 해결하는 데 있어 상당한 한계를 지닌다:

• 학습 단계 접근법: 선호도 최적화 과정에 다양성 목적 함수를 포함하는 것은 종종 안전성이나 유용성과 같은 정렬 특성을 저해한다.
• 추론 단계 접근법: 온도 스케일링(temperature scaling), 다양한 빔 서치(diverse beam search), 또는 프롬프트 기반 재샘플링과 같은 기술은 여러 번의 디코딩 패스를 요구하거나, 높은 계산 비용을 발생시키거나, 생성 품질을 불균형하게 저하시키는 경우가 많다.

핵심 과제는 추가적인 미세 조정이나 비용이 많이 드는 사후 학습 없이, 단 한 번의 디코딩 패스 내에서 높은 다양성과 높은 품질을 모두 달고 실현하는 것이다.

2. 방법론: 베이스 정렬 모델 협업 (BACO)

저자들은 BACO를 제안한다. 이는 추론 단계에서 작동하는 토큰 수준의 모델 협업 프레임워크이다. BACO는 디코딩 과정 중에 베이스 모델(다양성의 원천)과 그에 대응하는 정렬된 모델(품질의 원천)을 동적으로 결합한다.

핵심 메커니즘

BACO는 각 토큰 생성 단계에서 어떤 모델이 다음 토큰을 생성할지 결정하는 가벼운 **라우터(router)**를 통해 작동한다. 이 프레임워크는 베이스 모델과 정렬된 모델이 다음 토큰 예측에 대해 대체로 일치한다는 "표면적 정렬(superficial alignment)" 가설에 기반하며, 이를 통해 희소한 개입(sparse interventions)을 허용한다.

생성 확률은 다음과 같이 게이트 혼합(gated mixture)으로 공식화된다:
$$P_{BACO}(y_t | c_t) = w_{base} \cdot P_{base}(y_t | c_t) + (1 - w_{base}) \cdot P_{aligned}(y_t | c_t)$$
여기서 $w_{base} \in \{0, 1\}$은 컨텍스트 $c_t = [x, y_{<t}]$에 기반한 라우팅 전략 $R$에 의해 결정된다.

라우팅 전략

라우터는 스위칭을 결정하기 위해 두 가지 상호 보완적인 신호 범주를 활용한다:

1. 로짓 기반 전략 (Logit-Based Strategies): 모델의 예측 분포를 활용하여 불확실성을 추론한다.
   • 예시: BACO-P는 베이스 모델의 최대 토큰 확률이 임계값 $\gamma$ 미만으로 떨어질 때 베이스 모델로 라우팅한다.
   • 예시: BACO-H는 베이스 모델의 예측 엔트로피가 $\gamma$를 초과할 때 베이스 모델로 라우팅한다.
2. 콘텐츠 기반 전략 (Content-Based Strategies): 예측된 토큰의 의미론적 역할을 활용한다.
   • 예시: BACO-PUNC는 상위 순위 토큰이 문장 부호나 포맷팅 토큰인 경우 정렬된 모델로 라우팅한다(구조적 일관성 유지).
   • 예시: BACO-FC는 스타일의 일관성을 유지하기 위해 기능어(function words)에 대해 정렬된 모델로 라우팅한다.

제어: 임계값 파라미터 $\gamma$를 통해 사용자는 다양성과 품질 사이의 균형을 지속적으로 조정할 수 있다. 낮은 $\gamma$는 정렬된 모델 쪽으로 편향되어 (높은 품질), 높은 $\gamma$는 베이스 모델 쪽으로 편향되어 (높은 다양성) 된다.

구현 세부 사항:

• 첫 번째 토큰은 궤적의 품질을 보장하기 위해 항상 정렬된 모델에 의해 생성된다.
• 토큰화 불일치를 방지하기 위해 스위칭은 단어 경계(word boundaries)로 제한된다.
• 종료(EOS) 토큰은 조기 종료를 방지하기 위해 정렬된 모델에 의해 제어된다.

3. 주요 기여

1. 프레임워크 제안: 추가적인 미세 조정 없이 단일 디코딩 패스 내에서 작동하며 다양성-품질 트레이드오프를 효과적으로 조절하는 토큰 수준의 협업 프레임워크인 BACO를 도입하였다.
2. 평가 체계 수립: 저자들은 다양성-품질 트레이드오프를 단일 목적 함수가 아닌, 이차원 평가 공간(11개 다양성 지표 $\times$ 2개 품질 지표)의 집합으로 공식화하였다. 이들은 성능을 통합하기 위해 커버리지(Coverage) (트레이드오프 곡선 아래 면적)와 지배력(Dominance) (전역 파레토 프런티어의 비율)을 지표로 도입하였다.
3. 포괄적 검증: 개방형 생성 작업(지시 이행, 대화, 창의적 글쓰기) 및 검증 가능한 벤치마크(수학, 제약 조건이 있는 지시 이행) 전반에 걸친 광범한 실험을 통해 기존 최첨단 베이스라인 대비 일관된 개선을 입증하였다.

4. 결과

저자들은 NoveltyBench, WildChat, Narrative-Discourse 등의 데이터셋을 사용하여 13개 지표와 11개 다양성-품질 공간을 통해 BACO를 평가하였다.

• 성능 향상: 최적의 라우터(-P-PUNC, 확률과 문장 부호 규칙 결합)를 사용했을 때, BACO는 가장 강력한 추론 단계 베이스라인 대비 다양성과 품질에서 21.3%의 결합 개선을 달ellen 달성하였다.
• 파레토 최적성: BACO는 모든 공간에서 전역 파레토 프런티어의 **32.7%**에 기여하였으며, 특히 의미론적 다양성 공간에서는 40.5%의 지배력을 보였다.
• 의미론적 vs 어휘적: BACO는 어휘적 다양성(표면적 구절)보다 의미론적 다양성(의미와 의도)에서 우수한 성능을 보였으며, 이는 단순한 표면적 노이즈가 아닌 의미 있는 변주를 생성함을 나타낸다.
• 검증 가능한 벤치마크: GSM8K(수학) 및 IFEval(지시 이행)에서 BACO는 정렬된 베이스라인과 대등한 정확도를 유지하면서도 현저히 높은 다양성을 달성하여, 이러한 이득이 개방형 지표의 착시가 아님을 증명하였다.
• 인간 평가: NoveltyBench 및 WildChat에 대한 인간 평가에서, BACO의 출력은 자동 품질 점수는 비슷함에도 불구하고 정렬된 베이스라인에 비해 품질(NovelityBench에서 4.04 대 2.83)과 창의성(79.6% 승률) 측면에서 유의미하게 높게 평가되었다.
• 장문 생성: Narrative-Discourse 데이터셋에서 BACO는 일관성을 해치지 않으면서 플롯 구조(전개점)와 감정 흐름(각성도) 측면에서 탁월한 다양성을 보여주었다.

5. 의의 및 주장

본 논문은 BACO가 LLM의 다양성-품질 트레이드오프를 최적화하기 위한 단순하고 제어 가능하며 효과적인 메커니즘을 제공한다고 주장한다.

• 상보성: 결과는 덜 정렬된(높은 다양성) 모델과 더 정렬된(높은 품질) 모델 간의 협업이 두 목적을 공동으로 최적화하는 데 필수적이며, 심지어 두 모델 모두 정렬된 모델 간의 협업보다 우수함을 시사한다.
• 제어 가능성: 품질을 희생하며 다양성을 얻는 온도 스케일링과 달리, BACO는 라우팅 임계값 $\gamma$를 통해 다양성-품질 스펙트럼을 가로지를 수 있는 원칙적인 방법을 제공한다.
• 광범위한 적용성: 이 프레임워크는 창의적 글쓰기와 대화를 포함한 다양한 개방형 작업에 적용 가능하며, 장문 생성으로 확장된다.
• 미래 방향: 저자들은 BACO를 모델이 수렴하기 전에 넓은 관점의 공간을 탐색하는 LLM의 "폭넓은 사고(breadth thinking)" 모드로 가는 단계로 설정하며, 이는 인간이 "정보 코쿤(information cocoons)"에서 벗어나는 데 도움을 줄 수 있다.

저자들은 한계점에 대해 겸허한 태도를 유지하며, BA코가 토큰당 약 $2\times$의 FLOPs 오버헤드를 발생시킨다는 점(단, 그룹 크기와는 독립적임)과 현재 프로토타입이 속도 측면에서 완전히 최적화되지 않았음을 언급하였다. 또한, 향상된 다양성이 안전 장치가 유지되지 않을 경우 유해한 생성을 증폭시킬 수 있음을 인정하며, BACO가 안전 정렬의 대체제가 아닌 보완재임을 강조하였다.