기술 요약: 모드 로또리(Mode Lottery) 탈출하기: 다중 응답 학습을 통한 언어 모델 일반화 성능 향상

문제 정의

현대적인 언어 모델 미세 조정(fine-tuning)은 일반적으로 하나의 프롬프트에 하나의 응답을 쌍으로 묶는 관례를 따릅니다. 이는 분류 작업에는 적합할 수 있으나, 오픈 엔드 생성(open-ended generation)에서는 부적절합니다. 예를 들어, "리스트를 정렬하는 함수를 작성하라"와 같은 프롬프트는 여러 개의 유효한 완결문을 가질 수 있기 때문입니다. 하나의 응답만을 학습 데이터로 사용하는 방식은 다중 모드 조건 분포(multi-modal conditional distribution)의 아주 좁은 단면만을 노출시킵니다. 저자들은 이러한 현상을 **"모드 로또리(mode lottery)"**라고 명명했습니다. 즉, 학습 데이터가 특정 하위 집합(흔히 가장 흔하거나, 생성하기 쉽거나, 보상이 높은 모드들)만을 반복적으로 강조하는 반면, 다른 유효하고 가치 있는 모드들은 통계적으로 보이지 않게 만드는 현상을 의미합니다.

기존의 파이프라인은 여러 후보를 생성하더라도 학습을 위해 단 하나의 "최선"의 응답만을 선택합니다(예: 보상 극대화를 통해). 본 논문은 언제 여러 응답을 유지하는 것이 유익한지, 어느 정도의 이득을 기대할 수 있는지, 그리고 어떤 응답을 유지해야 하는지에 대한 원칙적인 설명이 부족하다고 주장합니다.

방법론 및 이론적 프레임워크

본 논문은 **다중 응답 학습(Multi-Response Training, MRT)**을 프롬프트당 $K > 1$개의 응답으로 학습하는 것으로 정의하며, 이를 표준 단일 응답 학습(Standard Single-Response Training, SRT, $K=1$)과 대조합니다. 핵심적인 이론적 통찰은 프롬프트와 응답이 서로 다른 통계적 자원이라는 점입니다.

• 추가적인 프롬프트는 주변 입력 분포($P(x)$)에 대한 불확실성을 줄입니다.
• 동일 프롬프트에 대한 추가적인 응답은 조건부 출력 분포($P(y|x)$)에 대한 불확실성을 줄입니다.

1. 분산-예산 법칙 (Variance–Budget Law)

저자들은 경험적 손실 분산의 구조적 분해를 도출했습니다. 고정된 모델 $\theta$에 대해, MRT 추정량의 분산은 다음과 같이 분해됩니다:
$$\text{Var}[\hat{L}_{MRT}(\theta)] = \frac{V_x(\theta)}{N_p} + \frac{V_{y|x}(\theta)}{N_p K}$$
여기서:

• $V_x$는 프롬프트 간 분산(입력 분포에 대한 불확실성)입니다.
• $V_{y|x}$는 프롬프트 내 기대 분산(조건부 출력 분포에 대한 불확실성)입니다.
• $N_p$는 고유한 프롬프트의 수입니다.
• $K$는 프롬프트당 응답의 수입니다.

이 분해는 "프롬프트 하한선(prompt floor)"을 드러냅니다. 즉, $K$를 늘려도 두 번째 항은 줄어들지만 첫 번째 항($V_x/N_p$)은 줄일 수 없습니다. 결과적으로, MRT는 프롬프트 수준의 불확실성이 지배적이게 되면 수익 체감(diminishing returns) 현상이 발생합니다.

획득 비용($C_p$는 프롬프트 비용, $C_r$은 응답 비용)과 고정된 예산 $B = N_p(C_p + K C_r)$을 도입하여, 저자들은 비용 인식 최적 다중성(cost-aware optimal multiplicity) $K^\star$를 도출했습니다:
$$K^\star = \sqrt{\frac{V_{y|x}}{V_x} \cdot \frac{C_p}{C_r}}$$
이 규칙은 MRT가 응답 비용은 저렴하고 프롬프트 비용은 비싸며, 조건부 응답 분포가 매우 다양할 때(높은 $V_{y|x}/V_x$) 가장 가치 있다는 것을 시사합니다.

2. 일반화 경계 (Generalization Bounds)

본 논문은 잠재적 이득을 정량화하기 위해 두 가지 상보적인 일반화 경계를 제공합니다.

• 번스타인 경계 (Bernstein Bound): 고정된 모델에 대해, $K$를 증가시키면 $V_{y|x}/K$에 의존하는 인자에 따라 일반화 오차 경계가 감소하지만, 프롬프트 수준의 항은 변하지 않음을 보여줍니다.
• 계층적 라데마허 경계 (Hierarchical Rademacher Bound): MRT 데이터의 비독립 동일 분포(non-i.i.d.) 구조(반복되는 프롬프트)를 다룹니다. 모델 클래스에 대한 상한(supremum)이 적절히 처리된다면, 계층적 구조에도 불구하고 응답 수준의 복잡도가 단순히 $K$가 아닌 총 프롬프트-응답 쌍의 수($N_p K$)에 따라 스케일링됨을 증명합니다. 이는 MRT의 이득이 모델 선택 과정에서도 유지됨을 인증합니다.

3. 타겟 인식 응답 선택 (Target-Aware Response Selection)

다양한 선택 전략이 학습 타겟을 어떻게 변화시키는지 분석합니다.

• Random-K-of-N (RKoN): $K$개의 응답을 균등하게 무작위 샘플링합니다. 이는 분포적 미세 조정을 위한 **편향 없는 기본값(unbiased default)**이며, 후보 분포를 보존하고 그래디언트 분산을 $1/K$ 비율로 줄입니다.
• Best-K-of-N (BKoN): 보상 점수에 기반하여 응답을 선택합니다. 저자들은 이것이 **지속적인 상위 꼬리 편향(persistent upper-tail bias)**을 유발함을 보여줍니다. 후보 풀이 커질수록, BKoN은 보상이 지배적인 모드에 집중되어 유효한 모드를 붕괴시키고 그래디언트를 실제 분포 목적 함수와 어긋나게 만들 수 있습니다.
• GRADES (Greedy Reward-Aware DiversE Subsetting): 품질과 다양성의 균형을 맞추는 서브모듈러 최적화(submodular optimization) 접근법입니다. 이는 고품질 응답과 다양한 응답의 균형을 유지하기 위한 $(1 - 1/e)$ 근사 보증을 제공하며, 층화 추출(stratified sampling)의 실질적인 대리물 역할을 합니다.

실험 결과

저자들은 제어된 시뮬레이션과 네 가지 도메인(지시 이행(Gold), 대화(Nectar), 선호도 정렬(UltraFeedback), 코드 생성(CodeContests))에 걸친 대규모 LLM 미세 조정을 통해 이론을 검증했습니다.

1. 분산 분해: 제어된 시뮬레이션을 통해 $K$를 증가시키는 것이 오직 프롬프트 내 분산 성분만을 감소시키며, 예측된 프롬프트 하한선에 점근적으로 접근함을 확인했습니다.
2. 최적 다중성: 고정된 예산 하에서 테스트 성능은 U자형 곡선을 따랐으며, 최솟값은 예측된 $K^\star$ 근처에서 나타났습니다. 프롬프트 수준의 변동성 대비 응답 수준의 변동성이 높은 데이터셋(예: CodeContests)에서 MRT의 이득이 가장 컸던 반면, 프롬프트 중심적인 데이터셋(예: Nectar)에서는 개선 폭이 작았습니다.
3. 선택기(Selector)의 영향:
   • RKoN은 $K$가 증가함에 따라 참조 손실(reference loss, 조건부 분포에 대한 적합도)과 커버리지를 일관되게 개선했습니다.
   • BKoN은 더 높은 보상 점수를 달却했으나, 다양성이 떨어지고 참조 가능도(reference likelihood)가 낮아지는 문제를 겪었으며, 이는 타겟 이동(target shift)을 확인시켜 주었습니다.
   • GRADES/DBKoN (Diverse-Best-K-of-N)은 품질과 커버리지 사이의 균형을 성공적으로 맞추었으며, 순수 다양성 또는 순수 보상 선택보다 참조 커버리지 측면에서 우수한 성능을 보였습니다.
4. 암묵적 MRT (Implicit MRT): 프롬프트 중복(패러프레이징)을 이용한 실험은, 패러프레이즈가 서로 다른 조건부 모드를 노출할 경우 중복된 코퍼스가 MRT 효과를 모방할 수 있음을 보여주었습니다. 그러나 패러프레이즈가 거의 동일한 응답과 결합될 경우, 그 이득은 미미했습니다.

의의 및 주장

본 논문은 응답 다중성을 단순한 휴리스틱이 아니라 명확한 통계적 가이드를 가진 데이터 할당 문제로 재정의합니다. 주요 주장은 다음과 같습니다:

1. 맥락 의존적 가치: MRT는 보편적으로 우월한 것이 아닙니다. MRT의 가치는 프롬프트 간 분산과 프롬프트 내 분산의 비율, 그리고 데이터 획득의 상대적 비용에 달려 있습니다.
2. 통계적 근거: 응답이 저렴하고 다양하며 프롬프트가 비쌀 때, 여러 응답을 유지하는 것은 조건부 구조를 더 잘 학습함으로써 "모드 로또리"를 탈출하는 통계적으로 근거 있는 선택입니다.
3. 선택의 중요성: 선택기는 매우 중요합니다. 보상 기반 선택은 특정 지표를 최적화할 수는 있지만, 유효한 모드를 붕괴시킬 수 있습니다. 분포적 일반화를 위해서는 편향 없는 선택(RKoN)이나 다양성 인식 선택(GRADES)이 필요합니다.
4. 암묵적 vs 명시적: 대규모의 중복된 코퍼스는 "암묵적 MRT" 효과를 제공할 수 있지만, 명시적인 다중 응답 학습은 각 프롬프트가 작업 분포의 서로 다른 영역을 다루는 저중복성 환경에서 가장 유익합니다.

저자들은 MRT가 "하나의 프롬프트, 하나의 응답"이라는 관례를 넘어, 오픈 엔드 생성의 다중 모드 특성을 더 잘 모델링할 수 있는 원칙적인 방법을 제공한다고 결론짓습니다.