No Single Best Model for Diversity: Learning a Router for Sample Diversity

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 창의적 글쓰기, 대화, 코드 생성, 과학적 발견 등 다양한 작업에서 수행되어야 합니다. 이러한 작업들은 종종 단일 정답이 존재하지 않고, 많은 수의 유효한 답변이 가능한 개방형 (open-ended) 프롬프트를 포함합니다.
• 문제점:
  • 기존 연구들은 단일 LLM 의 생성 다양성을 높이는 데 초점을 맞추었습니다 (예: 추론 하이퍼파라미터 조정, 프롬프트 엔지니어링).
  • 그러나 어떤 단일 모델도 모든 유형의 프롬프트에 대해 가장 다양하고 고품질의 답변 집합을 생성하는 데 우월하지 않습니다.
  • 기존 평가 지표들은 고정된 정답 집합이 있는 경우나 단순한 유사도 기반 다양성 측정에 국한되어, 개방형 답변 공간의 전체적인 품질과 다양성을 포괄적으로 측정하는 데 한계가 있었습니다.
• 핵심 질문: 여러 개의 이질적인 (heterogeneous) LLM 을 활용하여, 각 쿼리에 가장 적합한 모델을 동적으로 선택함으로써 답변의 다양성과 품질을 극대화할 수 있는가?

2. 제안 방법론 (Methodology)

이 논문은 단일 모델의 한계를 극복하기 위해 라우터 (Router) 기반의 모델 선택 전략과 새로운 평가 지표를 제안합니다.

A. 새로운 평가 지표: 다양성 커버리지 (Diversity Coverage, div-cov)

기존의 단순한 고유 답변 수 (Uniqueness) 나 품질 (Quality) 측정을 통합한 새로운 지표입니다.

• 정의: 예측된 답변 집합 $A$ 내의 모든 고유한 답변에 할당된 품질 점수의 합을, 동일한 수 ($B$) 의 답변으로 생성 가능한 최고의 품질을 가진 고유 답변 집합의 점수 합으로 나눈 비율입니다.
• 수식:
  $$\text{div-cov}(q, A) := \frac{\sum_{a \in \text{uniq}(q, A)} \text{quality}(q, a)}{\max\text{-uniq-sum}(q, B)}$$
• 의의: 고정된 정답 집합이 있는 경우와 개방형 질문 모두에 적용 가능하며, 답변의 '양'과 '질'을 동시에 고려합니다.

B. 라우터 학습 (Learning a Router)

각 쿼리마다 가장 다양성을 높일 수 있는 최적의 LLM 을 예측하는 분류 모델을 학습합니다.

• 입력: 사용자 쿼리 ($q$) 및 후보 모델 풀 ($M$).
• 목표: 주어진 쿼리에 대해 Oracle(모든 모델을 샘플링하여 실제 최고 성능을 내는 모델) 이 선택한 모델을 예측.
• 학습 데이터: NB-WildChat 데이터셋을 사용하여, 각 쿼리에 대해 18 개의 모델 중 어떤 모델이 가장 높은 diversity coverage 를 보이는지 라벨링.
• 모델 아키텍처:
  • KNN: 단순한 비모수 분류기.
  • BERT: 분류 헤드가 있는 BERT 파인튜닝.
  • MLP (Multi-layer Perceptron):
    • M-way Classification: 한 번에 모든 모델 중 하나를 선택.
    • Binary Classification: 각 모델별로 "이 모델이 최선인가?"를 이진 분류.
  • 인코딩 전략:
    • Model-agnostic (agn): 쿼리 전용 인코더 (inf-retriever) 사용.
    • Model-specific (spec): 각 후보 모델의 마지막 레이어 은닉 상태 (hidden state) 를 사용하여 쿼리를 인코딩. (이 방식이 더 풍부한 정보를 제공함)

C. 앙상블 전략

• 단일 모델 선택: 라우터가 예측한 최상위 모델 1 개만 사용.
• 이중 모델 앙상블: 라우터 점수가 가장 높은 상위 2 개 모델을 선택하여, 할당된 생성 예산 (예: 50 개 답변) 을 두 모델에 나누어 생성 (각각 25 개).

3. 주요 실험 결과 (Results)

실험은 NB-WildChat (내부 도메인) 과 NB-Curated (외부 도메인, OOD) 데이터셋에서 수행되었습니다. 18 개의 오픈소스 모델 (Llama, Qwen, OLMo, Gemma 계열) 을 평가 대상으로 사용했습니다.

• 단일 모델의 한계 확인:

  • 어떤 단일 모델도 모든 쿼리에서 우위를 점하지 못함.
  • NB-WildChat 에서 약 30% 의 쿼리는 우세한 모델이 존재하지 않음.
  • Oracle 상한선: 각 쿼리마다 최적의 모델을 선택할 경우 (Oracle), NB-WildChat 에서 **33.0%**의 다양성 커버리지를 달성 (단일 최상위 모델인 23.8% 대비 크게 향상).

• 라우터 성능:

  • 학습된 라우터 (Binary MLP with model-specific encoding) 는 단일 최상위 모델 (Top overall, 23.8%) 보다 **26.3%**로 유의미하게 높은 성능을 보임.
  • 외부 도메인 일반화: NB-Curated 에서도 Top overall (38.6%) 대비 **40.7%**로 성능 향상.
  • 이중 모델 앙상블: 라우터를 통해 상위 2 개 모델을 선택하고 앙상블할 경우, NB-WildChat 에서 26.7%, NB-Curated 에서 **42.2%**로 추가적인 성능 향상을 기록.

• 확장성 및 효율성:

  • 데이터 스케일링: 학습 데이터 양 (500 -> 1K -> 2K) 이 증가할수록 라우터 성능이 지속적으로 향상됨.
  • 효율성: Oracle 방식 (모든 모델 샘플링) 은 라우터 방식보다 약 19 배 더 많은 계산 오버헤드가 발생함. 라우터는 고정된 오버헤드만 발생시켜 효율적임.
  • 프롬프트 전략: "모든 답변 생성 (Generate All)" 프롬프트가 가장 높은 다양성을 보였으나, 답변 품질은 "단일 답변 생성 (Generate One)"보다 낮아지는 트레이드오프 존재.

4. 주요 기여 (Key Contributions)

1. 새로운 평가 지표 제안: 개방형 질문의 답변 공간에 대한 다양성과 품질을 통합적으로 측정하는 Diversity Coverage를 제안했습니다.
2. 모델 라우팅 프레임워크: 단일 모델이 모든 쿼리에서 최적이 아님을 규명하고, 쿼리별 최적 모델을 예측하는 라우터를 제안했습니다. 이는 내부 및 외부 도메인에서 모두 경쟁력 있는 성능을 입증했습니다.
3. 다중 LLM 시스템의 가능성 제시: 서로 다른 강점을 가진 이질적인 모델들을 조합하여 더 다양하고 고품질의 솔루션을 생성할 수 있음을 보였습니다. 또한, 학습 데이터 크기, 프롬프트 전략, 추론 효율성에 대한 심층 분석을 제공했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 다양성 향상을 위해 단일 모델의 성능을 개선하는 것을 넘어, 여러 모델을 지능적으로 조합 (Ensemble) 하는 시스템의 중요성을 강조합니다.

• 실용적 가치: 다양한 사용자 요구사항을 충족시키기 위해 하나의 모델에 의존하지 않고, 상황에 맞는 최적의 모델을 동적으로 선택하는 라우팅 시스템 구축의 기초를 마련했습니다.
• 미래 방향: 라우팅을 통해 모델 풀 (Model Pool) 을 확장하고, 더 효율적인 라우팅 전략을 연구할 수 있는 토대를 제공했습니다. 또한, 생성된 답변의 품질과 다양성 사이의 균형 (트레이드오프) 에 대한 통찰을 제공하여, 작업 목적에 맞는 프롬프트 전략 선택을 돕습니다.

요약하자면, **"어떤 모델이든 하나만으로는 부족하며, 각 질문의 특성에 맞춰 가장 적합한 모델을 선택하는 라우터가 다양성과 품질을 극대화하는 열쇠"**임을 입증한 논문입니다.