1. 문제 정의 (Problem Statement)

• 배경: LLM 의 성능 향상을 위해 'Best-of-N(BoN)' 샘플링 기법이 널리 사용됩니다. 이는 하나의 쿼리에 대해 N 개의 응답을 생성하고, 검증기 (Verifier) 또는 보상 모델의 점수를 기반으로 가장 좋은 응답 하나를 선택하는 방식입니다.
• 한계: 실제 환경에서는 정답 (Ground Truth) 을 얻는 데 시간과 비용이 많이 들기 때문에, 불완전한 LLM 판정기나 보상 모델을 검증기로 사용합니다.
• 핵심 문제:
  1. 불완전한 검증기: 개별 검증기는 오류가 있을 수 있으며, 검증기 간 성능 편차가 큽니다.
  2. 상호 의존성: 검증기들은 종종 조건부 독립 (Conditional Independence) 이라는 가정을 위반하며 서로 상관관계를 가집니다.
  3. 레이블 부재: 특정 쿼리에 대한 정답 레이블이 없기 때문에, 기존 앙상블 방법 (가중 평균, 다수결 등) 은 신뢰할 수 없는 검증기의 점수를 과도하게 반영하거나, 학습 데이터가 필요하여 적용이 어렵습니다.

2. 방법론 (Methodology)

FUSE 는 레이블 없이 검증기의 정확도 (민감도, 특이도) 를 추정하고, 이를 바탕으로 최적의 앙상블 규칙을 학습하는 3 단계 프로세스를 따릅니다.

2.1. 핵심 아이디어: 조건부 의존성 제어

기존의 무감독 앙상블 학습 (예: Jaffe et al., 2015) 은 검증기들이 '조건부 독립 (Conditional Independence)'을 만족해야 정확한 성능 추정이 가능하다고 가정합니다. 그러나 LLM 검증기들은 이 가정을 자주 위반합니다. FUSE 는 이 가정을 완화하고, 검증기 점수를 변환하여 삼중 조건부 독립 (Triplet Conditional Independence, TCI) 가 더 잘 성립하도록 만듭니다.

2.2. FUSE 의 3 단계 프로세스 (그림 2 참조)

1. 적응형 점수 변환 (Adaptive Score Transformation):

   • 검증기들의 원시 점수를 이진화 (Binary) 하거나 변환하는 함수 $g_\tau$를 학습합니다.
   • 목표: 변환된 점수들이 TCI 가정을 얼마나 위반하는지를 측정하는 통계량 ($\hat{S}$) 을 최소화하는 변환 파라미터 $\tau^*$를 찾습니다.
   • 이를 통해 검증기 간의 조건부 의존성을 완화하고, 후속 추정을 위한 데이터를 준비합니다.

2. 검증기 품질 추정 (MoM Estimation):

   • 변환된 점수 행렬을 사용하여 모멘트 방법 (Method-of-Moments, MoM) 을 적용합니다.
   • 검증기들의 공분산 텐서 (Covariance Tensors) 를 분석하여 각 검증기의 민감도 ($\psi$) 와 특이도 ($\eta$), 그리고 클래스 불균형 ($b$) 을 0 개의 레이블 데이터로 추정합니다.
   • 이 단계는 Jaffe et al. (2015) 의 이론을 확장하여 적용합니다.

3. 앙상블 구성 및 최적화 (Ensemble Construction):

   • 추정된 검증기 품질 ($\hat{\psi}, \hat{\eta}$) 을 기반으로 가상의 라벨 (Pseudo-labels) 을 생성합니다.
   • 이 가상의 라벨을 사용하여 로지스틱 회귀와 같은 매개변수화된 예측기 ($f_\theta$) 를 학습합니다.
   • 목표 함수: 추정된 정확도 ($\hat{Acc}(\theta)$) 를 최대화하는 $\theta^*$를 찾습니다.
   • 최종적으로 학습된 앙상블 모델 $f_{\theta^*}$가 가장 높은 정답 확률을 부여한 응답을 선택합니다.

3. 주요 기여 (Key Contributions)

1. 완전 무감독 앙상블 (Zero Labeled Data): 정답 레이블이 전혀 없는 상황에서도 다양한 검증기들의 성능을 통합하여 최상의 응답을 선택할 수 있는 첫 번째 체계적인 방법론을 제시했습니다.
2. 조건부 의존성 완화 전략: 기존 무감독 학습의 핵심 가정인 조건부 독립이 LLM 환경에서 성립하지 않는 문제를 해결하기 위해, 점수 변환을 통해 TCI 가정을 만족하도록 적응적으로 조정하는 방식을 도입했습니다.
3. 강건한 성능: 단순한 다수결 (Majority Vote) 이나 무가중 평균 (Naive Ensemble) 보다 훨씬 우수하며, 레이블이 있는 데이터를 사용하는 준감독 (Semi-supervised) 방법론 (예: WEAVER) 과도 경쟁하거나 능가하는 성능을 입증했습니다.
4. 광범위한 검증: GPQA Diamond, MATH500, MMLU Pro 와 같은 학술적 벤치마크뿐만 아니라, Humanity's Last Exam(초고난도 문제) 과 IMO Shortlist(국제 수학 올림피아드) 와 같은 최전선 (Frontier) 벤치마크에서도 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 비교:
  • 70B 및 8B 모델 실험: FUSE 는 40 개의 비교 중 27 개에서 레이블이 있는 준감독 방법론 (WEAVER, 로지스틱 회귀 등) 과 동등하거나 더 나은 성능을 보였습니다.
  • Humanity's Last Exam: 매우 어려운 문제셋에서 FUSE 는 Pass@1(무작위 선택) 보다 54.3% 의 정확도를 기록하며, 다른 무감독 방법론 (51.4%) 보다 우위를 점했습니다.
  • IMO Shortlist: 검증기들이 매우 유사하고 독립적인 환경에서도 FUSE 는 Naive Ensemble 과 동급의 성능을 보이며, 다른 데이터 의존적 방법론들보다 안정적이었습니다.
• 다양한 검증의 중요성: 단일 검증기나 단순 평균보다 다양한 검증기들을 FUSE 로 통합했을 때 성능이 크게 향상됨을 확인했습니다.
• 이질적인 작업 환경: 서로 다른 난이도의 문제 (Mixed Data) 가 섞인 환경에서도 FUSE 는 쿼리 조건부 (Query-conditional) 방식으로 작동하여 다른 방법론들보다 우수한 성능을 유지했습니다.

5. 의의 및 영향 (Significance)

• 비용 효율성: 정답 레이블을 수집하는 데 드는 막대한 인적, 금전적 비용을 절감하면서도 고품질의 검증 시스템을 구축할 수 있습니다.
• 실무 적용 가능성: 강화 학습 (RL) 의 보상 모델, 합성 데이터 선별, 모델 순위 매기기 등 레이블이 부족한 다양한 LLM 파이프라인에 적용 가능합니다.
• 벤치마크 감사 (Auditing): FUSE 는 벤치마크 데이터셋 내의 오답 레이블을 탐지하거나, 인간 전문가의 레이블 품질을 평가하는 도구로도 활용될 수 있습니다.
• 미래 지향성: 감독 학습에 대한 의존도를 낮추고, 무감독 방법론이 LLM 의 잠재력을 끌어내는 데 핵심적인 역할을 할 수 있음을 보여줍니다.

결론적으로, FUSE 는 레이블 데이터의 부재라는 현실적인 제약을 극복하고, 여러 불완전한 검증기들을 지능적으로 통합하여 LLM 의 신뢰성을 극대화하는 획기적인 방법론입니다.