기술 요약: SelfJudge: 자기지도형 검증기를 통한 더 빠른 추측적 디코딩

1. 문제 제기

대규모 언어 모델 (LLM) 은 매 순전달 (forward pass) 마다 모든 모델 파라미터에 접근해야 하는 자기회귀 생성 과정으로 인해 상당한 추론 지연 시간을 겪습니다. **추측적 디코딩 (Speculative Decoding, SD)**은 더 작은 '초안 (draft)' 모델을 사용하여 후보 토큰을 제안한 후, 이를 더 큰 '타겟' 모델이 병렬로 검증함으로써 이를 해결합니다.

그러나 표준 SD 는 정렬 기반 검증 (alignment-based verification) (예: 기각 샘플링) 에 의존하는데, 이는 초안 모델의 확률보다 타겟 모델 하에서의 확률이 같거나 더 높을 때만 초안 토큰을 수용합니다. 이 접근법은 지나치게 보수적입니다. 의미적으로 일관되지만 타겟 모델의 특정 출력 분포와 미세한 어휘적 차이 (예: "It's" 대 "It is") 를 보이는 토큰들을 기각해 버립니다.

최근의 "저지 디코딩 (Judge Decoding)" 방법들은 학습 가능한 검증기를 사용하여 의미적으로 호환되는 토큰을 수용함으로써 이러한 기준을 완화하려 시도합니다. 그러나 기존 접근법들은 다음과 같은 치명적인 한계에 직면해 있습니다:

• 인간 주석에 대한 의존성: JudgeDecoding 과 같은 방법은 토큰 수용을 위해 주관적인 인간 레이블을 필요로 하여 편향과 확장성 문제를 야기합니다.
• 정답 (Ground Truth) 에 대한 의존성: AutoJudge 와 같은 자동화 방법은 수학이나 코드와 같은 작업별 검증 가능한 정답에 의존합니다. 논문에서 입증된 바와 같이, 이러한 방법들은 단일 정답이 존재하지 않는 개방형 작업 (예: MMLU, 요약) 으로 일반화되지 못하여 일반 NLP 도메인에서 성능이 크게 저하됩니다.

2. 방법론: SelfJudge

저자들은 인간 감독이나 검증 가능한 정답 없이 다양한 NLP 작업 전반에 걸쳐 검증기 검증을 가능하게 하는 SelfJudge 프레임워크를 제안합니다. 핵심 혁신은 타겟 모델 자체가 검증기의 훈련 데이터를 생성하는 자기지도형 훈련 패러다임입니다.

2.1. 의미 보존 토큰 라벨링

정답의 정확성을 확인하는 대신, SelfJudge 는 **의미 보존 (semantic preservation)**을 측정합니다. 이 과정은 세 단계로 이루어집니다:

1. 불일치 토큰 식별: 타겟 모델이 응답 $y$를 생성합니다. 초안 모델의 예측을 타겟 모델의 출력과 비교합니다. 초안 모델의 최상위 예측 ($z_i$) 이 타겟 모델의 토큰 ($y_i$) 과 다른 토큰들을 완화된 검증을 위한 후보로 식별합니다.
2. 의미 보존 점수 계산: 각 불일치 토큰에 대해 시스템은 대체가 원래 응답의 의미를 얼마나 잘 보존하는지를 나타내는 점수 $s(y, z_i)$를 계산합니다. 이는 타겟 모델 분포 하에서 원래 응답과 토큰 대체 응답 간의 로그 가능도 차이로 정의됩니다:
   $$s(y, z_i) = \log P(z_i | y_{<i}, y_{>i}) - \log P(y_i | y_{<i}, y_{>i})$$
   결정적으로, 이 점수는 양방향 문맥 (접두사 $y_{<i}$와 접미사 $y_{>i}$ 모두) 을 포함합니다. 저자들은 접미사를 고려하는 것이 접두사만 고려하는 접근법에 비해 토큰 수용성에 대한 불확실성을 줄인다고 주장합니다.
3. 라벨링: 의미 보존 점수가 임계값 $\tau$를 초과하면, 대체된 토큰은 "수용 가능"으로 라벨링됩니다. 이를 통해 시스템은 개방형 생성을 포함한 모든 작업 도메인에 걸쳐 고품질의 훈련 데이터를 자동으로 생성할 수 있습니다.

2.2. 검증기 훈련

생성된 데이터셋은 타겟 모델의 숨겨진 표현 (hidden representations) 쌍과 해당 수용/거부 라벨로 구성됩니다. 경량 로지스틱 회귀 (logistic regression) 분류기가 이 데이터로 훈련되어 검증기로서 작동합니다. 추론 중에는 이 검증기가 표준 정렬 기반 검증과 병렬로 작동하며, 정렬 검사 또는 검증기 중 하나라도 승인하면 토큰이 수용됩니다.

3. 주요 기여

• 자기지도형 프레임워크: 논문은 타겟 모델 자체의 의미 이해를 사용하여 검증기를 훈련시키는 최초의 검증기 검증 접근법인 SelfJudge 를 소개하며, 인간 주석이나 작업별 정답의 필요성을 제거합니다.
• 의미 보존 기준: 토큰 대체 응답의 가능도 차이에 기반한 토큰 수용성을 위한 새로운 지표를 제안하여 개방형 작업을 위한 자동 감독 생성을 가능하게 합니다.
• 양방향 문맥 분석: 이 방법은 토큰 선택의 불확실성을 이론적으로 줄이기 위해 접미사 정보 (미래 토큰) 를 활용하여 의미 보존 점수를 계산합니다.
• 일반화: 이 접근법은 수학적 추론, 코드 생성, 요약, 일반 지식 QA 를 포함한 다양한 NLP 작업 전반에 걸쳐 일반화되도록 설계되었습니다.

4. 실험 결과

저자들은 Llama-3 와 Qwen-2.5 모델 계열을 사용하여 GSM8K, MATH-500, MMLU, CNN/DailyMail, LiveCodeBench 의 다섯 가지 벤치마크에서 SelfJudge 를 평가했습니다.

• 정확도 - 효율성 트레이드오프: SelfJudge 는 일관되게 기준선 (표준 SD, Top-k, AutoJudge) 보다 우수한 성능을 발휘했습니다.
  • GSM8K와 MATH-500에서 SelfJudge 는 최소한의 정확도 손실로 표준 SD 보다 더 많은 수용된 토큰 길이를 달성했습니다 (예: 평균 -1.6% 의 정확도 감소로 +2.17 개의 수용된 토큰 추가).
  • AutoJudge 가 속도 향상을 제공하지 못하거나 (또는 성능을 크게 저하시킨) MMLU와 CNN/DailyMail에서 SelfJudge 는 일관된 성능 향상을 유지했습니다.
• 월시계 (Wall-Clock) 속도 향상: vLLM 에서 구현된 SelfJudge 는 실제 세계의 처리량 개선을 입증했습니다. Llama-3.1-8B 를 사용한 MMLU 에서 SelfJudge 는 표준 SD 대비 46.3% 의 속도 향상과 AutoJudge-R 대비 42.7% 의 개선을 달성하면서도 비교 가능한 정확도를 유지했습니다.
• 확장성: Llama-3.1-70B 모델에 대한 실험은 SelfJudge 가 생성 품질을 희생하지 않고 수용 길이와 속도를 개선하며 효과적으로 확장됨을 보여주었습니다.
• 데이터 생성 효율성: 자기지도형 데이터 생성 과정은 AutoJudge 의 정답 기반 생성보다 훨씬 빠릅니다. 70B 모델의 53k 레이블에 대해 SelfJudge 는 8.5 시간이 소요된 반면, AutoJudge 는 약 120 시간이 소요될 것으로 추정됩니다.

5. 중요성과 주장

논문은 SelfJudge 가 추측적 디코딩 검증에서 패러다임의 전환을 나타낸다고 주장합니다. 인간의 편향이나 경직된 정답에 대한 의존성을 벗어나 NLP 작업의 전체 스펙트럼에 걸쳐 LLM 추론을 가속화할 수 있는 광범위하게 적용 가능한 솔루션을 제공합니다.

저자들은 그들의 방법이 추론 속도와 작업 성능 간의 우수한 트레이드오프를 달성한다고 강조합니다. 검증 가능한 답변이 있는 도메인으로 제한된 이전 저지 디코딩 방법들과 달리, SelfJudge 는 타겟 모델의 고유한 의미 이해를 활용하여 개방형 작업 (창작 글쓰기 및 요약 등) 에 대한 효율적인 추측적 디코딩을 가능하게 합니다. 논문은 이 접근법이 효율적인 LLM 추론을 위한 실용적이고 확장 가능한 기반을 마련하여 계산 비용을 줄임으로써 고급 모델을 더 접근 가능하게 만든다고 결론지었습니다.