1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 추론 속도는 자동 회귀 (autoregressive) 방식의 특성상 병목 현상이 발생하며, 이는 실시간 응용 프로그램 배포의 주요 장애물입니다. 이를 해결하기 위해 제안된 **스펙큘레이티브 디코딩 (Speculative Decoding)**은 경량 드래프트 모델이 토큰을 생성하고 타겟 모델이 이를 검증하는 방식을 사용합니다.

그러나 기존 스펙큘레이티브 디코딩의 한계는 다음과 같습니다:

• 별도 모델 필요: 별도의 드래프트 모델을 훈련하고 저장해야 하므로 배포 복잡성과 메모리 오버헤드가 발생합니다.
• 분포 불일치: 드래프트 모델과 타겟 모델 간의 분포 불일치로 인해 토큰 승인율 (acceptance rate) 이 낮아질 수 있습니다.
• Self-Speculative Decoding (SSD) 의 과제: 별도의 모델 없이 동일한 LLM 을 드래프트 및 검증자로 재사용하는 SSD 방식이 등장했으나, 기존 SSD 방법들은 휴리스틱 기반의 계층 건너뛰기 (layer skipping) 나 정책 기반 학습을 사용합니다.
  • 휴리스틱: 단순하지만 다양한 작업과 데이터셋에 대한 적응력이 부족하여 최적의 속도 - 품질 트레이드오프를 달성하지 못합니다.
  • 학습 기반 (Policy-based): 훈련 비용이 높고 일반화 능력이 제한적입니다.

따라서 훈련이 필요 없으며 (training-free), 플러그 앤 플레이 방식으로 다양한 작업에 적응할 수 있으면서도 효율적인 드래프트 서브네트워크를 구성하는 방법이 필요합니다.

2. 제안 방법론: ConfLayers (Methodology)

저자들은 ConfLayers라는 새로운 프레임워크를 제안합니다. 이는 중간 계층의 **신뢰도 (confidence)**를 기반으로 동적으로 계층을 건너뛰어 드래프트 모델을 구성하는 방식입니다.

핵심 구성 요소

1. 신뢰도 기반 계층 건너뛰기 (Confidence-based Layer Skipping):

   • 각 계층 (Layer) 의 FFNN 및 어텐션 모듈의 은닉 상태를 추출하여 LM 헤드 (LM Head) 를 통해 로짓 (logits) 을 도출합니다.
   • 로짓의 엔트로피 (Entropy) 를 계산하여 예측 불확실성을 측정하고, 이를 **신뢰도 점수 (Confidence Score)**로 변환합니다.
     • 신뢰도 = $1 - \frac{\text{엔트로피}}{\text{최대 엔트로피}}$
   • 신뢰도가 낮은 계층은 드래프트 모델에서 제외 (건너뛰기) 하고, 높은 계층만 유지하여 계산량을 줄입니다.

2. 적응형 윈도우 크기 조정 (Adaptive Window Sizing):

   • 모든 계층의 신뢰도 값을 단순히 평균하는 것이 아니라, **국소적 신뢰도 변동 (local fluctuations)**에 따라 비교 윈도우의 크기를 동적으로 조정합니다.
   • 초기 계층: 토큰 수준의 문법/어휘 정보를 다루므로 신뢰도 변화가 급격할 수 있어 작은 윈도우로 세밀하게 비교합니다.
   • 후기 계층: 맥락 정보가 통합되어 안정적이므로 큰 윈도우로 광범위하게 비교합니다.
   • 이를 통해 노이즈가 많은 영역과 안정적인 영역 모두에서 최적의 계층 선택을 가능하게 합니다.

3. 주기적 검색 알고리즘 (Interval-based Periodic Search):

   • 매 생성 사이클마다 검색을 수행하는 것이 아니라, 정해진 간격 (Opt Interval) 마다 검색을 수행합니다.
   • 현재 계층 설정으로 생성된 토큰 중 타겟 모델에 승인된 수를 누적하여 점수를 계산합니다.
   • 점수 목표에 도달하거나 최대 반복 횟수가 되면 검색을 종료하고, 현재까지 발견된 **최적의 계층 세트 (Best Layer Set)**를 최종 드래프트 모델로 사용합니다.
   • 이 과정은 **온라인 (inference 중)**으로 수행되며, 별도의 훈련 단계가 필요 없습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 신뢰도 기반 메커니즘: 보조 모델이나 훈련 없이도 Self-Speculative Decoding 을 위한 적응형 드래프트 서브네트워크를 구성하는 새로운 메커니즘을 제안했습니다.
2. 반복적 플러그 앤 플레이 알고리즘: 신뢰도 기반 계층 선택을 통해 디코딩 속도와 토큰 승인율 사이의 균형을 맞추는 적응형 알고리즘을 설계했습니다.
3. 포괄적인 실증 평가: 다양한 LLM 아키텍처 (LLaMa-2, LLaMa-3 등) 와 데이터셋 (요약, 수학 추론, 번역, 지시 따르기) 에서 기존 베이스라인 (SWIFT, DEL 등) 을 능가하는 일관된 가속화와 품질 유지를 입증했습니다.

4. 실험 결과 (Results)

• 가속도 (Speedup): 다양한 모델과 작업에서 최대 1.4 배의 속도 향상을 달성했습니다.
  • 예: LLaMa-2-70B (CNN-DM 요약) 에서 1.37 배, LLaMa-3-70B 에서 1.38 배의 속도 향상.
  • 기존 방법인 SWIFT 와 DEL 보다 일관되게 높은 성능을 보였습니다. 특히 DEL 은 미세 조정 (fine-tuning) 이 필요해 오히려 속도가 느려진 경우 (1.0 배 미만) 가 있었으나, ConfLayers 는 모든 모델에서 가속화를 달성했습니다.
• 품질 유지: Rouge-2 지수를 통해 생성된 텍스트의 품질이 원본 LLM 과 거의 동일하게 유지됨을 확인했습니다.
• 동적 입력 스트림 적응성: 한 데이터셋 (예: CNN-DM) 에서 찾은 최적의 계층 설정을 다른 작업 (수학, 번역 등) 에 적용하더라도, SWIFT 가 성능이 급격히 떨어지는 것과 달리 ConfLayers 는 높은 속도 (1.1 배 이상) 와 승인율을 유지했습니다.
• 검색 오버헤드: 검색 과정이 추론 중 온라인으로 수행되지만, 건너뛰는 계층으로 인한 이득이 검색 오버헤드를 상쇄하여 전체 지연 시간에는 유의미한 영향을 미치지 않았습니다.

5. 의의 및 결론 (Significance & Conclusion)

ConfLayers 는 대규모 언어 모델의 추론 효율성을 높이기 위한 간단하지만 강력한 휴리스틱의 가능성을 보여줍니다.

• 훈련 불필요: 복잡한 정책 학습이나 추가 모델 훈련 없이도 즉시 적용 가능한 'Plug-and-Play' 솔루션입니다.
• 적응성: 데이터셋이나 작업 유형에 관계없이 모델 내부의 신뢰도 신호를 활용하여 동적으로 최적의 서브네트워크를 구성합니다.
• 실용성: 하드웨어 제약이 있는 환경이나 실시간 응용 프로그램에서 LLM 의 배포 장벽을 낮추는 중요한 단계로 평가됩니다.

결론적으로, ConfLayers 는 복잡한 학습 기반 방법론 대신 신뢰도 기반의 적응적 계층 건너뛰기가 LLM 추론 가속화에서 더 효율적이고 견고한 대안이 될 수 있음을 입증했습니다.