1. 문제 정의 (Problem Statement)

PayPal 의 상거래 에이전트 (Commerce Agent) 는 대규모 언어 모델 (LLM) 을 기반으로 검색, 추천, 쿼리 생성 등의 작업을 수행합니다. 기존 연구 [1] 에서 도메인 특화 미세 조정 (Fine-tuning) 을 통해 지연 시간과 비용을 줄였으나, 여전히 생산 환경 (Production) 에서 다음과 같은 도전 과제가 존재했습니다.

• 지연 시간과 품질의 트레이드오프: 2 초 미만의 응답 시간 (SLA) 을 보장하면서도 고품질의 추론을 유지해야 하는 압박.
• 하드웨어 비용: 고성능 GPU(H100) 를 다수 사용하여 추론 비용을 절감할 필요성.
• 최적화 한계: 기존 NVIDIA NIM 을 통한 최적화만으로는 추가적인 성능 향상과 비용 절감의 여지가 남아있음.

이 연구는 모델의 구조나 출력 분포를 변경하지 않고 추론 시 (Inference-time) 에만 적용 가능한 기술인 'Speculative Decoding(추측적 디코딩)'을 도입하여, 기존 미세 조정된 모델의 성능을 극대화하고 하드웨어 비용을 절감하는 것을 목표로 합니다.

2. 방법론 (Methodology)

가. 시스템 아키텍처 및 비교 대상

• 기반 모델: llama3.1-nemotron-nano-8B-v1 (PayPal 상거래 태스크에 맞게 LoRA 로 미세 조정된 모델).
• 비교 대상 (Baseline): NVIDIA NIM 을 사용하여 2 개의 H100 GPU 에서 실행되는 기존 프로덕션 환경.
• 실험 환경: 동일한 2 개의 H100 GPU 및 CPU/메모리 리소스를 사용하되, vLLM 프레임워크를 통해 EAGLE3 기반의 Speculative Decoding 을 적용한 환경.
  • EAGLE3: 별도의 드래프트 모델 학습이 필요 없는 (Training-free) 경량 신경망을 사용하여 토큰을 예측하는 방식.

나. 실험 설계

총 40 가지 실험 구성 (Configuration) 으로 광범위한 벤치마크를 수행했습니다.

• Speculative Token 수 ($\gamma$): 3 개 (Spec-3) 및 5 개 (Spec-5).
• 동시성 (Concurrency): 1, 4, 8, 16, 32 개의 동시 요청.
• 샘플링 온도 (Temperature): 0 (Greedy), 0.5 (Stochastic).
• 평가 지표: 처리량 (Throughput), 평균/중앙값 지연 시간 (Latency), 토큰 수용률 (Acceptance Rate), GPU 활용도, 출력 품질 (LLM-as-Judge).

3. 주요 기여 (Key Contributions)

1. 생산 환경 규모의 실증 평가: 상거래 특화 SLM(Small Language Model) 에 적용된 Speculative Decoding 의 첫 번째 포괄적인 평가 수행 (40 가지 실험 구성).
2. 수용률 특성 분석: 도메인 특화 작업에서도 수용률이 작업 부하 (Concurrency) 와 온도에 관계없이 매우 안정적임을 규명하여, 프로덕션 배포 계획 수립을 단순화.
3. 품질 보존 검증: LLM-as-Judge 를 통한 엄격한 평가로, Speculative Decoding 적용 시 출력 품질이 전혀 저하되지 않음을 확인.
4. 실용적 배포 가이드: $\gamma=3$ 설정이 최적임을 제시하고, GPU 1 개로 Speculative Decoding 을 수행하면 GPU 2 개로 NIM 을 실행하는 것과 동등하거나 더 나은 성능을 낼 수 있음을 증명하여 비용 절감 기회를 제시.

4. 실험 결과 (Experimental Results)

가. 성능 향상 (Throughput & Latency)

• 처리량 (Throughput): $\gamma=3$ 설정에서 NIM 기준 대비 22~49% 의 처리량 향상을 기록했습니다. 특히 동시성이 낮을 때 (메모리 대역폭이 여유로울 때) 개선 폭이 가장 컸습니다.
• 지연 시간 (Latency): 18~33% 의 지연 시간 감소를 달성했습니다. 동시성이 32 로 높아져도 20% 의 지연 개선 효과를 유지했습니다.
• $\gamma=5$ 의 한계: 토큰 수를 5 개로 늘리면 수용률이 낮아져 (약 25%) 오히려 성능이 저하되거나 개선 효과가 미미했습니다.

나. 수용률 (Acceptance Rate) 분석

• 안정성: $\gamma=3$ 설정에서 수용률은 **약 35.5%**로 동시성 수준과 온도에 관계없이 매우 안정적이었습니다.
• 온도 무관성: 기존 연구 (Leviathan et al.) 와 달리 온도 0 과 0.5 사이에서 수용률 차이가 거의 없었습니다. 이는 JSON 과 같은 구조화된 출력 제약이 토큰 분포의 엔트로피를 낮추어 온도 변화의 영향을 상쇄했기 때문입니다.
• 절대값: T5 기반 모델 연구 (5382%) 에 비해 수용률은 낮았으나 (2536%), EAGLE3 의 드래프트 모델 오버헤드가 거의 없어 실제 성능 향상에는 큰 지장이 없었습니다.

다. 하드웨어 효율성 (Hardware Efficiency)

• 단일 GPU vs 듀얼 GPU: 동시성 8 수준에서 H100 GPU 1 개로 Speculative Decoding 을 실행한 결과, H100 2 개로 NIM 을 실행한 것과 유사하거나 더 좋은 처리량 (3.19 vs 3.14 req/s) 과 지연 시간을 기록했습니다.
• 비용 절감: 이는 GPU 비용 50% 절감을 의미하며, 대규모 프로덕션 배포에 중요한 시사점을 제공합니다.

라. 품질 평가 (Quality Evaluation)

• LLM-as-Judge: 모든 실험 구성에서 출력 품질이 유지되었습니다.
  • 온도 0 (Greedy): 90~100% 의 Tie(동점) 비율로 표준 디코딩과 동일한 출력을 생성.
  • 온도 0.5: 무작위성으로 인해 차이가 발생했으나, 승패가 균등하게 분포되어 품질 저하가 없음을 확인.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 PayPal 의 상거래 에이전트 성능을 최적화하기 위해 **미세 조정 (Fine-tuning)**과 Speculative Decoding을 결합한 완전한 최적화 파이프라인을 제시합니다.

1. 비용 효율성: 추가적인 하드웨어 투자 없이, 혹은 하드웨어를 절반으로 줄여도 동등한 성능을 달성할 수 있어 운영 비용 (OpEx) 을 대폭 절감할 수 있습니다.
2. 안정적인 배포: 도메인 특화 작업에서도 Speculative Decoding 의 성능이 예측 가능하고 안정적임을 입증하여, 실제 프로덕션 환경에서의 도입 장벽을 낮췄습니다.
3. 최적 설정: $\gamma=3$ 설정이 상거래 에이전트 워크로드에 가장 적합하며, 이를 통해 기존 베이스 모델 대비 60% 이상의 누적 지연 시간 감소를 달성할 수 있음을 보여줍니다.

향후 연구로는 EAGLE3 드래프트 모델을 상거래 데이터로 미세 조정하여 수용률을 높이고, 멀티 에이전트 시스템의 다른 구성 요소로 확장하는 것이 계획되어 있습니다.