Duration Aware Scheduling for ASR Serving Under Workload Drift

이 논문은 ASR 서비스의 부하 변동 상황에서 오디오 길이를 처리 시간의 정확한 지표로 활용하여 vLLM 에 SJF 와 HRRN 스케줄링을 적용함으로써, FCFS 방식 대비 중위수 지연을 획기적으로 줄이면서도 기아 현상을 완화하고 처리량 저하 없이 지연 시간을 효과적으로 최적화하는 방법을 제시합니다.

핵심

🎙️ "소리 길이"로 주문서를 정리하면 ASR 속도가 빨라진다?

ICLR 2026 CAO 워크숍 논문 요약 (쉬운 한국어 버전)

이 논문은 우리가 말을 입력하면 텍스트로 바꿔주는 ASR(음성 인식) 시스템이 왜 가끔씩 느려지는지, 그리고 어떻게 하면 더 빨리 응답할 수 있는지 해결책을 제시합니다.

---

🍔 1. 문제 상황: "먼저 온 사람이 먼저 먹는다"의 함정

지금까지 대부분의 음성 인식 서비스는 FCFS(First-Come-First-Served, 먼저 온 순서대로) 방식을 썼습니다. 마치 식당에서 손님이 도착한 순서대로 주문을 받는 것과 같죠.

• 상황: 손님이 3 명 왔습니다.
  • 손님 A: 30 분짜리 긴 이야기를 합니다. (처리 시간: 30 분)
  • 손님 B: 1 분짜리 짧은 주문을 합니다. (처리 시간: 1 분)
  • 손님 C: 1 분짜리 짧은 주문을 합니다. (처리 시간: 1 분)
• FCFS 방식: A 가 먼저 왔으니 A 를 먼저 처리합니다. B 와 C 는 A 가 끝날 때까지 30 분을 기다려야 합니다.
• 결과: B 와 C 는 "왜 이렇게 느리지?"라고 불평하며 화가 납니다. (이걸 **'머리 줄 막힘 (Head-of-line blocking)'**이라고 합니다.)

🔍 2. 핵심 발견: "소리의 길이" = "처리 시간"

연구팀은 Whisper 같은 최신 음성 인식 모델을 분석하다가 놀라운 사실을 발견했습니다.
"음성 파일의 길이가 길수록, 텍스트로 변환하는 데 걸리는 시간도 비례해서 길다!"

• 비유: 요리사가 주문을 받습니다.
  • "소고기 스테이크 100g" (짧은 주문) vs "소고기 스테이크 1kg" (긴 주문).
  • 요리사는 "소고기 양"만 보면 요리 시간이 얼마나 걸릴지 대충 짐작할 수 있죠.
  • 음성 인식에서도 **음성 파일의 길이 (초)**만 보면, 얼마나 오래 걸릴지 정확히 알 수 있습니다. (별도의 예측 모델이 필요 없습니다!)

🚀 3. 해결책: 두 가지 새로운 주문 정렬법

이제 이 '길이' 정보를 이용해 주문서를 다시 정리해 보겠습니다.

🏆 방법 A: SJF (Shortest Job First - 짧은 것부터 처리)

"가장 짧은 주문부터 먼저 처리하자!"

• 방식: 1 분짜리 주문 (B, C) 을 먼저 처리하고, 30 분짜리 (A) 는 나중에 처리합니다.
• 효과: B 와 C 는 1 분 만에 결과를 받습니다! 전체적인 평균 대기 시간이 73% 나 줄어듭니다.
• 단점: A 는 계속 밀려서 영원히 기다릴 수도 있습니다. (이걸 '기아 현상'이라고 합니다.)

⚖️ 방법 B: HRRN (Highest Response Ratio Next - 기다림과 길이를 고려)

"짧은 것도 중요하지만, 너무 오래 기다린 사람도 챙기자!"

• 방식: "얼마나 기다렸는지"와 "주문이 얼마나 긴지"를 합쳐서 점수를 매깁니다.
  • 짧은 주문은 점수가 높지만, 오래 기다린 긴 주문은 기다린 시간이 길어질수록 점수가 올라가서 결국 처리됩니다.
• 효과: 짧은 주문도 빠르게 처리되지만 (평균 속도 28% 향상), 긴 주문이 영원히 기다리는 일은 막아줍니다. (긴 주문의 대기 시간 증가폭을 24% 이내로 제한).

📊 4. 실험 결과: 실제로 효과가 있을까?

연구팀은 실제 데이터 (LibriSpeech) 와 인위적으로 만든 데이터 (길이가 고르게 분포된 데이터) 로 실험했습니다.

• SJF 의 성과: 시스템이 바쁠 때 (사람이 몰릴 때), 중간 사용자 (50% 기준) 의 대기 시간을 73% 나 줄였습니다. 하지만 긴 주문을 기다리는 사람들은 97% 나 더 기다려야 했습니다.
• HRRN 의 성과: 중간 사용자도 28% 빨라졌고, 긴 주문을 기다리는 사람들은 24% 만 더 기다렸습니다. 가장 균형 잡힌 방법입니다.
• 부작용: 이 방식을 적용해도 전체 처리량 ( throughput) 은 변하지 않았습니다. 주문서를 정리하는 데 걸리는 시간은 0.1 밀리초로, 요리사가 요리를 하는 시간에 비하면 무시할 수준입니다.

💡 5. 결론: 왜 이 연구가 중요한가?

기존의 "먼저 온 순서대로" 방식은 음성 인식 서비스에서 비효율적입니다. 하지만 음성 파일의 길이라는 간단한 정보만 있으면, SJF나 HRRN 같은 고전적인 알고리즘을 적용해서 속도를 획기적으로 높일 수 있습니다.

• SJF는 "빠른 응답"이 최우선일 때 좋습니다.
• HRRN은 "모두가公平하게" 처리되길 원할 때 가장 좋습니다.

이 기술은 이미 vLLM(인공지능 모델 실행 엔진) 에 적용되어, 우리가 음성 비서나 실시간 자막 서비스를 사용할 때 더 빠르고 쾌적한 경험을 제공할 수 있는 열쇠가 됩니다.

---

한 줄 요약:
음성 파일이 얼마나 긴지 알면, 긴 주문을 먼저 처리하지 않고 짧은 주문부터 먼저 처리하거나, 오래 기다린 긴 주문을 챙겨주면 전체 시스템 속도가 훨씬 빨라집니다! 🚀

기술 요약

1. 문제 정의 (Problem)

• 현재의 한계: 널리 사용되는 ASR 서빙 엔진 (vLLM, Orca 등) 은 대부분 선입선출 (FCFS, First-Come-First-Served) 스케줄링 정책을 사용합니다.
• 발생하는 문제: 작업 부하가 변하거나 (Workload Drift), 요청 간 처리 시간 (오디오 길이) 에 큰 차이가 있을 때 FCFS 는 선두 줄 막힘 (Head-of-Line Blocking) 현상을 유발합니다. 긴 요청이 먼저 처리되면, 그 뒤에 도착한 짧은 요청들이 대기해야 하므로 전체적인 지연 시간이 급증합니다.
• 목표: 요청의 처리 시간을 사전에 추정하여, 대기열을 효율적으로 재배열함으로써 종단 간 (End-to-End) 지연 시간을 최소화하면서도 긴 요청의 기아 (Starvation) 현상을 방지하는 스케줄링 알고리즘을 개발하는 것입니다.

2. 방법론 (Methodology)

2.1 핵심 통찰: 오디오 지속 시간과 처리 시간의 상관관계

• Whisper 모델 특성: 인코더는 고정된 30 초 단위로 처리되므로 인코딩 시간은 일정합니다. 반면, 디코딩 시간은 생성되는 토큰 수에 비례하여 증가합니다.
• 선형 관계: 인간 음성의 속도는 상대적으로 일정하므로, 오디오의 지속 시간 (Duration) 은 생성될 토큰 수 (및 처리 시간) 와 강한 선형 상관관계를 가집니다.
  • 수식: $\hat{n} = d \times \kappa$ (여기서 $d$는 오디오 길이, $\kappa$는 언어별 상수, $\hat{n}$은 추정 토큰 수)
• 장점: 별도의 예측 모델이나 추가 GPU 연산 없이, 요청 도착 시점에 이미 알려진 오디오 길이만으로 작업 길이를 거의 0 오버헤드로 추정할 수 있습니다.

2.2 적용된 스케줄링 알고리즘

연구진은 vLLM 엔진에 두 가지 고전적인 스케줄링 알고리즘을 통합했습니다.

1. SJF (Shortest Job First, 가장 짧은 작업 우선):
   • 추정된 처리 시간이 짧은 요청부터 우선 처리합니다.
   • 평균 대기 시간을 최소화하지만, 짧은 요청이 연속적으로 들어올 경우 긴 요청이 무한히 지연될 수 있는 기아 (Starvation) 문제가 발생합니다.
2. HRRN (Highest Response Ratio Next, 가장 높은 응답 비율 우선):
   • SJF 의 기아 문제를 해결하기 위해 대기 시간과 추정 작업 시간을 모두 고려합니다.
   • 응답 비율 = $(대기 시간 + 추정 작업 시간) / 추정 작업 시간$
   • 대기 시간이 길어질수록 우선순위가 높아지므로, 긴 요청이 일정 시간 대기 후 처리될 수 있어 기아를 방지하면서도 짧은 요청에 대한 혜택을 유지합니다.

3. 실험 설정 (Experiments)

• 모델: Whisper-large-v3 (15 억 파라미터)
• 서버: vLLM 엔진 (NVIDIA A100 GPU)
• 데이터셋:
  1. LibriSpeech (test-clean): 실제 ASR 환경과 유사한 오른쪽 치우친 (Right-skewed) 지속 시간 분포 (짧은 요청이 많음).
  2. Synthetic Split: 지속 시간이 균일하게 분포된 합성 데이터 (5 초~30 초 균등 분포). 이는 알고리즘의 성능이 데이터 분포의 편향 때문인지, 재배열 자체의 효과인지 검증하기 위함입니다.
• 부하 조건: 초당 1~25 개의 요청 (Poisson 프로세스) 을 시뮬레이션하여 저부하, 중부하, 고부하 환경을 테스트했습니다.

4. 주요 결과 (Key Results)

4.1 LibriSpeech (실제 데이터) 결과

• SJF 성능:
  • 고부하 (25 req/s) 에서 P50(중앙값) E2E 지연 시간을 최대 73% 감소시켰습니다.
  • 단점: P90(꼬리 지연) 은 최대 97% 증가하여 긴 요청의 대기 시간이 매우 길어졌습니다.
• HRRN 성능:
  • P50 지연 시간을 최대 28% 감소시켰습니다.
  • 장점: P90 지연 시간 증가를 최대 24% 이내로 제한하여 SJF 의 치명적인 단점을 보완했습니다.
• 오버헤드: 스케줄링 결정에 소요되는 시간은 요청당 0.1 ms 미만으로 무시할 수 있었습니다.
• 처리량 (Throughput): 모든 정책 (FCFS, SJF, HRRN) 간 처리량 차이는 없었습니다.

4.2 Synthetic Split (균일 분포) 결과

• 일반성 검증: LibriSpeech 의 편향된 분포 때문이 아니라, 작업 순서 재배열 자체의 효과임을 확인했습니다.
  • 균일 분포에서도 SJF 는 P50 지연 시간을 67% 감소시켰습니다.
  • SJF 의 꼬리 지연 (Tail Latency) 증가 폭은 LibriSpeech (97%) 보다 낮은 **29%**로 완화되었습니다. 이는 짧은 요청이 지속적으로 몰려오지 않기 때문입니다.

5. 의의 및 기여 (Significance & Contributions)

1. 간단하고 배포 가능한 솔루션: 복잡한 예측 모델 없이, 오디오 파일의 메타데이터 (지속 시간) 만으로 ASR 서빙의 지연 시간을 획기적으로 개선할 수 있음을 증명했습니다.
2. 트레이드오프 관리: SJF 는 평균 지연을 극적으로 줄이지만 꼬리 지연을 악화시킵니다. 반면, HRRN 은 평균 지연 개선과 꼬리 지연 제어 사이의 최적의 균형점을 제공하여 실제 프로덕션 환경에 더 적합함을 보였습니다.
3. 작업 부하 드리프트에 대한 강건성: 데이터 분포가 변하거나 (Workload Drift) 부하가 높아져도 성능 개선 효과가 유지됨을 입증했습니다.
4. 실용적 제안: VAD(음성 활동 감지) 를 통해 정지 구간을 제거하거나, 다국어 환경에서 $\kappa$ 값을 동적으로 조정하며, 시스템 부하에 따라 FCFS/SJF/HRRN 을 동적으로 전환하는 등의 향후 개선 방향을 제시했습니다.

결론

이 논문은 ASR 시스템에서 지속 시간 인지 (Duration-Aware) 스케줄링이 FCFS 의 한계를 극복하고 사용자 경험을 개선하는 효과적인 방법임을 입증했습니다. 특히 HRRN 알고리즘은 지연 시간의 평균을 줄이면서도 최악의 경우 (Tail Latency) 를 통제할 수 있어, 실제 대규모 ASR 서비스 도입에 매우 유망한 기술로 평가됩니다.