Building Enterprise Realtime Voice Agents from Scratch: A Technical Tutorial

이 논문은 개별 모델의 속도보다는 스트리밍과 파이프라인 기법이 실시간 음성 에이전트의 핵심임을 규명하고, Deepgram, vLLM, ElevenLabs 등을 활용한 엔터프라이즈급 실시간 음성 에이전트 구축을 위한 완전한 기술 튜토리얼을 제공합니다.

핵심

🚧 1. 왜 이 논문이 필요할까요? (현황)

지금까지 "음성으로 말하면 음성으로 대답하는" AI 모델이 25 개 이상 나왔습니다. 마치 완제품 자동차처럼 하나만 설치하면 끝날 것 같죠. 하지만 문제는 이 '완제품'들이 너무 느리다는 것입니다.

• 비유: "음성 AI"를 레스토랑에 비유해 봅시다.
  • 기존 방식 (완제품 모델): 손님이 주문하면 (음성 입력), 주방장이 메뉴를 보고, 요리하고, 서빙하기까지 모든 과정을 한 사람이 다 합니다. 결과는 맛있을지 몰라도, 손님이 기다리는 시간이 너무 깁니다 (약 13 초!).
  • 이 논문이 제안하는 방식 (연쇄 공정): 손님이 주문하면 **서빙 (음성 인식)**이 먼저 받아 주방 (LLM) 에 전달하고, 주방장이 요리를 시작하는 동시에 서빙이 앞선 요리를 먼저 내어줍니다. 이렇게 하면 손님은 요리가 다 나올 때까지 기다리지 않고, 첫 번째 접시 (대답) 를 1 초도 안 되어 받을 수 있습니다.

🔍 2. 핵심 발견: "빠른 모델"이 답이 아닙니다.

연구팀은 "가장 빠른 AI 모델 하나만 쓰면 되겠지?"라고 생각했지만, 현실은 달랐습니다.

• 결론: "실시간 (Realtime)"의 비결은 하나의 빠른 모델이 아니라, **여러 공정이 겹쳐서 동시에 돌아가는 것 (스트리밍 + 파이프라인)**입니다.
• 비유: 공장에서 자동차를 만들 때, 차체 조립이 끝날 때까지 기다리지 않고, 엔진을 달고 타이어를 끼우는 작업을 동시에 진행하면 생산 속도가 빨라지는 것과 같습니다.

🛠️ 3. 우리가 만든 시스템 (3 단계 레고 블록)

이 논문은 세 가지 전문 도구를 연결해서 **1 초 미만 (약 0.75 초)**의 응답 속도를 달성했습니다.

1. 귀 (Deepgram - 음성 인식):
   • 사용자가 말을 하면, 실시간으로 텍스트로 바꿔줍니다.
   • 비유: "말을 듣는 귀"가 말끝마다 바로 메모를 합니다.
2. 두뇌 (vLLM - LLM):
   • 메모를 보고 답변을 **조각조각 (토큰 단위)**으로 만들어냅니다.
   • 비유: "생각하는 두뇌"가 문장을 다 쓰지 않아도, "네, 알겠습니다"라고 먼저 말하고 나머지 내용을 이어갑니다.
3. 입 (ElevenLabs - 음성 합성):
   • 두뇌가 조각낸 텍스트를 즉시 목소리로 바꿔줍니다.
   • 비유: "목소리 내는 입"이 두뇌가 말하기 시작하자마자 바로 소리를 냅니다.

✨ 핵심 기술: '문장 버퍼 (Sentence Buffer)'
두뇌가 말을 할 때, 문장이 다 끝나기 전에 입이 소리를 내면 의미가 통하지 않습니다. 그래서 문장 부호 (., !, ?) 가 나올 때까지 잠시 모았다가, 한 문장이 완성되는 순간 바로 입으로 넘겨줍니다. 이 '잠시 모으는 작업'이 실시간의 마법입니다.

🏥 4. 기업용 기능: "일 처리"까지 가능하게

단순히 "날씨가 어때요?"라고 묻는 것을 넘어, 실제 업무를 처리할 수 있습니다.

• 예시: 병원 접수원 AI.
  • "내일 예약 가능한 시간 알려줘" → AI 가 데이터베이스를 검색하고 → "오후 2 시와 4 시가 비어있어요" → "예약할까요?" → "네" → 예약 완료.
• 이 논문은 AI 가 단순히 말만 하는 게 아니라, 도구를 써서 일을 해결하는 방법까지 코드로 보여줍니다.

📊 5. 결과: 얼마나 빨라졌나요?

• 기존 방식 (완제품 모델): 첫 번째 소리가 나오기까지 약 13 초 걸림. (너무 느려서 대화 불가)
• 이 논문 방식 (연쇄 공정): 첫 번째 소리가 나오기까지 약 0.75 초 걸림. (사람이 대화할 때 느끼는 '즉각적인' 반응)

💡 6. 요약: 이 논문이 우리에게 주는 교훈

1. 완제품은 아직 느립니다: "음성으로 말하면 음성으로 답하는" 최신 AI 모델들은 아직 실시간 대화에는 너무 느리고, 복잡한 업무 (약속 잡기 등) 도 못 합니다.
2. 연결이 핵심입니다: "듣기 → 생각하기 → 말하기"를 동시에 겹쳐서 실행해야 합니다.
3. 코드는 모두 공개되었습니다: 이 논문은 단순히 이론만 말하는 게 아니라, 실제 작동하는 코드 9 개 장을 모두 공개했습니다. 누구나 따라 하며 배울 수 있습니다.

한 줄 요약:

"완벽한 한 명의 천재 AI 를 기다리지 말고, 빠르게 일하는 세 명의 전문가 (귀, 두뇌, 입) 를 팀으로 묶어 동시에 일하게 하세요. 그것이 바로 '실시간 음성 비서'를 만드는 지름길입니다."

기술 요약

1. 문제 정의 (Problem)

기존의 텍스트 기반 AI 에이전트는 잘 정립되어 있지만, 이를 실시간 음성 인터페이스로 확장하는 데에는 다음과 같은 공학적 난제가 존재하며, 이를 해결하는 통합 가이드가 부재했습니다.

• 구성 요소와 통합 시스템 간의 격차: 25 개 이상의 오픈소스 음성 - 음성 (Speech-to-Speech, S2S) 모델과 수많은 에이전트 프레임워크가 존재하지만, 개별 구성 요소부터 기능 호출 (Function Calling) 이 가능한 작동하는 스트리밍 음성 에이전트까지의 전체 파이프라인을 설명하는 단일 리소스가 없습니다.
• 실시간성 (Realtime) 의 오해: 많은 연구가 "빠른 단일 모델"에 집중하지만, 진정한 실시간성은 모델의 속도보다는 **스트리밍과 파이프라이닝 (Pipeline)**에 달려 있습니다.
• 기능 호출 부재: 네이티브 음성 - 음성 모델 (예: Qwen2.5-Omni) 은 오디오 생성 품질은 우수하지만, 기업 환경에 필수적인 **기능 호출 (Function Calling)**을 지원하지 않거나 지연 시간이 너무 길어 실시간 상호작용에 적합하지 않습니다.

2. 방법론 (Methodology)

저자들은 네이티브 S2S 모델의 한계를 실험적으로 증명하고, **캐스케이드 스트리밍 파이프라인 (Cascaded Streaming Pipeline)**을 기반으로 한 엔터프라이즈급 에이전트를 구축했습니다.

A. 아키텍처 설계

음성 에이전트를 LLM 에이전트 (추론 + 도구) + 음성 I/O (STT + TTS + 스트리밍)로 정의하고, 다음 3 단계로 구성된 파이프라인을 구현했습니다.

1. 스트리밍 STT (Speech-to-Text): Deepgram Nova-3 를 사용하여 사용자의 음성을 실시간으로 텍스트로 변환합니다. (부분 결과와 최종 결과를 구분하여 처리)
2. 스트리밍 LLM (Large Language Model): vLLM 을 통해 호스팅된 LLM (Qwen2.5-7B 등) 이 토큰 단위로 텍스트를 스트리밍 생성하며, OpenAI 기능 호출 프로토콜을 통해 도구 사용 (Tool Use) 을 지원합니다.
3. 문장 버퍼 (Sentence Buffer): LLM 의 스트리밍 토큰을 수신하여 문장 끝 (., !, ?) 을 감지하고, 완전한 문장이 완성되면 즉시 TTS 로 전달합니다. 이는 LLM 이 다음 문장을 생성하는 동안 TTS 가 첫 문장을 재생하는 **중첩 실행 (Overlap)**을 가능하게 합니다.
4. 스트리밍 TTS (Text-to-Speech): ElevenLabs 를 사용하여 텍스트를 실시간 오디오 청크로 변환하여 클라이언트에 전송합니다.

B. 핵심 기술 요소

• VAD (음성 활동 감지): Silero VAD 를 사용하여 사용자의 발화 시작과 종료를 감지하고, 에이전트 발화 중 사용자의 발화를 감지하여 즉시 중단 (Interruption) 하는 상태 머신을 구현했습니다.
• WebSocket 프로토콜: 브라우저 클라이언트와 서버 간 저지연 통신을 위해 이진 오디오 프레임 (PCM) 과 제어 메시지를 전송합니다.
• 기능 호출 루프: 에이전트가 도구가 필요하다고 판단하면 함수를 실행하고 그 결과를 LLM 에 다시 입력하여 최종 응답을 생성하는 재귀적 루프를 구현했습니다.

3. 주요 기여 (Key Contributions)

1. 포괄적인 조사: 25 개 이상의 S2S 모델과 30 개 이상의 음성 에이전트 프레임워크를 조사하여 현재 기술 현황과 부족한 점을 명확히 했습니다.
2. 실험적 검증: 네이티브 S2S 모델 (Qwen2.5-Omni) 과 캐스케이드 파이프라인의 성능을 비교하여, 실시간성을 위해 후자가 필수적임을 입증했습니다.
3. 완전한 구현 코드 공개: Deepgram, vLLM, ElevenLabs 를 활용한 엔터프라이즈급 기능 호출 음성 에이전트의 전체 소스 코드를 오픈소스로 공개했습니다.
4. 9 장 분량의 점진적 튜토리얼: STT, LLM, TTS, 파이프라인, WebSocket, VAD, 웹 클라이언트, 에이전트 로직, 벤치마킹에 이르는 9 개의 장으로 구성된 교육용 튜토리얼을 제공합니다.

4. 실험 결과 (Results)

실험은 클라우드 API 와 자체 호스팅 vLLM (NVIDIA A10G GPU) 환경에서 수행되었습니다.

• 지연 시간 (Latency):
  • 네이티브 S2S (Qwen2.5-Omni): 첫 오디오 도달 시간 (TTFA) 이 약 13.2 초 ~ 26.5 초로 실시간 상호작용에 부적합했습니다. (오디오 생성 속도가 실시간의 약 0.5 배 수준)
  • 캐스케이드 파이프라인 (본 논문):
    • 클라우드 API 사용 시: P50 TTFA 958ms, 최선 715ms.
    • 자체 호스팅 vLLM 사용 시: P50 TTFA 947ms, 최선 729ms.
    • 성능 향상: 네이티브 모델 대비 약 17 배의 TTFA 개선 효과를 달성했습니다.
• 성능 분석:
  • 스트리밍의 효과: STT, LLM, TTS 가 순차적으로 실행되는 것이 아니라 중첩되어 실행됨으로써 전체 지연 시간을 크게 줄였습니다.
  • 주요 병목: LLM 의 첫 토큰 생성 시간 (TTFT) 과 TTS 의 첫 오디오 프레임 생성 시간 (TTFB) 이 주요 변수였으며, ElevenLabs 는 매우 일관된 성능 (약 220ms) 을 보였습니다.
  • 기능 호출: 네이티브 모델은 기능 호출을 지원하지 않았으나, 제안된 파이프라인은 복잡한 다단계 도구 호출 (예: 병원 예약, 환자 정보 조회) 을 성공적으로 처리했습니다.

5. 의의 및 결론 (Significance)

이 논문은 "음성 에이전트"의 핵심이 음성 처리 자체가 아니라 LLM 에이전트의 추론과 도구 사용 능력에 있음을 강조합니다.

• 실용적 접근: 네이티브 S2S 모델의 기술적 우아함보다는, 스트리밍과 파이프라이닝을 통한 낮은 지연 시간과 기능 호출 지원이라는 실용적 목표를 달성했습니다.
• 교육적 가치: 기존 프레임워크 (Pipecat, LiveKit 등) 가 "어떻게 사용하는지"만 알려주는 반면, 이 튜토리얼은 **내부 작동 원리 (스트리밍 메커니즘, 문장 버퍼링, 상태 머신 등)**를 직접 구현함으로써 개발자들의 이해를 돕습니다.
• 미래 지향성: 1 초 미만의 TTFA 를 달성함으로써, 인간과 자연스러운 대화와 복잡한 업무 처리가 가능한 진정한 실시간 엔터프라이즈 음성 에이전트 구축이 가능함을 증명했습니다.

결론적으로, 이 연구는 개별 구성 요소를 연결하는 엔지니어링의 중요성을 부각시키며, 오픈소스 코드를 통해 누구나 재현 가능한 엔터프라이즈급 음성 에이전트 개발의 표준을 제시했습니다.