1. 문제 정의 (Problem Statement)

대규모 음성 언어 모델 (SpeechLMs) 의 발전으로 자연어 음성 쿼리를 이해하고 복잡한 작업을 수행할 수 있는 음성 비서가 등장했습니다. 그러나 기존 음성 벤치마크는 전사 (Transcription), 단일 턴 질문 응답 (QA), 지시 따르기 등 분리된 능력에 집중하고 있어, 실제 환경에서 필요한 **에이전트 행동 (Agentic Behavior)**을 체계적으로 평가하지 못합니다.

특히 다음과 같은 격차가 존재합니다:

• 에이전트 기능 부재: 복잡한 도구 사용, 다중 턴 대화, 문맥 기반 의사결정, 도구 오케스트레이션 (Tool Orchestration) 능력 평가가 부족함.
• 다국어 및 문화적 고려 부족: 영어 중심의 평가로 인해 인도어 (Indic languages) 등 저자원 언어와 문화적 맥락이 반영된 시나리오에서의 성능 검증이 미흡함.
• 보안 및 견고성: 적대적 공격 (Adversarial attacks) 에 대한 안전성 평가가 음성 에이전트 분야에서 체계적으로 이루어지지 않음.

2. 방법론 (Methodology)

저자들은 **VOICEAGENTBENCH (VAB)**라는 새로운 종합 벤치마크를 제안했습니다.

A. 데이터 구성 (Data Construction)

• 규모 및 언어: 총 6,000 개 이상의 합성 음성 쿼리로 구성되었으며, 영어와 **6 개 인도어 (힌디어, 벵골어, 마라티어, 타밀어, 텔루구어, 말라얄람어)**를 포함합니다.
• 작업 카테고리:
  1. 단일 도구 호출 (Single Tool Call): 주어진 도구의 파라미터 채우기.
  2. 검색 포함 단일 도구 (Single Tool with Retrieval): 도구 목록 중 적절한 도구 선택 후 호출.
  3. 병렬 도구 호출 (Parallel Tool Calls): 여러 독립적인 도구를 동시에 호출.
  4. 순차적 의존 도구 호출 (Sequential Dependent Tool Calls): 이전 도구의 출력이 다음 도구의 입력으로 필요한 체인형 작업 (예: 택시 예약을 위해 먼저 위치 확인).
  5. 대화 기반 도구 호출 (Multi-Turn Dialogue): 다중 턴 대화를 통해 최종 도구 호출 결정.
  6. 안전 평가 (Safety Evaluations): 해로운 요청이나 위험한 도구 조합에 대한 거절 능력 평가.
• 데이터 생성 파이프라인:
  • 기존 벤치마크 (BFCL, API-Bank, AgentHarm 등) 의 툴 스키마를 기반으로 쿼리를 생성하고, 인도 문화적 맥락을 반영하도록 LLM(Gemma3, GPT-4o-mini) 을 활용하여 확장했습니다.
  • 다양성 기반 TTS 생성: 실제 화자 다양성을 시뮬레이션하기 위해 ECAPA-TDNN 임베딩을 기반으로 가장 먼 점 샘플링 (Farthest Point Sampling, FPS) 알고리즘을 사용하여 TTS 변환용 오디오를 선택했습니다. 이는 억양, 화법, 음성 특성의 다양성을 극대화합니다.

B. 평가 프레임워크

모델의 성능을 4 가지 핵심 메트릭으로 평가합니다:

1. 도구 선택 (Tool Selection, TS): 올바른 도구를 선택했는지 (정규식 매칭).
2. 도구 호출 구조 (Tool Call Structure, TCS): Pydantic 스키마에 따라 출력 형식이 올바른지.
3. 파라미터 채우기 (Parameter Filling, PF): 생성된 인자가 정답과 의미적으로 일치하는지 (GPT-4o-mini 를 판사로 활용).
4. 거절률 (Refusal Rate, RR): 해로운 요청을 거부하는지 평가.

C. 실험 설정

• 비교 대상:
  • SpeechLMs (End-to-End): KimiAudio 7B, Qwen2.5-Omni 7B, AudioFlamingo3 7B.
  • ASR-LLM 파이프라인: Whisper v3 Large(전사) + LLM (Qwen3 8B, Gemma3 27B, LLaMA 3.3 70B).

3. 주요 기여 (Key Contributions)

1. 최초의 음성 에이전트 벤치마크: 음성 기반 에이전트의 도구 사용 능력을 평가하는 최초의 대규모 벤치마크 (VoiceAgentBench) 를 공개했습니다.
2. 다양성 중심 샘플링 전략: 화자 임베딩을 기반으로 한 FPS 알고리즘을 도입하여 합성 음성 데이터의 음향적 다양성을 극대화했습니다.
3. 포괄적인 평가 범위: 단일/다중 도구 호출, 순차적 의존성, 다중 턴 대화, 안전성, 그리고 7 개 언어에 걸친 다국어 일반화 능력을 모두 평가합니다.
4. 성능 격차 규명: 현재 최첨단 모델들조차 복잡한 에이전트 작업에서 심각한 한계를 보이고 있음을 실증적으로 증명했습니다.

4. 실험 결과 (Results)

A. 전반적 성능

• ASR-LLM 파이프라인의 우세: 영어 및 다국어 Subset 모두에서 ASR-LLM 파이프라인이 End-to-End SpeechLM 보다 일관되게 우수한 성능을 보였습니다. 특히 파라미터 채우기 (PF) 정확도에서 큰 격차가 발생했습니다.
  • 영어에서 ASR-LLM 파이프라인 (Whisper-Llama3 70B) 은 평균 **60.6%**의 파라미터 채우기 정확도를 기록했습니다.
  • 반면, 최강의 SpeechLM 인 KimiAudio 7B 는 영어에서 약 57.5%, 다국어에서는 급격히 하락했습니다.
• SpeechLM 의 한계: KimiAudio 7B 가 단순 작업 (단일 도구 호출) 에서는 ASR-LLM 에 근접했으나, 복잡한 작업 (검색 포함, 병렬, 순차적 의존) 에서는 성능이 크게 저하되었습니다.

B. 다국어 일반화 (Multilingual Generalization)

• 언어 간 격차: 모든 모델에서 영어 성능이 인도어 (Indic languages) 보다 월등히 높았습니다.
  • 예: Whisper-Llama3 70B 는 영어에서 PF 60.6% 를 기록했으나, 인도어에서는 39.2% 로 떨어졌습니다.
  • 저자원 언어 (말라얄람어, 타밀어 등) 에서의 성능 저하가 특히 심각했습니다.

C. 작업별 난이도

• 순차적 의존 도구 호출 (Sequential Dependent) 의 어려움: 모든 모델이 이 작업에서 가장 낮은 성능을 보였습니다.
  • 영어에서 최상위 모델조차 PF 정확도가 **14.8%**에 불과했으며, 다국어에서는 **4.3%**까지 떨어졌습니다. 이는 도구 간의 의존성을 관리하고 장기적인 문맥을 유지하는 능력이 여전히 미약함을 시사합니다.

D. 안전성 (Safety)

• 거절 능력 부족: SpeechLM 은 적대적 쿼리에 대한 거절 능력이 ASR-LLM 파이프라인보다 현저히 낮았습니다.
  • KimiAudio 7B 는 영어에서는 51.78% 의 거절률을 보였으나, 인도어에서는 **2.67%**로 급감했습니다.
  • ASR-LLM 파이프라인은 언어 간에 더 일관된 안전성을 유지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 한계 드러냄: 현재 음성 에이전트 기술은 단순한 지시 수행은 가능하나, 복잡한 도구 오케스트레이션, 다국어 일반화, 그리고 안전성 측면에서 실제 배포 (Real-world deployment) 에 필요한 수준에 도달하지 못했음을 명확히 보여줍니다.
• ASR-LLM vs End-to-End: End-to-End SpeechLM 은 지연 시간 (Latency) 이 낮다는 장점이 있으나, 에이전트 작업의 정확도와 견고성 측면에서는 모듈식 ASR-LLM 파이프라인이 여전히 우세합니다.
• 향후 방향:
  • 저자원 언어와 문화적 맥락을 고려한 풍부한 다국어 감독 학습 (Supervision) 필요.
  • 순차적 도구 호출 및 복잡한 의존성 처리 능력 향상을 위한 아키텍처 개선.
  • 다국어 환경에서의 안전성 강화.

이 논문은 VoiceAgentBench를 통해 음성 에이전트 개발자와 연구자들에게 표준화된 평가 도구를 제공하며, 보다 견고하고 포용적인 음성 에이전트 구축을 위한 기초를 마련했습니다.