기술 요약: 텍스트에서 음성으로: 도구 호출 LLM 에이전트 평가를 위한 재현 가능하고 검증 가능한 프레임워크

문제 제기

대규모 언어 모델 (LLM) 은 텍스트 기반 환경에서 도구 호출 및 함수 실행 측면에서 크게 발전했지만, 주요 벤치마크 (예: Confetti, When2Call, BFCL) 는 여전히 텍스트 전용입니다. 이는 음성 에이전트를 배포하는 조직에게 캐스케이드 아키텍처(ASR $\rightarrow$ 텍스트 LLM)와 엔드 - 투 - 엔드 오모달 아키텍처(음성 $\rightarrow$ 도구 호출) 사이에서 선택해야 하는 간극을 만들어냅니다. 기존 오디오 벤치마크는 종종 새로운 도구 스키마와 골드 레이블을 사용하여 새로운 말뭉치를 처음부터 구축해야 하므로 비용이 많이 들고 독점 기업 데이터에 대한 적용 가능성을 제한합니다. 또한, 실제 오디오 조건 하에서 오모달 모델의 신뢰성과 음성 모달리티로 인해 발생하는 특정 성능 저하가 충분히 규명되지 않았습니다.

방법론

저자들은 도구 스키마나 골드 레이블을 다시 주석하지 않고 기존 텍스트 기반 도구 호출 벤치마크를 제어된 오디오 평가로 변환하는 데이터셋 무관 프레임워크를 제안합니다.

1. 변환 파이프라인

본 프레임워크는 기성 텍스트 - 음성 (TTS) 모델을 활용하여 텍스트 - 오디오 쌍 인스턴스를 생성합니다:

• TTS 모델: Gemini-2.5-Flash-TTS, Gemini-2.5-Pro-TTS, GPT-4o-Mini-TTS 세 가지 모델을 사용했습니다.
• 화자 변이: 각 공급업체에서 남성과 여성 화자의 서로 다른 목소리를 선택했습니다 (예: Gemini 의 Kore/Orus, GPT 의 Coral/Ash).
• 노이즈 주입: 배포 조건을 시뮬레이션하기 위해 DEMAND 데이터셋의 환경 노이즈를 다양한 신호 대 잡음비 (SNR: 5, 10, 15, 20 dB) 로 주입했습니다.
• 보존: 원래 도구 스키마, 골드 레이블 및 평가 프로토콜은 소스 텍스트 데이터셋에서 엄격하게 보존됩니다.

2. 평가 프로토콜

본 프레임워크는 두 개의 데이터셋 (OpenAI, Google, Qwen, Microsoft 의 네 가지 공급업체) 에서 일곱 개의 오모달 모델을 평가합니다:

• Confetti: 함수 선택 및 매개변수 추출 정확도에 중점을 둡니다 (도구 호출이 필요한 313 개의 예시).
• When2Call: 언제 도구 호출이 필요한지 결정하는 의사 결정 능력에 중점을 둡니다 (300 개의 예시).

평가에서는 세 가지 조건을 비교합니다:

1. 클린 텍스트: 원본 텍스트 입력을 사용한 기준 성능.
2. 직접 음성: 오모달 모델이 처리한 TTS 생성 오디오 입력을 사용한 성능.
3. 캐스케이드 (ASR $\rightarrow$ 텍스트): GPT-4o-Transcribe로 음성을 전사한 후 텍스트 전용 LLM 에 전달한 경우.

3. 추가 분석

• 오류 분해: 쌍을 이룬 텍스트 - 오디오 실패는 의사 결정 오류, 도구 선택 오류, 인수 - 스키마 오류, 인수 - 값 오류로 분류됩니다.
• 참조 없는 평가: 주석이 없는 생산 데이터의 타당성을 평가하기 위해 골드 레이블에 대해 LLM-as-a-Judge 프로토콜 (GPT-5, Gemini-2.5-Pro, 오픈소스 Qwen3 모델 사용) 을 테스트했습니다.
• 스트레스 테스트: 미지정 사용자 요청에 대한 견고성을 측정하기 위해 모호성 기반 쿼리 재형성 테스트를 수행했습니다.

주요 결과

모델 및 작업 의존성

성능은 아키텍처 자체보다는 특정 모델과 작업에 크게 의존합니다:

• Confetti: Gemini-3.1-Flash-Live가 70.4% 로 가장 높은 점수를 기록했으며, 이어 Qwen3-Omni(60.4%) 가 뒤를 이었습니다.
• When2Call: GPT-Realtime-1.5가 71.9% 로 가장 잘 수행했으며, Gemini-3.1-Flash-Live는 4 위 (63.4%) 로 떨어졌습니다.
• 텍스트 - 음성 간극: 텍스트에서 음성으로 전환할 때의 성능 저하는 모델에 따라 크게 다릅니다. Confetti 의 경우 간극은 Qwen3-Omni의 1.8 점에서 GPT-Realtime-1.5의 4.8 점까지 다양합니다.

아키텍처 비교 (캐스케이드 vs 오모달)

• Gemini-3.1-Flash-Live: 캐스케이드 아키텍처가 직접 음성보다 약간 더 높은 성능을 보였습니다 (71.3% 대 70.4%). 이는 ASR 과 강력한 텍스트 LLM 의 조합이 성능을 회복할 수 있음을 시사합니다.
• GPT-Realtime-1.5 및 Qwen3-Omni: 직접 음성이 캐스케이드보다 각각 0.4 점과 1.5 점 더 높은 성능을 보였습니다.
• 결론: 어느 아키텍처도 균일하게 우세하지 않으며, 최적의 선택은 모델과 작업에 따라 다릅니다.

오류 분석

• 인수 값: 오디오 유발 오류에서 가장 흔한 실패 양상은 인수 - 값 오류(잘못되거나 불완전한 필드 값)로, Gemini-3.1-Flash-Live의 경우 실패의 57.2%, GPT-Realtime-1.5의 경우 54.3% 를 차지했습니다. 이는 모델이 종종 도구 호출 구조는 유지하지만 음성 콘텐츠를 오해함을 나타냅니다.
• 의사 결정 오류: 30~37% 의 상당한 의사 결정 오류가 관찰되었으며, 이는 오디오 입력이 고수준 도구 사용 결정 (예: 도구 호출 여부) 을 변경함을 나타냅니다.
• When2Call 특성: 모델은 일반적으로 "도구 호출" 사례보다 "비 - 도구 호출" 사례에서 더 어려움을 겪었으며, 이는 언제 행동하지 말아야 하는지 아는 데 어려움을 겪고 있음을 강조합니다.

평가 및 확장

• LLM 심사자: 참조 없는 LLM 심사자는 참조 인식 심사자와 비교하여 안정적인 모델 순위를 보여주었습니다. $\ge$ 8B 파라미터를 가진 오픈소스 Qwen3심사자는 독점 심사자와 80% 이상의 일치를 달성하여 프라이버시 보호 평가를 지원했습니다.
• 텍스트 확장: 텍스트 전용 모드에서 정확도는 모델 크기에 따라 확장됩니다 (예: Qwen3은 0.6B 에서 26.6% 에서 32B 에서 70.7% 로 상승). 작은 텍스트 모델 (예: 8B~14B) 은 경쟁력 있는 캐스케이드 백엔드로 활용될 수 있습니다.
• 모호성 스트레스 테스트: 모호한 쿼리는 상당한 성능 저하를 초래했습니다 (예: Qwen3-Omni는 24.6 점 하락). 이는 오디오와 무관하게 쿼리 형성이 주요 변동 원인임을 시사합니다.

중요성 및 주장

본 논문은 음성 에이전트 배포를 위한 검증 가능하고 재현 가능한 1 단계 진단을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 벤치마크 변환: 골드 레이블이나 스키마를 재구축하지 않고 신뢰할 수 있는 텍스트 벤치마크를 오디오 평가로 변환하는 방법으로, 기업이 독점 데이터를 테스트할 수 있게 합니다.
2. 진단 신호: "텍스트 - 음성" 간극이 오모달 추론의 고정된 속성이 아니라 모델과 작업에 따라 변한다는 증거로, 일반적인 가정 대신 구체적인 진단이 필요함을 시사합니다.
3. 오류 격리: 쌍을 이룬 텍스트 - 오디오 설계는 반사실적 오류 분석을 가능하게 하여, 오디오 실패가 종종 구조적 도구 선택 실패가 아닌 인수 - 값 오해에서 비롯됨을 드러냅니다.
4. 실용적 평가: 골드 레이블이 없는 생산 환경에서 도구 호출을 효과적으로 평가할 수 있는 참조 없는 LLM 심사자 (오픈소스 옵션 포함) 를 검증했습니다.

저자들은 이 프레임워크를 목적에 맞게 구축된 오디오 말뭉치에 대한 보완책으로 위치시키며, 자연어 음성을 배포하기 전에 모달리티 유발 실패를 격리하고 아키텍처 선택 (캐스케이드 vs 오모달) 을 정보화하는 통제된 방법을 제공합니다. 그들은 TTS 오디오가 통제된 대리일 뿐 자발적 인간 대화의 아티팩트를 완전히 포착하지는 못한다는 한계를 인정합니다.