Preference-ASR: A Preference-Aware Test Set for Benchmarking ASR in the Era of Speech LLMs

기술 요약: Preference-ASR

문제 정의
현재의 자동 음성 인식(ASR) 벤치마크는 현대적인 음성 증강 대규모 언어 모델(SpeechLLMs)의 능력을 평가하는 데 한계가 있다. SpeechLLM은 자연어 지시사항을 따라 전사 스타일과 형식을 지정할 수 있지만, 표준 평가는 고정된 인간 주석 참조값과 "일괄적(blanket)" 정규화 파이프라인(예: 소문자 변환, 숫자를 단어로 변환, 기호 제거 등)에 의존한다. 이러한 파이프라인은 사용자가 중요하게 여기는 형식적 차이를 삭제해 버린다. 또한, 기존 테스트 세트(Librispeech, SPGISpeech, Earnings-22 등)는 숫자 형식, 비유창성 처리, 대소문자 표기 방식에 있어 일관되지 않은 주석 관례를 보인다. 결과적으로, 모델 순위는 시스템의 진정한 사용자 선호도 준수 능력이 아니라, 특정 데이터셋의 특이점에 얼마나 잘 부합하는지를 반영하게 된다.

방법론
저자들은 자연어 선호도 지시사항을 따르는 능력을 평가하기 위해 설계된 테스트 세트인 Preference-ASR을 소개한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있다:

1. 데이터셋 구축:

   • 출처: 이 데이터셋은 7개의 오픈 소스 코퍼스(AMI, Common Voice, Earnings-22, GigaSpeech, Libri жеspeech, SPGISpeech, VoxPopuli)로부터 구축되었으며, 초기에는 3,545개의 샘플을 수집하였다.
   • 파이프라인: 인간의 검증을 거친 2단계 LLM 보조 파이프라인이 사용되었다.
     • 1단계: LLM(Qwen3-30B)이 각 샘플을 네 가지 선호 카테기리 중 하나로 분류한다: 정규화(Normalization), 개체명(Entities), 비유창성(Disfluencies), 대소문자(Case).
     • 2단계: LLM은 각 샘플에 대응하는 구체적인 지시사항과 그에 따른 "선호 텍스트(참조값)"를 생성한다.
   • 중복 제거: 우선순위 기반 정렬(정규화 > 개체명 > 비유창성 > 대소문자)을 통해 각 샘플이 단 하나의 카테고리에만 속하도록 보장한다.
   • 최종 출력: 공개된 데이터셋은 3,210개의 고유한 트리플(오디오, 지시사항, 참조값)과 선호 지시사항이 없는 335개의 베이스라인 샘플을 포함한다.

2. 선호 카테고리:

   • 정규화(Normalization): 숫자 처리(숫자 표기 vs 단어 표기), 기호(통화/수학 기호 vs 언어적 표현), 웹사이트 링크 처리를 테스트한다.
   • 개체명(Entities): 특정 명명된 개체(기업명, 약물명 등)의 인식을 테스트하며, 오디오에 존재하지 않는 가짜 양성(false-positive) 개체명을 지시사항에 포함함으로써 "환각(confabulation)"을 측정한다.
   • 비유창성(Disfluencies): 지시사항에 따라 필러 단어(um, uh), 반복, 오류 시작(false starts), 문법적 오류를 유지하거나 제거하는 능력을 테스트한다.
   • 대소문자(Case): 소문자 전용 규칙 또는 적절한 문장 부호 및 대문자 표기 규칙 준수 여부를 테스트한다.

3. 선호 인지형 정규화 도구(Preference-Aware Normalizer):
   준수 여부를 공정하게 평가하기 위해, 저자들은 활성화된 지시사항과 일치하는 정규화 단계를 선택적으로 건너뛰는 커스텀 정규화 도구를 제안한다. 예를 들어, 지시사항이 쓰기 형식의 숫자(ITN)를 요청하는 경우, 정규화 도구는 모델의 숫자 출력을 단어로 변환하지 않음으로써 올바른 동작이 페널티를 받는 것을 방지한다.

실험 설정
본 연구는 네 가지 모델을 벤치마킹한다:

• Parakeet-TDT-0.6B-v3: 전통적인 비-LLM 베이스라인 (지시사항 입력 없음).
• Canary-Qwen-2.5B: 선호도 튜닝 없이 표준 ASR 쌍으로 학습된, Qwen 2.5 LLM 백엔드를 가진 하이브리드 모델.
• Phi-4-Multimodal: 음성, 시각, 텍스트를 통합한 5.6B 모델.
• Qwen3-Omni-30B: 컨텍스트 바이어싱(contextual biasing)으로 학습된 네이티브 멀티모달 모델.

모델들은 두 가지 설정 하에 평가되었다: 기본(Default) (표준 프롬프트) 및 지시형(Instructed) (선호 지시사항이 추가된 형태). 성능은 표준 WER(전체 정규화 적용)과 선호 인지형 WER(선택적 정규화 적용)을 모두 사용하여 측정되었다.

주요 결과

• 순위 변화: 모델 순위는 선호 유형에 따라 크게 변하며, 이는 표준 평가에서는 가려지는 현상이다. 예를 들어, Qwen3-Omni는 지시를 받았을 때 정규화 및 비유창성 준수에서 타 모델보다 우수한 성능을 보이지만, 표준 평가 환경에서는 이러한 차이가 가려져 성능이 낮게 나타난다.
• 지시사항 민감도:
  • Qwen3-Omni는 포맷팅(정규화, 대소문자, 비유창성)에 대해서는 강한 준수 능력을 보이지만, 개체명 환각(entity hallucination) 현상을 보인다. 즉, 오디오에 존재하지 않는 개체명을 프롬프트에서 가져와 삽입한다(개체명 카테고리에서 WER이 5.12%에서 12.85%로 급증).
  • Canary-Qwen은 모든 카테고리에서 지시사항에 대한 민감도가 매우 낮게 나타났다. 이는 LLM 백본만으로는 선호도 정렬 학습(preference-specific alignment training) 없이는 지시 준수 ASR이 불가능함을 시사한다.
  • Phi-4는 지시를 받았을 때 비유창성에 대해서는 강한 준수 능력을 보였으나, 대소문자 지시사항에 대해서는 크게 실패하여 카테데고리별로 지시 준수 능력이 다름을 보여주었다.
• 프롬프트 민감도: 일반적인 프롬프트(선호 지시어가 없는 경우)의 미세한 재구성만으로도 SpeechLLM(예: Phi-4)의 WER에 측정 가능한 변화가 발생하였으며, 이는 이들의 프롬프트 문구에 대한 민감도를 강조한다.

의의 및 주장
본 논문은 Preference-ASR이 명시적인 인간 지정 포맷팅 지시사항에 따라 그라운드 트루스(ground truth)를 조건화한 최초의 테스트 세트이며, 이를 통해 기존 벤치마크가 놓치는 품질 차이를 드러낸다고 주장한다. 저자들은 SpeechLLM이 진화함에 따라, 평가 방식이 고정된 참조값을 넘어 직접적인 지시 준수 능력을 테스트하는 방향으로 나아가야 한다고 주장한다. 결과는 중요한 트레이드오프를 보여준다: 모델은 포맷팅 지시를 따를 수는 있지만, 텍스트 프롬프트의 맥락과 음향적 증거 사이의 균형을 잡는 데 어려움을 겪으며, 이는 개체명 인식에서의 환각으로 이어진다. 저자들은 현재의 벤치마크가 SpeechLLM 시대에는 불충분하며, 향후 연구는 다중 화자 선호도 및 다국어 설정을 다루어야 한다고 결론짓는다.

한계점
저자들은 본 데이터셋이 영어 전용이며, 아직 다중 화자 선호도를 다루지 못하고, 특히 텍스트만으로는 음향적 맥락을 완전히 추론할 수 없는 정규화 작업에서 LLM 생성 텍스트에 대한 수동 검증이 필요했다는 점을 인정한다.