HALAS: A Human-Annotated Dataset of Hallucinations of Modern ASR Systems

기술 요약: HALAS – 현대적 ASR 시스템의 환각 현상에 대한 인간 주석 데이터셋

문제 정의
엔드 투 엔드(end-to-end) 자동 음성 인식(ASR) 시스템은 실제 오디오와 일치하지 않는 텍스트를 생성하는 "환각(hallucinations)" 현상을 일으키기 쉽습니다. 기존의 완화 및 탐지 방법들은 주로 비음성 오디오나 인위적으로 손상된 데이터셋을 대상으로 평가되어 왔으나, 실제 음성에서 자연스럽게 발생하는 환각을 기반으로 한 엄격한 벤치마크는 부족한 실정입니다. 참조 기반 검증이나 비참조 프록시 지표에 의존하는 현재의 탐지 방식들은 가공되지 않은 음성 내의 인간 주석 환각에 대해 충분히 테스트되지 않았으며, 이는 실질적인 적용 가능성을 제한합니다.

방법론
저자들은 자연적으로 발생하는 환각에 대한 최초의 인간 주석 데이터셋인 HALAS(Hallucination Annotations for Large-scale ASR Systems)를 소개합니다. 데이터셋 생성 과정은 다음 단계로 진행되었습니다:

1. 데이터 소스: 저자들은 27개국에서 수집된 119시간 분량의 영어 실적 발표(earnings call) 녹음본인 Earnings 22 (E22) 데이터셋을 활용했습니다.
2. 모델 선정: Open ASR 리더보드에서의 성능을 기준으로 7개의 최첨단(SOTA) ASR 모델을 선정했습니다. OpenAI의 Whisper 4종(large v3, large v3 Turbo, large v2, 그리고 미세 조정된 Crisper Whisper)과 Nvidia Nemo 모델 3종(Canary-1B, Canary-1B-Flash, Parakeet-TDT v2)이 포함되었습니다.
3. 후보 선정: 환각의 빈도를 극대화하기 위해, 저자들은 **모델 간 단어 오류율(inter-model WER)**을 오디오 난이도의 대리 지표(proxy)로 사용했습니다. 모델들이 서로 현저히 다른 전사 결과를 생성하는 오디오 세그먼트를 우선적으로 선정했습니다. 전처리 과정에서는 "들리지 않음(inaudible)" 또는 "외국어(foreign language)"로 표시된 파일을 제거하고, 지표 계산을 위해 반복적인 루핑(looping)을 제거하도록 예측값을 정규화했습니다.
4. 인간 주석 작업: 10명의 전문 주석가(영어 B2+ 수준)가 데이터를 레이블링했습니다. 결정적으로, 주석 작업은 E22 데이터셋에서 제공하는 참조 전사본(자주 부정확한 것으로 발견됨)이 아닌, 오디오 녹음과 ASR 예측값을 직접 비교하여 수행되었습니다. 주석가는 특정 구간을 "환각(Hallucination)", "루핑(Looping)", 또는 "루핑 환각(Looping Hallucination)"으로 표시했습니다. 제3의 주석가가 의견 불일치를 해결하는 중재자 역할을 수행하였으며, 그 결과 높은 초기 일치도(Cohen's kappa = 0.87)를 기록했습니다.
5. 데이터셋 구조: 최종 데이터셋은 7개 모델에 대한 구간 단위(span-level) 레이블을 포함한 3,611개의 오디오 파일로 구성됩니다. 데이터셋은 출처 회의, WER, 지속 시간에 따라 층화(stratified)되어 훈련 세트(2,866개 파일, 환각률 33.6%)와 테스트 세트(745개 파일, 환각률 22.6%)로 나뉩니다.

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

1. HALAS 데이터셋: 실제 음성에서 발생하는 7개 SOTA ASR 모델의 인간 레이블 환각을 담은, 구간 단위의 정밀도를 제공하는 최초의 공개 가능한 신규 데이터셋입니다.
2. 경험적 분석: 실제 데이터 상의 SOTA ASR 모델 내 환각 패턴에 대한 최초의 종합적인 분석을 통해, 강력한 교차 모델 어휘 중첩과 낮은 WER 상황에서도 환각이 발생함을 밝혔습니다.
3. 벤치마킹 프레임워크: 인위적이거나 비음성 평가를 넘어, 자연적으로 발생하는 인간 주석 오류에 대해 환각 탐지 방법을 평가하기 위한 엄격한 벤치마크를 제공합니다.

결과 및 분석

• 환각 패턴: 7개 모델 모두 환각을 보였으며, 발생률은 21.4%에서 43.8% 사이였습니다. 분석 결과, 환각은 빈번하게 등장하는 특정 구절(예: "you", "thank you", "okay")에 크게 치우쳐 있었습니다. 평균적으로 표시된 환각의 55%가 특정 모델의 상위 10개 구절에 해당했습니다.
• 교차 모델 유사성: Jensen-Shannon 유사도 점수는 모델 간, 특히 Whisper 변형 모델들 사이에서 환각 구절의 분포적 중첩이 강함을 나타냈습니다.
• 심각도 평가: LLM(GPT-4o mini)을 사용하여 심각도를 분류한 결과, 환각은 흔히 이분법적임을 발견했습니다. 즉, 무해한 채움말(benign fillers, 경미함)이거나 주요 의미적 단절(major semantic disruptions, 심각함)인 경우가 많았으며, "중간(moderate)" 수준의 오류는 드물었습니다. Parakeet 및 Crisper Whisper 모델은 사소한 삽입 경향을 보였고, Canary 및 Whisper v2는 더 높은 비율의 심각한 오류를 보였습니다.
• 탐지 성능:
  • 프록시 지표: 표준 지표인 WER과 Perplexity는 환각이 매우 유창하고 간결하게 나타나기 때문에 제한적인 효용성(ROC-AUC ~0.60–0.72)을 보였습니다. 의미론적 지표(BERTScore, SeMaScore)와 문자 오류율(CER)은 더 우수한 성능을 보이며 약 0.81의 ROC-AUC에 도달했습니다.
  • SOTA 방법론: 참조 없는 디코더 임베딩(DE) 분류기가 LLM 기반 참조 방식보다 우수한 성능을 보였습니다. 가장 우수한 탐지기(레이어 2, 13, 23을 사용하는 다층 DE 분류기)는 HALAS 테스트 세트에서 **F1 스코어 56.1%**를 달려 달성했습니다. 반면, LLM(GPT-4o mini, Gemini 2.0 Flash)은 낮은 정밀도 또는 낮은 재현율로 인해 약 41%의 F1 스코어를 기록했습니다.
  • 일반화: HALAS로 학습된 탐지기는 서로 다른 ASR 아키텍처(OWN vs. OTHER 학습 체계) 간의 일반화 능력을 보여주었으며, 비음성 영역의 도메인 외(out-of-domain) 데이터에서도 더 나은 성능을 보였습니다. 이는 HALSA가 근본적인 오류 패턴을 포착하고 있음을 시사합니다.

의의
본 논문은 HALAS를 환각 탐지 및 완화를 위한 최초의 엄격한 비인위적 벤치마크로 확립합니다. 저자들은 현재의 최첨단 탐지 방법(F1 ~53–56%)의 완만한 성능을 근거로, 자연스러운 음성에서의 환각 탐지 문제가 기존의 인위적 데이터셋에서 보여준 것보다 훨씬 더 도전적임을 주장합니다. 이 데이터셋은 참조 텍스트 없이도 환각을 식별할 수 있는 탐지기 개발을 가능하게 하며, 이는 참조 전사본을 사용할 수 없는 실제 배포 환경에서 핵심적인 역량입니다.