기술 요약: 텍스트 지표에서 모델 내부 구조로: Whisper ASR 환각 탐지에 관한 연구

문제 정의

자동 음성 인식(ASR) 환각(audio 입력에 근거 없이 생성된 유창한 전사 내용)은 다운스트림 애플리케이션에 잠재적으로 공격적이거나, 고정관념을 담거나, 사실과 다른 내용을 주입할 수 있어 상당한 위험을 초래합니다. WER(Word Error Rate) 및 시맨틱 거리(예: BERTScore, SeMaScore)와 같은 전통적인 오류 지표는 일반적인 성능 대리 지표 역할을 하지만, 특히 정답(ground-truth) 참조 텍스트가 없는 상황에서 환각을 다른 유형의 오류와 구별하기에는 불충분합니다. 기존의 탐지 방법들은 종종 오라클(oracle) 설정(참조 텍스트 필요)이나 합성 데이터에 의존하며, 이는 실제 발화 환경을 위한 견고한 레퍼런스 프리(reference-free) 탐지 사이의 공백을 남깁니다. 본 연구는 인간이 주석을 단 실제 음성 데이터를 사용하여 Whisper large v3 모델의 환각을 탐지하는 과제를 다루며, 텍스트 기반 지표, LLM 프롬프팅, 그리고 내부 디코더 상태 프로빙(probing)이라는 세 가지 뚜렷한 패러다임을 평가합니다.

방법론

본 연구는 Earnings-22 오디오 데이터에 대한 7개 ASR 모델의 예측값에 대해 인간이 주석을 단 환각 레이블을 포함하는 HALAS 데이터셋을 활용합니다. 연구는 Whisper large v3 모델에 집중하며, 이 모델에서는 약 23.8%의 발화가 환각으로 표시되었습니다. 평가는 ROC AUC, F1 점수, 정밀도(precision), 재현율(recall)을 주요 지표로 사용하여 환각 비율과 오디오 길이에 따라 층화된 5-겹 교차 검증(5-fold cross-validation)을 수행합니다.

조사는 다음 세 가지 탐지 프레임워크를 통해 진행됩니다:

1. 텍스트 기반 탐지:

   • 오라클 특징(Oracle Features): WER, CER, IER, LenR, BERTScore, SeMaScore, 그리고 CHP(Common Hallucinated Phrase) 탐지기를 포함하여 정답(ground truth)을 필요로 하는 지표들입니다.
   • 레퍼런스 프리 특징(Reference-Free Features): 예측값 자체로만 작동하는 지표들로, 5-gram 반복률(Rep), 불용어 비율(StopW), GPT-2 Perplexity(PPL), 초당 글자 수(CPS), wav2vec 강제 정렬 신뢰도(Align), 그리고 Naive CHP 탐지기를 포함합니다.
   • 분류기: 이러한 특징들을 학습시키기 위해 로지스틱 회귀(Logistic Regression), 랜덤 포레스트(Random Forest), XGBoost를 사용했습니다.

2. LLM 기반 탐지:

   • GPT-4o mini와 Gemini 2.0/3.0 Flash를 사용하여 제로샷(zero-shot) 베이스라인을 구축했습니다.
   • 이 접근 방식은 추론 모델 업그레이드, 도메인 특화 병리 지식(Whisper의 비음성 환각 목록) 주입, 퓨샷(few-shot) 예시 추가, 엄격한 레퍼런스 프리 설정을 위한 프롬프트 적응을 통해 반복적으로 개선되었습니다.

3. 내부 상태 프로빙(Internal State Probing):

   • Whisper의 내장 신뢰도 휴리스틱(평균 로그 확률, 압축률, 무음 확률)을 사용한 초기 시도는 효과적이지 않았습니다.
   • 대신 연구는 **중간 디코더 표현(intermediate decoder representations)**을 조사했습니다. 32개의 디코더 레이어 전체에 걸쳐 Self-Attention (SA), Cross-Attention (CA), 그리고 최종 출력 (D) 레이어로부터 임베딩을 추출했습니다.
   • 가변적인 시퀀스 길이를 처리하기 위해 시퀀스와 그 델타(step-by-step 차이)에 평균 풀링(mean-pooling)과 최대 풀링(max-pooling)을 적용했습니다.
   • 이 순차적 임베딩을 사용하여 환각을 탐지하도록 양방향 LSTM(BLSTM) 분류기를 학습시켰습니다.

4. 후기 융합(Late Fusion):

   • 가장 성능이 좋은 텍스트 기반(XGBoost) 탐지기와 내부 상태(BLSTM) 탐지기, 그리고 오디오 길이를 특징으로 결합하여 메타 분류기(로지스틱 회귀)를 구축했습니다.

주요 결과

텍스트 기반 탐지

• 오라클 vs. 레퍼런스 프리: 오라클 지표는 강력한 성능을 달성했습니다(예: BERTScore AUC: 82.3%, XGBoost F1: 62.8%). 그러나 레퍼런스 프리 텍스트 특징만으로는 성능이 심각하게 저하되었습니다. 가장 우수한 레퍼런스 프리 XGBoost 모델은 F1이 37.7%로 떨어졌으며, 재현율의 급격한 붕괴(로지스틱 회귀의 경우 15.5%)를 보였습니다. 이는 텍스트 기반 탐지가 정답 앵커에 크게 의존함을 나타냅니다.
• 특징 중요도: 트리 기반 앙상블(XGBoost)이 선형 베이스라인을 크게 능가했으며, 이는 환각 탐지가 특징 간의 비선형 상호작 작용으로부터 이득을 얻음을 확인시켜 줍니다.

LLM 기반 탐지

• 성능: 기본 상태의 LLM은 어려움을 겪었습니다(F1 ~41%). 프롬프트 엔지니어링(도메인 지식, 퓨샷 예시)을 통해 성능을 F1 58.7%까지 개선했지만, 막대한 계산 오버헤드에도 불구하고 LLM은 경량 XGBoost 텍스트 분류기(F1 62.8%)를 능가하지 못했습니다.
• 레퍼런스 프리 한계: 엄격한 레퍼런스 프리 설정에서 LLM 성능은 F1 32.8%로 붕괴되었으며, 이는 텍�스트 전용 방법에서 나타난 저하와 유사한 양상을 보였습니다.

내부 상태 프로빙

• 레이어 분석: 환각 신호는 단일 레이어나 최종 EOS 토큰에 국한되지 않고 중간 레이어 전반에 걸쳐 인코딩되어 있음이 발견되었습니다. 델타의 평균 풀링을 적용한 레이어 15가 선형 프로브 중 가장 높은 AUC(82%)를 달성했습니다.
• BLSTM 성능: 최종 출력 (D) 레이어의 전체 디코딩 시퀀스를 활용한 BLSTM 분류기는 **AUC 87.6%와 F1 점수 65.5%**를 달성했습니다.
• 의의: 이는 본 연구에서 가장 강력한 레퍼런스 프리 성능를 나타내며, 정답 텍스트 없이도 최고의 텍스트 특징 모델(F1 62.8%)을 능가했습니다.

교차 패러다임 융합

• 상보성: 각 패러다임은 부분적으로 겹치지 않는 신호를 포착했습니다(일치도 0.64–0.73). 텍스트 분류기는 재현율(0.73)을 극대화했지만 정밀도에서 어려움을 겪은 반면, 내부 상태 탐지기는 가장 균형 잡힌 성능을 제공했습니다.
• 융합 결과: 텍스트와 내부 상태 확률을 결합한 후기 융합 메타 분류기가 **최고의 종합 성능인 F1 점수 68.3%와 AUC 90.0%**를 달성했습니다.
• 한계: 융합은 지표를 개선했지만, 텍스트 구성 요소가 정답을 필요로 하기 때문에 내부 상태 탐지기 단독이 가진 "레퍼런스 프리" 능력을 상실하게 됩니다.

의의 및 주장

본 논문은 텍스트 기반 및 LLM 기반 방법이 오라클 설정에서는 효과적이지만, 정답 앵커가 없는 제로샷 배포 상황에서는 근본적인 제약을 받는다고 주장합니다. 주요 기여는 Whisper 디코더의 내부 상태를 프로빙하는 것이 매우 경쟁력 있는 레퍼런스 프리 솔루션을 제공한다는 것을 입증한 데 있습니다.

연구는 환각 특성이 최종 출력뿐만 아니라 중간 디코딩 레이어 전반에 걸쳐 체계적으로 인코딩된다는 점을 강조합니다. 이러한 내부 상태에 BLSTM을 적용함으로써 저자들은 정답 텍스트 없이도 견고한 탐지를 달려냈습니다. 또한, 본 연구는 텍s트와 내부 상태 신호의 상보적 성격을 활용하여 성능을 극대화할 수 있는 후기 융합 접근 방식이 유효함을 입증하였으나, 이는 정답 데이터를 필요로 한다는 비용이 따릅니다.

저자들은 내부 상태 프로빙이 다른 자기회귀 인코더-디코더 모델에도 적용 가능한, 실세계 ASR 환각 탐지를 위한 유망한 경로임을 결론지으며, 이를 다른 아키텍처로 확장하고 환각 탐지를 위한 특화된 경량 LLM을 개발하는 것이 중요한 향후 연구 방향임을 명시했습니다.