1. 문제 정의 (Problem)

자동 음성 인식 (ASR) 시스템은 일반적인 단어에 대해서는 높은 정확도를 보이지만, 희귀하거나 도메인 특화적인 개체 (Entity) (예: 금융 용어, 의약품명, 항공 관제 호출부호 등) 에 대해서는 성능이 크게 저하됩니다.

• 주요 한계점: ASR 이 개체 단어를 완전히 누락하거나 (deletion), 심하게 왜곡하여 (corruption) 1-Best(가장 확률이 높은 단일 결과) 출력에서 해당 정보가 사라지는 경우, 사후 (Post-ASR) 교정이 매우 어렵습니다.
• 기존 방법의 부족: 컨텍스트 바이어싱 (Contextual Biasing) 은 디코더 내부 접근이 필요하여 블랙박스 ASR 에 적용하기 어렵고, 기존 LLM 기반 교정은 할루시네이션 (허위 정보 생성) 이나 과도한 수정의 위험이 있으며, ASR 출력에 개체가 아예 없으면 복원할 신호 (evidence) 를 얻지 못합니다.

2. 제안 방법론: RECOVER (Methodology)

저자들은 RECOVER라는 새로운 에이전트 기반 (Agentic) 교정 프레임워크를 제안합니다. 이는 ASR 의 다중 가설 (Multi-hypothesis) 을 증거로 활용하고, 제약 조건이 있는 LLM 을 도구로 사용하여 개체 오류를 복구합니다.

핵심 구성 요소

1. 다중 가설 생성 (Multi-Hypothesis Generation):

   • 단일 오디오 입력에 대해 Whisper-small 모델을 사용하여 다양한 온도 (Temperature, $T \in \{0.0, 0.2, \dots, 0.8\}$) 샘플링을 통해 5 개의 서로 다른 전사 (Transcript) 가설을 생성합니다.
   • 하나의 가설에서 누락되거나 왜곡된 개체가 다른 가설에서는 정확히 인식될 수 있는 '상호 보완적 오류'를 포착합니다.

2. 동적 개체 후보 검색 (Dynamic Entity Candidate Retrieval):

   • 모든 개체 리스트를 LLM 에 전달하는 것은 비효율적이므로, 각 오디오 세그먼트에 대해 상위 K 개 (K=200) 의 후보만 동적으로 검색합니다.
   • 점수 함수: 정밀 일치 (Exact match), 퍼지 유사도 (Fuzzy similarity, Levenshtein), 음성학적 일치 (Phonetic prefix) 를 가중치하여 후보를 랭킹합니다.

3. 에이전트 오케스트레이션 (Agentic Orchestration):
   프레임워크는 3 가지 도구를 순차적으로 조율하는 에이전트로 구성됩니다.

   • Tool 1: 가설 융합 (Fuse Hypotheses): 생성된 N 개의 가설을 하나의 텍스트로 통합하는 4 가지 전략을 지원합니다.
     • 1-Best: 단일 가설 사용.
     • Entity-Aware Select: 개체 후보와 정확히 일치하는 개체 수가 가장 많은 가설 선택.
     • ROVER Ensemble: Needleman-Wunsch 정렬을 기반으로 다수결 투표 (Token-level merge) 수행.
     • LLM-Select: LLM 이 모든 가설과 후보를 보고 가장 적합한 베이스 변형을 선택 (및 초기 교정 제안).
   • Tool 2: 교정 제안 (Propose Corrections): 제약 조건이 있는 LLM 프롬프트를 사용하여 개체만 '찾기/바꾸기 (Find/Replace)' 형태로 교정을 제안합니다. (문법, 구두점 등 일반 텍스트 수정 금지).
   • Tool 3: 검증 및 적용 (Verify & Apply): 제안된 교정에 대해 결정론적 가드레일 (Guardrails) 을 적용합니다.
     • 교체어가 개체 리스트에 존재하는지 확인.
     • 대소문자 변경만으로는 무시.
     • 오프셋 (위치) 오류 보정.
     • 원본과 교체어 간의 유사도 임계값 확인 (무관한 치환 방지).
     • 겹치는 교정은 왼쪽에서 오른쪽으로 순차 적용.

3. 주요 기여 (Key Contributions)

• 다중 가설 다양성 활용: 단일 ASR 모델에서 생성된 다중 가설이 개체 교정에 상호 보완적인 증거가 됨을 입증했습니다.
• 에이전트 아키텍처: 분석/융합, 교정 제안, 검증/적용을 분리된 3 개의 도구로 구성하여 모듈화와 안전성을 확보했습니다.
• 제약된 LLM 편집: LLM 이 개체 리스트에 존재하는 단어만 교체할 수 있도록 엄격하게 제한하여 할루시네이션을 방지하고, 다중 검증 단계를 거칩니다.
• 4 가지 교정 전략 비교: 1-Best, Entity-Aware Select, ROVER Ensemble, LLM-Select 전략을 다양한 도메인에서 비교 평가했습니다.

4. 실험 결과 (Results)

다양한 5 개 데이터셋 (금융, 항공 관제, 의료, 일반 음성, 대화) 에서 Whisper-small 과 GPT-4o(및 GPT-4o-mini) 를 사용하여 평가했습니다.

• 성능 향상:
  • 개체 단어 오류율 (E-WER) 감소: 모든 도메인에서 8% ~ 46% 의 상대적 감소 효과를 보였습니다.
  • 개체 재현율 (Recall) 증가: 최대 22% 포인트까지 증가했습니다. 이는 기존 ASR 의 주요 실패 모드인 '개체 삭제'와 '치환'을 효과적으로 해결했음을 의미합니다.
  • 전체 WER 유지: LLM-Select 전략은 개체 교정 성능이 가장 우수하면서도 전체 WER 을 유지하거나 오히려 개선했습니다 (예: Medical 도메인에서 17.23% → 13.93% 개선).
• 전략별 특징:
  • LLM-Select: 가장 일관된 성능을 보였으며, 전체 WER 저하 없이 개체 정확도를 높였습니다.
  • ROVER Ensemble: 삭제 (Deletion) 복구에는 강력하지만, 노이즈가 많은 도메인 (ATCO2 등) 에서 삽입 (Insertion) 오류를 증가시켜 전체 WER 을 악화시킬 수 있었습니다.
  • 1-Best: 다중 가설 없이 단일 가설만 사용해도 제약된 LLM 편집만으로도 상당한 개선 (E-WER 33% 이상 감소) 을 보였습니다.

5. 의의 및 결론 (Significance)

• 블랙박스 ASR 에 대한 실용적 솔루션: 디코더 내부 접근 없이도, 외부에서 생성된 다중 가설과 LLM 을 결합하여 강력한 개체 교정이 가능함을 입증했습니다.
• 안전한 AI 에이전트: LLM 의 창의성을 제한된 개체 리스트와 결정론적 검증 로직으로 통제하여, 실제 산업 환경 (금융, 의료 등) 에서 신뢰할 수 있는 교정 시스템을 구축할 수 있음을 보였습니다.
• 향후 방향: 세그먼트별 적응형 전략 선택, ASR 신뢰도 점수 통합, 멀티 에이전트 아키텍처 확장 등을 통해 발전시킬 수 있습니다.

요약하자면, RECOVER는 ASR 의 개체 인식 오류를 해결하기 위해 다중 가설을 증거로 활용하고, LLM 을 엄격하게 통제된 도구로 사용하여 높은 재현율과 낮은 오류율을 동시에 달성한 혁신적인 사후 교정 프레임워크입니다.