Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition

기술 요약: 강건한 코드 스위칭 음성 인식을 위한 LLM 생성 근접 오답(Near-Misses) 기반 대조 학습

문제 정의
자동 음성 인식(ASR) 시스템은 화자가 단일 발화 내에서 언어를 교체하여 사용하는 코드 스위칭(CS) 상황에서 어려움을 겪는다. 표준 미세 조정(fine-tuning)은 전체적인 오류율을 낮추기는 하지만, 인식 오류는 임베디드 언어 단어 및 전환 경계 주변부와 같은 CS 핵심 영역에 불균형적으로 집중되어 있다. 기존 방식들은 이러한 혼동하기 쉬운 구간을 타겟팅하는 명시적인 신호가 부족하며, 표준 목적 함수는 정답 전사(ground-truth transcription)와 음향적으로는 그럴듯하지만 틀린 대안인 "근접 오답(near-misses)"을 구분하지 못한다.

방법론
저자들은 CS-NMG(Code-Switching Near-Miss Generation)라고 불리는 파이프라인을 중심으로 한 관심 지점(Point-of-Interest, POI) 인지 대조 학습 프레임워크를 제안한다. 이 방법론은 세 가지 주요 단계로 구성된다:

1. POI 식별 및 근접 오답 생성:

   • POI 탐지: 시스템은 참조 전사문에서 CS 구간(임베디드 언어 세그먼트)과 그 직후의 전환 경계 주변부를 식별한다.
   • 후보 구축: POI만을 변형하여 근접 오답 가설을 구축한다. 여기에는 다음 과정이 포함된다:
     • 고정된 시드 ASR 모델로부터 N-best 가설을 추출한다.
     • 외부 거대언어모델(LLM)을 사용하여 추가적인 POI 교체 후보를 생성한다. 이때 문장 구조는 유지하면서 POI에 국한된 음성적 혼동을 유도한다.
   • 3단계 필터링: 생성된 근접 오답이 "어렵지만 그럴듯하도록" 하기 위해 세 가지 제약 조건을 사용하는 필터링 게이트를 적용한다:
     • 음향적(Acoustic): 근접 오답이 최상위 N-best 가설과 유사한 로그 확률 점수를 가져야 한다.
     • 음성적(Phonetic): 교체된 단어가 원래 단어와 음성적으로 유사해야 한다(음소 시퀀스의 레벤슈타인 거리로 측정).
     • 텍스트적(Textual): 교체된 단어가 도전적인 부정 사례(negative)가 될 수 있도록 표층 형태(surface form) 면에서 충분히 달라야 한다.

2. 대조 정렬 학습:

   • ASR 모델(LoRA로 미세 조정된 Whisper-small)은 이중 목적 함수 손실을 사용하여 최적화된다:
     • 앵커 목적 함수(Anchor Objective): POI 구간 내의 토큰에 가중치를 부여하는 POI 가중 크로스 엔트로피(W・WCE) 손실.
     • 대조 랭킹 손실(Contrastive Ranking Loss): 선택된 어려운 부정 사례(hard negative)들보다 정답 전사의 순위를 명시적으로 높게 책정하는 InfoNCE 스타일의 손실. 이는 모델이 음향적으로 그럴듯하지만 틀린 전사 대신 올바른 CS 용어를 선호하도록 유도한다.

3. 평가 지표:

   • 성능은 표준 단어 오류율(WER)과, 식별된 CS 구간 내에서 발생하는 오류만을 분리하여 측정하는 **관심 지점 오류율(Point-of-Interest Error Rate, PIER)**을 사용하여 측정된다.

주요 기여

• CS-NMG 파이프라인: N-best 리스트를 시드로 삼고 LLM에 의해 확장되어, 음향적 타당성을 유지하면서도 타겟팅된 혼동을 유도하는 음향 인지형 근접 오답 생성 메커즘.
• 대조 학습 목적 함수: POI 가중 크로스 엔트로피와 다중 부정 대조 랭킹을 결합한 새로운 학습 전략. 단순한 토큰 재가중치 부여와 달리, 이 방식은 그럴듯한 대안보다 참조 전사의 순위를 높임으로써 공통적인 POI 혼동을 명시적으로 분리해낸다.
• 실증적 검증: 제안된 프레임워크는 일반 및 도메인 특화 코드 스위칭 벤치마크 모두에서 강력한 베이스라인(표준 미세 조정, WCE 및 시퀀스 수준 MWER 포함)보다 일관된 개선을 보여준다.

실험 결과
본 방법론은 두 가지 벤치마크인 CS-FLEURS(Mandarin-English)와 ViMedCSS(Vietnamese-English, 의료 도메인)에서 평가되었다.

• 성능 향상: 전체 모델(3단계 필터를 적용한 WCE + 대조 손실)은 두 데이터셋 모두에서 가장 낮은 오류율을 달了.
  • CS-FLEURS에서, 이 모델은 WER을 14.06%, PIER를 **15.10%**로 낮추었으며, 이는 가장 우수한 베이스라인인 MWER(WER 15.75%, PIER 16.41%)을 능가하는 수치이다.
  • ViMedCSS에서, 이 모델은 WER을 21.87%, PIER를 **18.74%**로 낮추었으며, 이는 베이스라인 MWER(WER 23.82%, PIER 20.84%)보다 우수하다.
• 절제 연구(Ablation) 통찰:
  • 단순히 POI 토큰의 가중치를 높이는 것(WCE)은 미미한 개선만을 보였다.
  • LLM 확장을 필터링 없이 단독으로 사용할 경우, 부정 사례의 수는 증가했으나 성능이 일관되게 향상되지는 않았으며, 때로는 WER이나 PIER를 악화시키기도 했다.
  • 3단계 필터(음향 + 음성 + 텍스트)가 결정적이었다. 이는 더 적지만 품질이 높은 부정 사례 세트(발화당 약 3.8개)를 선택하여 최상의 결과를 이끌어냈다. 이는 효과적인 대조 학습을 위해 부정 사례가 음향적으로 그럴듯하고, 음성적으로 유사하면서도, 텍스트적으로는 구별되어야 함을 확인시켜 주었다.

의의 및 주장
본 논문은 CS 오류의 주요 원인이 모델이 올바른 임베디드 용어와 음향적으로 유사한 대안 사이를 구별하지 못하는 능력에 있다고 주장한다. POI 국소 근접 오답에 초점을 맞춘 대조 랭킹 목적 함수로 전환함으로써, 제안된 프레임워크는 더욱 정보가 풍부한 학습 신호를 제공한다.

저자들은 본 방식이 추론 시 별도의 보조 모듈을 필요로 하지 않고 표준 ASR 전용 디코딩 프로세스를 유지하면서도 CS 영역에서의 강건성을 개선한다는 점을 강조한다. 또한, 오프라인 데이터 생성을 위한 외부 LLM API 의존도와 현재 두 개의 언어 쌍 및 단일 백본으로 제한된 범위를 한계점으로 인정하며, 향arian 오픈 소스 후보 확장 및 더 넓은 언어 커버리지를 위한 후속 연구를 제시한다.