기술 요약: 잠재 변수로서의 전사 정책 (Transcription Policy as a Latent Variable)

1. 문제 정의

현재의 대규모 자동 음성 인식(ASR) 시스템은 전사 정책(transcription policy)—즉, 구어체적 특징(비유창성, 채움말, 반복, 파라-언어적 소리 등)을 포함한 축자적(verbatim) 텍스트를 출력할 것인지, 아니면 의도된(intended) 텍스트(정제되고 유창한 내용)를 출력할 것인지에 대한 결정—을 통제되지 않는 잠재 변수로 취급합니다. 이러한 모호성은 모델이 명시적인 제어 신호 없이 이질적으로 주석이 달린 데이터로 학습되기 때문에 발생합니다.

저자들은 이러한 모호함으로 인해 발생하는 세 가지 주요 결과를 식별했습니다:

1. 디코딩 불안정성 (Decoding Instability): 비유창한 음성에서 빔 서치(beam search)는 동일한 오디오에 대해 현저히 다른 전사 결과를 생성합니다(중앙값 문자 수준 빔 발산 ~15%). 이는 모델이 경쟁하는 전사 전략 중 하나를 선택할 수 있는 신호가 부족하기 때문입니다.
2. 평가 혼선 (Evaluation Confounding): 표준 단어 오류율(WER)은 내용 오류와 스타일 차이를 혼동합니다. 저자들은 대화형 벤치마크(예: AMI)에서 보고된 **WER의 최대 60%**가 실제 인식 실패가 아닌 스타일 불일치를 반영한다는 것을 입증했습니다.
3. 불분명한 타이밍 (Ill-Defined Timing): 모델이 단어 반복을 출력할지 혹은 채움말을 출력할지를 일관성 없게 결정하면, 해당 시간 영역의 크로스 어텐션(cross-attention) 분포는 안정적인 타겟을 갖지 못하게 되어, 단어 단위 타임스탬프가 개념적으로 정의되지 않거나 실질적으로 부정확해집니다.

2. 방법론

저자들은 핵심 과제가 능력의 습득(acquisition)이 아니라 **능력의 제어(control)**라고 주장하며, 사전 학습된 모델이 이미 두 가지 스타일을 모두 인코딩하고 있지만 이를 명시적으로 활성화할 방법이 필요하다고 제안합니다. 이들은 OpenAI Whisper-medium 아키텍처를 기반으로, 이러한 잠재 능력을 모호함 없이 활성화하기 위한 세 가지 상호 보완적인 메커니즘을 도입합니다.

A. 모드 태그를 통한 명시적 스타일 제어

저자들은 전사 정책을 '축자적(verbatim)' 모드와 '의도된(intended)' 모드 사이의 이진 선택으로 매개변수화하기 위해 이산적인 **디코더 접두사 토큰(decoder-prefix tokens, 모드 태그)**을 도입합니다.

• 설계: 이들은 어휘를 확장하여 비유창성 제어를 위한 [verbatim 1..3], 파라-언어적 사건을 위한 [sound 1,2], 그리고 정제된 출력을 위한 [intended 1..5]와 같은 특정 토큰을 추가했습니다.
• 커버리지 인식 분할 (Coverage-Aware Partitioning): 이질적인 주석 품질(예: 비유창성 레이블은 있으나 소리 레이블은 없는 코퍼스)을 처리하기 위해 태그를 분할했습니다. 학습 중에 샘플은 주석 범위와 일치하는 태그만 부여받습니다. 이는 모델이 주석이 달리지 않은 레이블에 대해 벌칙을 받는 등 모순된 그래디언트를 학습하는 것을 방지합니다.
• 학습 전략: 동일한 오디오가 접두사 태그에 의해 구분되어 두 가지 정책 하에서 모두 학습됩니다. 이를 통해 인코더는 모든 가용 콘텐츠(단어, 비유창성, 소리)를 표현하도록 학습하되, 태그가 방출 정책을 결정하도록 합니다.

B. 단어 수준 타이밍을 위한 지도 크로스 어텐션 (Supervised Cross-Attention)

모드 태그를 통해 출력 토큰 시퀀스가 안정화되면, 저자들은 타이밍을 개선하기 위해 지도 크로스 어텐션을 적용합니다.

• 목표: 창발적이고 비지도적인 정렬에 의존하는 대신, 강제 정렬(forced alignment)에서 유도된 단어 경계 타겟을 사용하여 선택된 크로스 어텐션 헤드를 직접 지도합니다.
• 손실 함수: 선택된 헤드의 평균 어텐션 분포와 단어의 시간 범위를 나타내는 이진 정답 벡터 사이의 평균 코사인 거리를 최소화합니다.
• 추론: 토크나이저의 공백 병합 문제를 처리하기 위해, 에너지 기반 휴지(pause) 모델을 사용하여 어텐션과 휴지 탐지를 분리하고, Viterbi 정렬 전에 어텐션 분포에 온도 스케일링(샤프닝)을 적용합니다.

C. Verbatimize: 전사 조건부 비유창성 복구

저자들은 의도된 전사로부터 축자적 전사를 확장 가능하게 생성할 수 있는 Verbatimize라는 새로운 작업을 도입합니다.

• 메커니즘: 오디오 파일과 의도된 전사(프롬프트로 사용)가 주어졌을 때, 모델은 표준 축자적(canonical verbatim) 버전을 재구성합니다. 모델은 프롬프트된 내용을 정확히 복사하면서, 그 시간적 위치에 음향적으로 근거한 비유창성(채움말, 반복, 끊김, 소리 등)을 삽ert합니다.
• 학습: 이는 프롬프트의 내용 단어를 무작위로 대문자로 변환하여, 모델이 정확한 철자를 위해 프롬프트를 참조하는 동시에 비유창성 위치 파악을 위해 오디오에 집중하도록 강제하는 "케이스 섭동(casing perturbation)" 기법을 포함합니다.

3. 주요 결과

잠재 능력 및 교차 언어 전이

• 제로샷 활성화 (Zero-Shot Activation): 모드 태그 임베딩만을 학습하고(764M 파라미터의 인코더와 디코더를 동결), 독일어 비유창성 이벤트 F1을 독일어 축자적 학습 데이터 없이도 10%에서 79%로 높였습니다.
• 전체 미세 조정 (Full Fine-Tuning): 영어 전용 전체 미세 조정(FT0)은 독일어에서 93.8%, 영어에서 **90.7%**의 비유창성 이벤트 F1을 달성했습니다.
• 정책 제어: 미세 조정된 모델에서 모드 태그를 제거하면 독일어 F1이 60.1%로 떨어졌으며, 이는 명시적인 정책 신호가 교차 언어 전이와 안정성에 매우 중요하다는 것을 보여줍니다.
• 의도된 품질: 모드 태그는 인식 정확도를 해치지 않으면서(치환 및 삭제율은 안정적 유지) 비유창성이 의도된 출력으로 새어 들어가는 현상(삽입율이 약 15%에서 ~3-4%로 감소)을 성공적으로 억제했습니다.

단어 수준 타이밍

• 성능: 지도 크로스 어텐션 방식은 낭독 음성(TIMIT)에서 36 ms, 비유창한 음성(FluencyBank)에서 102 ms의 평균 절대 오차(MAE)를 달성했습니다.
• 비교: 이는 강제 정렬 베이스라인(예: MFA는 비유창한 음성에서 142 ms로 저하되며, WhisperX는 200 ms에 도달함)보다 우수한 성능을 보입니다. 또한 이 방법은 독일어 타이밍 감독 없이도 독일어(MAE 55 ms)로 일반화되었습니다.

Verbatimize

• 희귀 단어 복구: 희귀 단어 평가 세트에서 Verbatimize는 희귀 단어 재현율(RWR)을 (음향 전용 전사 시 **6.8%**에서) **96.1%**로 향상시켰으며, 콘텐츠 손실률(CLR)은 1.3%에 불과했습니다. 이는 모델이 프롬프트된 내용을 충실히 복사하면서 비유창성을 추가할 수 있음을 확인시켜 줍니다.

4. 의의 및 주장

본 논문은 현대 ASR에서 전사 스타일이 통제되지 않는 잠재 변수이며, 이것이 측정 가능한 불안정성과 평가 오류를 야기한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

1. 잠재 능력의 입증: 대규모 모델이 이미 축자적 또는 의도된 텍스트를 전사할 수 있는 능력을 이미 갖추고 있으며, 새로운 기술을 처음부터 배우는 것이 아니라 명시적인 인터페이스(모드 태그)를 통해 이를 활성화하기만 하면 된다는 점을 보여주었습니다.
2. 평가 모호성 해결: 내용 오류와 스타일 불일치를 분리하는 프레임워크를 제공하여, 대화형 ASR에 대한 더 공정한 평가를 가능하게 합니다.
3. 확장 가능한 데이터 증강: 풍부한 의도된 전사로부터 고품질의 표준 축자적 전사를 생성하는 방법으로서 "Verbatimize"를 도입하여, 특히 비영어권 언어의 주석 달린 비유창성 코퍼스 부족 문제를 해결합니다.
4. 통합적 접근: 모든 카테고리에서 특화된 베이스라인들을 능가하면서, 모드 전환, 정밀한 단어 수준 타이밍 제공, 전사 조건부 생성을 하나의 모델로 수행하는 통합된 접근법을 제시합니다.

저자들은 모드별 전사 성능이 10%에서 94%로 급증했다는 점은, 모드별 전사가 주로 습득이 아닌 활성화의 문제라는 관점을 뒷받침한다고 결론짓습니다.