기술 요약: 다중 스크립트 인디어(Indic) ASR 평가를 위한 스크립트 정규화 WER (SN-WER)

1. 문제 정의

단어 오류율(WER)은 자동 음성 인식(ASR) 시스템을 평가하는 표준 지표이다. 그러나 다국어 환경, 특히 인디어(Indic) 언어의 경우, 참조 텍스트(Reference transcript)는 고유 스크립트(예: 데바나가리, 벵골, 타밀)로 되어 있는 반면 모델의 가설(Hypothesis)은 로마자 표기법으로 생성될 때, WER은 오류를 크게 과대평가할 수 있다.

현재의 평가 관행은 이러한 스크립트 차이를 어휘적 치환(Lexical substitution)으로 취급하여, 오류율을 인위적으로 높이고 언어 간 모델 비교를 어렵게 만든다. 기존 연구들은 정규화 선택과 철자 변이(Orthographic variation)가 보고된 오류율을 실질적으로 변화시킨다는 점을 보여주었으나, WERd(방언 아랍어용)나 완화된 CER(일본어용)과 같은 기존 지표들은 단일 언어 내의 다중 스크립트 정규화보다는 철자 변이나 문자 수준의 불일치를 다루는 데 집중되어 있다.

2. 방법론: 스크립트 정규화 WER (SN-WER)

저자들은 스크립트 불일치로 인한 페널티를 실제 어휘 인식 오류와 분리하기 위해 설계된, 학습이 필요 없는 평가 전용 스코어링 방법인 SN-WER을 제안한다.

핵심 원리

SN-WER은 정렬(Alignment) 전, 참조($R$)와 가설($H$) 토큰을 모두 특정 언어의 정규화된 스크립트($C$)로 전사(Transliteration)한 후 WER을 계산한다.
$$SN\text{-}WER(R, H) = WER(T(R), T(H))$$
여기서 $T(\cdot)$는 결정론적이며 경계(Boundary)를 보존하는 전사 맵이다.

구현 세부 사항

• 정규 스크립트(Canonical Script): 벤치마크 참조 스크립트(고유 스크립트)가 대상 정규 형태가 된다.
• 전사(Transliteration): 유니코드 블록 휴리스틱을 통해 로마자 표기 토큰을 감지하고, 표준 라이브러리(ICU, IAST 스타일, ITRANS 스타일 등)를 사용하여 고유 스크립트로 전사한다.
• 정규화(Normalization): 표준 유니코드, 문장 부호 및 숫자 정규화가 적용된다.
• 제약 조건: 이 방법은 전사 맵이 결정론적이며 토큰 경계를 보존한다고 가정한다. 이는 표준 WER/CER의 대체재가 아니라 진단용 동반 지표로서 기능한다.

진단적 특성

저자들은 SN-WER에 대해 세 가지 특성을 정의한다:

1. 항등성(Identity): 참조와 가설이 동일한 스크립트를 공유하면, $SN\text{-}WER \approx WER$이다.
2. 보수성(Conservativeness): 이상적인 조건에서 $SN\text{-}WER \le WER$이다. 이는 스크립트 불일치만 제거될 뿐 편집 거리(Edit distance)를 증가시키지 않기 때문이다. 저자들은 전사 충돌(Transliteration collision)이나 토큰 분할로 인한 편차를 경험적으로 제한하였다.
3. 어휘 민감도(Lexical Sensitivity): SN-WER은 잘못된 단어, 삭제, 삽입 또는 어순 변경으로 인한 오류를 줄여서는 안 된다.

3. 실험 설정

평가는 다음을 대상으로 수행되었다:

• 언어: 5개 인디어 언어(힌디어, 벵골어, 타밀어, 오디아어, 구자라트어) 및 교차 스크립트 검증을 위한 2개 추가 언어(아랍어, 우르두어).
• 데이터셋: 정제된 데이터(FLEURS) 및 노이즈가 포함된 데이터(Common Voice v17).
• 모델: Whisper-large-v3, Whisper-small, 그리고 Meta의 MMS.
• 대조군: 스크립트 불일치 성분을 검증하기 위해 인위적인 로마자 주입(050% 토큰 교체) 및 어휘적 오염(2030% 토큰 치환)을 포함한 스트레스 테스트를 수행하였다.

4. 주요 결과

4.1 부풀려진 격차의 감소

• 정제된 데이터 (FLEURS): SN-WER은 부풀려진 모델 간 격차를 최대 **12%**까지 좁혔다 (예: 구자라트어). Common Voice의 오디아어의 경우 감소 폭이 더 컸는데(26%), 이는 기준 WER에 상당한 스크립트 불일치 성분이 포함되어 있음을 시사한다.
• 노이즈 데이터 (Common Voice): 감소 폭이 작거나 일관되지 않았다 (예: Whisper-large의 경우 -4.3%). 이는 노이즈가 있는 조건에는 SN-WER이 올바르게 보존해야 할 실제 인식 오류가 포함되어 있음을 나타낸다.

4.2 강건성 및 안정성

• 전사 불변성(Transliterator Invariance): IAST, ITRANS, ICU 매핑을 비교했을 때 미미한 차이($\Delta < 0.002$)만을 보였다.
• 충돌율(Collision Rates): 서로 다른 토큰이 동일한 형태로 매핑되는 전사 충돌율은 0.1% 미만으로 유지되었다.
• 정규화 안정성: 숫자 및 문장 부호 정규화에 대한 절제 실험(Ablation) 결과, SN-WER의 변화는 최대 $\Delta < 0.05$였다.

4.3 스트레스 테스트 및 민감도

• 인위적 스크립트 불일치: 가설 토큰의 50%를 인위적으로 로마자화했을 때, WER은 $\Delta = 0.234$만큼 증가했으나 SN-WER은 $\Delta = 0.158$만큼만 증가했다. 이는 스크립트로 인한 인플레이션을 67% 완화했음을 의미한다.
• 어휘적 오염: 토큰의 20~30%가 (스크립트 변경 없이) 어휘적으로 오염되었을 때, SN-WER은 WER과 거의 동일하게 추적되었다 ($\Delta SN / \Delta WER \approx 1.09$). 이는 SN-WER이 실제 인식 오류를 은폐하지 않음을 확인시켜 준다.
• 적대적 검사: 무작위 토큰 셔플링 또는 치환 결과, SN-WER이 1.0에 근접하는 것을 확인하여 어순 및 어휘 오류에 대한 민감도를 입증하였다.

4.4 교차 스크립트 확장

아랍어와 우르두어에서도 SN-WER은 완만한 감소(4.9~9.0%)를 보여, 철자 관습이 준수될 때의 접근 방식이 인디어 스크립트 외에도 적용 가능함을 입증하였다.

5. 의의 및 주장

본 논문은 SN-WER을 WER/CER의 대체제가 아닌, 특정 평가 맥락에서 필수적인 **동반 스코어(Companion score)**로 규정한다:

• 진단적 유용성: 측정된 오류 중 얼마나 많은 부분이 스크립트 불일치에 기인하는지를 정량화한다.
• 다운스트림 관련성: 출력 스크립트가 다운스트림 작업과 직교(Orthogonal)하는 경우(예: 키워드 검색, 인덱싱, 검색, 의도 분류, 또는 의미론적 내용이 철자보다 중요한 다국어 LLM 파이프라인) SN-WER은 매우 가치가 있다.
• 사용자 대상 제한 사항: 스크립트 선택 자체가 출력 품질의 일부인 애플리케이션(예: 사용자 대상 자막, 교육 도구)의 경우, 표준 WER/CER이 여전히 필요하며 SN-WER은 이를 병행하여 보고해야 한다.

저자들은 결론적으로 SN-WER이 스크립트 편향을 실제 모델 성능과 분리하는 엄격하고 학습이 필요 없는 방법을 제공하며, 다중 스크립트 인디어 환경에서 ASR 모델을 비교하는 데 있어 더욱 정확한 근거를 제공한다고 주장한다.