Towards Orthographically-Informed Evaluation of Speech Recognition Systems for Indian Languages

이 논문은 LLM 을 활용하여 인도어권의 철자 변형을 고려한 새로운 평가 프레임워크 (OIWER) 를 제안함으로써 기존 WER 의 과도한 부정적 평가를 완화하고 인간 지각과 더 잘 부합하는 음성 인식 시스템 평가가 가능함을 입증합니다.

핵심

🎤 핵심 문제: "오해받기 쉬운 음성 인식 시스템"

상상해 보세요. 당신이 친구에게 "오늘 점심에 김치찌개 먹자"라고 말했는데, 친구가 메모장에 **"김치찌개"**라고 적었습니다. 그런데 친구가 "아니, 나는 **'김치찌개'**라고 들었어!"라고 주장하며 메모장을 보여줍니다.

• 실제 상황: '김치찌개'와 '김치찌개'는 발음도 같고 의미도 똑같은데, 철자만 조금 다릅니다.
• 기존 평가 (WER): 컴퓨터는 "철자가 다르니 틀렸다!"라고 판단해 **실수 (Error)**로 기록합니다.
• 현실: 사람들은 둘 다 같은 말로 이해합니다.

인도 언어는 특히 이 문제가 심각합니다.

1. 철자 자유도: 같은 단어도 지역이나 사람에 따라 철자가 여러 가지로 쓰입니다. (예: 'Colored' vs 'Coloured')
2. 단어 합치기/나누기: 두 단어를 붙여 쓸 수도, 띄어 쓸 수도 있습니다.
3. 혼합 언어: 영어와 인도어를 섞어 쓰는 경우가 많아 표준 철자가 정해지지 않은 경우가 많습니다.

기존 평가 방식은 이런 허용 가능한 철자 차이까지 모두 '오류'로 간주해 점수를 깎아댔습니다. 그래서 실제 사람이 듣기엔 잘 들리는 시스템도 점수는 매우 낮게 나오는 **'비관적인 평가'**가 이어졌습니다.

---

💡 해결책: "모든 변형을 인정하는 새로운 심판 (OIWER)"

연구팀은 **"철자가 조금 달라도 뜻이 통하면 정답으로 인정하자"**는 새로운 규칙을 만들었습니다. 이를 **OIWER(Orthographically-Informed Word Error Rate)**라고 부릅니다.

1. 어떻게 만들었나요? (LLM 의 역할)

과거에는 모든 철자 변형을 사람이 일일이 찾아서 목록을 만들어야 했습니다. 하지만 인도 언어는 너무 다양해서 불가능에 가까웠습니다.

• 비유: 모든 인도어 철자 변형을 사람이 일일이 외우려다 보면 미쳐버립니다.
• 해결책: 연구팀은 **LLM(인공지능)**을 고용했습니다. AI 에게 "이 단어의 가능한 철자 변형들을 모두 나열해 줘"라고 시켰습니다. AI 는 방대한 데이터를 바탕으로 '김치찌개', '김치찌개', '김치찌개' 등 모든 가능한 버전을 자동으로 생성해 냈습니다.
• 검수: AI 가 만든 목록을 인도 언어 전문가들이 살짝만 다듬어 (수정/삭제) 완성했습니다.

2. 새로운 평가 방식 (OIWER)

이제 음성 인식 시스템을 평가할 때, 시스템이 내린 답이 원래 정답과 철자가 달라도, AI 가 생성한 '허용된 변형 목록'에 있다면 정답으로 인정합니다.

---

📊 어떤 결과가 나왔나요?

이 새로운 방식을 적용하자 놀라운 변화가 일어났습니다.

1. 점수가 현실적으로 올라갔습니다:

   • 기존 방식 (WER) 은 시스템을 너무 혹독하게 평가해서 점수가 낮게 나왔습니다.
   • 새로운 방식 (OIWER) 을 적용하자 평균 6.3 점이나 점수가 올랐습니다. 이는 시스템이 실제로는 훨씬 잘 작동하고 있다는 것을 의미합니다.

2. 모델 간 격차가 줄었습니다:

   • 예전에는 A 모델이 B 모델보다 18.1 점이나 못 한다고 평가받았습니다.
   • 하지만 새로운 방식으로는 그 격차가 11.5 점으로 줄었습니다. 즉, "A 가 B 보다 훨씬 못 한다"는 과장된 평가가 "A 가 B 보다 조금 더 낫다"는 정확한 평가로 바뀌었습니다.

3. 사람의 느낌과 가장 잘 맞습니다:

   • 사람들이 "이거 잘 들린다"라고 느끼는 정도와 AI 가 계산한 점수가 가장 가까워졌습니다. (이전 방법보다 4.9 점 더 일치함)

4. 인간이 일일이 할 필요 없게 되었습니다:

   • AI 가 생성한 변형 목록이 인간 전문가가 직접 수정한 목록과 90% 이상 일치했습니다. 이는 앞으로 시간과 비용을 크게 아낄 수 있음을 의미합니다.

---

🌟 요약: 왜 이 연구가 중요할까요?

이 논문은 **"인도 언어처럼 철자 변형이 풍부한 언어를 평가할 때는, 기계적인 철자 비교만 해서는 안 된다"**는 것을 증명했습니다.

• 과거: "철자가 다르면 틀린 거야!" (시스템을 너무 혹독하게 평가)
• 현재 (이 논문): "철자가 달라도 뜻이 통하면 OK! AI 가 모든 변형을 찾아줬으니까." (시스템의 실제 능력을 공정하게 평가)

이처럼 AI 가 인간의 언어적 유연성을 이해하고 평가 기준을 조정함으로써, 인도어 음성 인식 기술의 진정한 발전 속도를 제대로 볼 수 있게 되었습니다. 이는 저자원 (데이터가 적은) 언어를 가진 다른 국가나 언어에도 큰 영감을 주는 연구입니다.

기술 요약

1. 문제 정의 (Problem)

인도어 자동 음성 인식 (ASR) 시스템의 성능을 평가할 때 기존의 단어 오류율 (Word Error Rate, WER) 은 실제 사용자 체감 성능보다 훨씬 나쁜 결과를 보여줍니다. 이는 다음과 같은 인도어 고유의 언어적 특성 때문입니다.

• 철자 변이 (Spelling Variations): 공통 접미사의 유연한 철자 변화, 어소 (morpheme) 의 분할 또는 병합 허용.
• 비표준 철자: 코드 혼합 (code-mixed) 단어에서의 비표준 철자 사용.
• 평가의 왜곡: 이러한 정서적 (orthographic) 변이를 허용하는 표준이 부재하거나 일관된 전사 가이드라인이 없기 때문에, 모델이 생성한 유효한 변이조차 '오류'로 간주되어 WER 이 불필요하게 과대평가 (inflated) 됩니다.
• 기존 방법의 한계: 다중 참조 (multi-reference) WER 은 비용과 노력이 많이 들며, 수동 규칙 기반 정규화나 소셜 미디어 데이터 마이닝은 저자원 (low-resource) 인도어에는 적용하기 어렵거나 불완전합니다.

2. 방법론 (Methodology)

저자들은 정서 정보 기반 벤치마크 (Orthographically-Informed Benchmarks) 를 생성하고 이를 평가에 반영하는 새로운 프레임워크를 제안합니다.

A. 정서적 변이 유형 식별

언어 전문가의 자문을 통해 인도어에서 발생할 수 있는 7 가지 주요 변이 유형을 정의했습니다.

1. Matra 및 Diacritic 변이: 모음 기호나 점 (nukta, pulli 등) 의 다양한 형태.
2. 차용어 철자 변이: 영어, 산스크리트어 등에서 차용된 단어의 다양한 표기법.
3. 복합어 분할/병합: 어근과 접미사의 분할 또는 합쳐진 형태 (특히 말라얄람어 등 교착어).
4. 음운 변이: 지역 방언이나 발음 차이로 인한 철자 변화.
5. 연음자 (Ligature) 변이: 자음의 결합 유무.
6. Sandhi (연음법): 단어 경계에서의 음운 변화 규칙 적용.
7. 역 텍스트 정규화 (ITN): 숫자, 날짜, 화폐 단위 등의 다양한 표기.

B. LLM 을 활용한 변이 생성 (LLM-assisted Generation)

수동으로 모든 변이를 나열하는 것은 불가능하므로, 대형 언어 모델 (LLM) 을 활용합니다.

• 컨텍스트 인식: 단어 단위가 아닌 전체 문장 (전사본) 을 입력받아 문맥에 맞는 변이 (예: 단어 병합/분할) 를 생성합니다.
• 프로세스: LLM 이 사전 정의된 변이 카테고리와 예시를 기반으로 변이 집합을 생성하고, 인간 전문가가 이를 검토 및 수정 (Post-editing) 하여 정확도를 높입니다.
• 효율성: 수동 전사 대비 1 문장당 1.2 분 (수동 전사는 2.4 분) 으로 시간 효율이 높으며, 다중 참조 방식보다 포괄적입니다.

C. 정서 정보 기반 단어 오류율 (OIWER)

기존 WER 알고리즘을 수정하여 정서 정보 기반 단어 오류율 (Orthographically-Informed Word Error Rate, OIWER) 을 도입했습니다.

• 동적 프로그래밍 (DP) 적용: 예측된 텍스트 (P) 와 참조 변이 집합 (V) 간의 최소 편집 거리를 계산합니다.
• 매칭 로직: 예측된 단어가 참조 단어의 어떤 변이 와도 일치하면 오류로 간주하지 않습니다. 이는 SCLITE 툴킷의 방식을 확장한 것입니다.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 생성: 22 개 인도어 (4 개 언어 계열) 로 구성된 'IndicVoices' 벤치마크에 LLM 기반 변이 생성을 적용하여 정서 정보 기반 벤치마크를 구축했습니다.
2. OIWER 메트릭 제안: 철자 변이를 고려하여 모델의 실제 성능을 더 정확하게 반영하는 새로운 평가 지표를 개발했습니다.
3. LLM 기반 자동화 검증: 인간이 수정한 변이와 LLM 이 생성한 변이 간의 높은 상관관계 (결정 계수 0.89) 를 입증하여, 평가 과정에서 인간의 개입을 최소화하면서도 품질을 유지할 수 있음을 보였습니다.

4. 실험 결과 (Results)

22 개 언어에 걸쳐 Canary, IndicConformer, Saarika, Azure, Gemini 등 주요 ASR 모델을 평가한 결과는 다음과 같습니다.

• 과도한 오류율 감소: OIWER 는 모든 모델과 언어에서 기존 WER 보다 평균 6.3 포인트 낮은 오류율을 보였습니다. 이는 모델이 실제로는 잘 수행하고 있었음에도 철자 차이로 인해 과 penalize 되던 문제를 해결했습니다.
• 모델 간 격차 축소: 기존 WER 로는 18.1 포인트 차이가 나던 Gemini 와 Canary 모델 간의 성능 격차가 OIWER 에서는 11.5 포인트로 축소되었습니다. 이는 WER 이 모델 간 실제 성능 차이를 과장하여 보여줄 수 있음을 시사합니다.
  • 예시: 타밀어 (Tamil) 의 경우 WER 격차 (17.4) 가 OIWER 에서는 4.3 으로 크게 줄었습니다.
• 인간 체감 성능과의 일치: OIWER 는 기존 정규화 기반 방법 (WER-SN) 보다 인간이 체감하는 오류율 (Perceived WER) 과 평균 4.9 포인트 더 가깝게 일치했습니다.
• 오류 유형 분석: OIWER 도입으로 대체 오류 (Substitution) 가 약 28,500 건 감소했으나, 삽입/삭제 오류는 유사하게 유지되었습니다. 이는 대부분의 '오류'가 실제 오인식이 아닌 철자 변이 차이였음을 의미합니다.

5. 의의 및 결론 (Significance)

• 현실적인 평가 체계: 인도어와 같은 철자 변이가 풍부한 저자원 언어에 대해, ASR 모델의 실제 유용성을 더 정확하게 평가할 수 있는 표준을 제시했습니다.
• 비용 효율성: LLM 을 활용한 변이 생성과 인간 검토의 결합은 다중 참조 방식을 대체할 수 있는 비용 효율적이고 확장 가능한 솔루션입니다.
• 향후 방향: OIWER 는 모델 개발자와 연구자들이 모델의 진정한 진전을 파악하고, 불필요한 철자 표준화 압력을 줄이는 데 기여할 것입니다.

이 논문은 단순한 성능 수치 (WER) 에 매몰되지 않고, 언어의 다양성과 유연성을 고려한 인간 중심의 평가 체계로 전환해야 함을 강력히 주장하며, 이를 구현하기 위한 구체적인 기술적 프레임워크를 제시했습니다.