Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis

음성 인식 기술은 인간의 목소리를 다양한 언어로 이해할 수 있게 되며 놀라운 발전을 이루었습니다. 그러나 기록이 적은 방언을 사용하는 화자들에게 이 기술은 종종 벽에 부딪히곤 합니다. 문제는 단순히 기계가 특정 소리를 정확하게 듣지 못하는 것만이 아닙니다. 때로는 기계와 인간이 완전히 다른 '쓰기 방식의 언어'를 사용하고 있다는 것이 문제입니다. 이란, 이라크, 터키, 시리아 전역에서 사용되는 언어인 쿠르드어의 세계에서 이러한 격차는 매우 뚜렷합니다. 어떤 변체들은 아랍 문자에 기반한 스크립트를 사용하여 작성되는 반면, 다른 변체들이나 심지어 동일한 변체라도 지역에 따라 고유한 소리를 포착하기 위한 특수 기호가 포함된 라틴 알파벳을 사용하여 작성되기도 합니다. 한 스크립트로 학습된 컴퓨터가 다른 스크립트로 쓰인 문장을 읽으려고 할 때, 기계는 단어를 듣지 못해서가 아니라 기호를 인식하지 못해서 실패하는 경우가 많습니다. 이는 측정의 문제를 야기합니다. 만약 기계가 소리는 맞게 들었지만 잘못된 스크립트로 썼다면, 표준 테스트는 이를 완전한 실패로 간주하여 기계가 실제로 음성을 이해했다는 사실을 가려버립니다.

이것이 바로 히와 아사드푸르(Hiwa Asadpour)가 이란에서 사용되는 쿠르드어의 한 변체인 가루시(Garrusi)를 연구하며 해결하고자 했던 구체적인 퍼즐입니다. 아사드푸르는 강력한 기존 음성 인식 시스템이 가루시 화자들을 얼마나 잘 이해할 수 있는지 확인하고 싶었습니다. 해당 시스템은 MMS-1B-all로 알려져 있으며, 중앙 쿠르드어(Central Kurdish)를 위해 조정되어 아랍 스크립트로 텍스트를 출력합니다. 그러나 연구진은 다섯 명의 가루시 화자로부터 녹음 데이터를 수집했고, 음성 기호가 포함된 라틴 알파벳을 사용하여 정확한 단어들을 기록했습니다. 두 가지를 비교하기 위해 그들은 기계가 생성한 아랍 스크립트와 자신들이 작성한 라틴 스크립트 사이의 간극을 메워야 했습니다. 그들은 단계별 과정을 만들어 이를 수행했습니다. 먼저, 기계의 아랍어 출력을 라틴 문자로 변환한 다음, 그 문자를 참조 텍스트의 특정 스타일과 일치하도록 단순화했습니다. 이 방법을 통해 그들은 오류의 어느 정도가 쓰기 체계의 차이에서 왔는지, 그리고 어느 정도가 기계가 실제로 단어를 듣는 데 실패했기 때문인지를 정확히 구분해 낼 수 있었습니다.

결과는 냉혹한 현실을 보여주었습니다. 연구진이 아무런 변환 없이 기계의 가공되지 않은 아랍어 출력물을 라틴 참조 텍스트와 직접 비교했을 때, 시스템은 완전히 실패한 것처럼 보였습니다. 일치하는 단어가 하나도 없는 상태에서 단어 오류율(WER)이 111% 이상으로 나타났습니다. 이는 두 스크립트가 공통된 문자를 공유하지 않기 때문에 발생한 현상으로, 기계는 연구진과 다른 시각적 언어를 말하고 있었던 것입니다. 하지만 연구진이 기계의 출력을 라틴 문자로 변환하자 그림은 극적으로 바뀌었습니다. 오류율이 크게 감소했는데, 이는 기계가 실제로 많은 소리를 정확하게 인식했으나 스크립트의 불일치가 그 성공을 가리고 있었음을 보여주었습니다. 마지막 단계로 철자 차이를 단순화하는 과정을 적용했을 때 오류율은 더 떨어졌지만, 여전히 높은 수준을 유지했습니다. 이러한 쓰기 체계 문제를 해결한 후에도 시스템이 단어를 정확하게 맞춘 비율은 약 14%에 불고했습니다. 이는 쓰기 체계가 거대한 장애물이었을 뿐만 아니라, 기계가 가루시 방언의 특정 소리와 단어 구조를 이해하는 데 여전히 어려움을 겪고 있음을 의미합니다.

또한 이 연구는 일부 언어학자들이 가루시를 포함한다고 믿는 남부 쿠르드어(Southern Kurdish)에 맞춰 미세 조정(fine-tuned)된 다른 시스템을 테스트했습니다. 놀랍게도, 이 특화된 시스템은 일반적인 중앙 쿠르드어 시스템보다 성능이 낮았습니다. 이 시스템은 참조 텍스트보다 훨씬 더 많은 단어를 추가로 생성했으며, 실제 화자의 단어를 단순한 시스템만큼 잘 맞추지 못했습니다. 이는 관련 있는 방언으로 모델을 학습시키는 것만으로는 가루시와 같이 독특하고 구별되는 변체에서 성능을 보장할 수 없음을 시사합니다. 특히 학습에 사용된 데이터가 자연스러운 현장 녹음이 아닌 편집된 낭독 문장인 경우 더욱 그러합니다. 특화된 시스템은 존재하지 않는 단어를 추가하는 과잉 생성을 하는 경향이 있었던 반면, 일반 시스템은 단어를 놓치는 경нд이 있었습니다.

이 연구의 핵심적인 발견은 기술 자체만큼이나 성공을 측정하는 방식이 중요하다는 점입니다. 연구진은 참조 텍스트를 고정하고 기계의 출력이 제시되는 방식만을 변경함으로써, 표준 테스트가 쓰기 체계의 차이를 고려하지 않을 경우 오해의 소지가 있을 수 있음을 보여주었습니다. 그들은 스크립트 변환과 철자 단순화를 통해 측정된 오류를 크게 줄일 수 있었으며, 이를 통해 오류의 상당 부분이 실제로는 형식적인 문제였음을 입증했습니다. 그러나 이러한 수정 후에도 여전히 많은 양의 오류가 남아 있었는데, 이는 기계가 여전히 이 특정 방언을 이해하기 위해 갈 길이 멀다는 것을 나타냅니다. 연구는 결론적으로, 여러 스크립트나 방언을 가진 언어의 경우 연구자들이 결과를 채점하는 방식에 주의를 기울여야 한다고 강조합니다. 연구자들은 다른 이들이 수치를 검증할 수 있도록 채점에 사용된 정확한 텍스트를 공개해야 하며, 높은 오류율이 기계의 청취 능력뿐만 아니라 텍스트가 작성된 방식에 의해서도 부분적으로 발생할 수 있음을 인정해야 합니다.

이 연구는 음성 기술의 더 넓은 문제, 즉 고도의 기술을 갖춘 모델과 그 모델이 실제로 봉사해야 할 다양하고 현실적인 언어 사이의 간극을 조명합니다. 가루시 화자들과 다른 많은 저자원 언어 공동체들에게 있어, 정확한 음성 인식으로 가는 길은 데이터의 부족뿐만 아니라 그 언어가 어떻게 쓰이고 분류되는지의 복잡함에 의해 가로막혀 있습니다. 이 연구는 완벽한 해결책을 제시하지는 않지만, 장애물에 대한 더 명확한 지도를 제공합니다. 기계가 언어를 이해한다고 주장하기 전에, 우리는 먼저 기계와 인간이 동일한 시각적 언어를 사용하고 있는지, 그리고 우리의 테스트가 기계가 듣지 못하는 것인지 아니면 단순히 다르게 쓰는 것인지를 구별할 수 있을 만큼 공정한지를 반드시 확인해야 함을 보여줍니다.