Automatic speech recognition system for court proceedings in Ethiopia

컴퓨터가 인간의 목소리를 듣고 즉시 글자로 바꿀 수 있는 세상을 상상해 보십시오. 이것은 마법이 아닙니다. 자동 음성 인식(ASR)이라는 과학 분야입니다. 이것을 지치지 않고, 펜을 떨어뜨리지 않으며, 당신이 말하는 속도만큼 빠르게 타이핑할 수 있는 초고속, 초집중 속기사라고 생각하십시오. 수년 동안 이 기술은 의사가 노트를 받아 적는 데 도움을 주는 의료 분야나, 생방송 뉴스의 자막을 만드는 방송 분야와 같은 첨단 영역에서 스타 플레이어로 활약해 왔습니다. 하지만 여기에는 함정이 있습니다. 이 "초고속 속기사"는 주로 영어 나 중국어처럼 학습할 데이터가 산더ళ처럼 쌓여 있는 언어들을 대상으로 훈련되었습니다. 디지털 자원이 적은 지역에서 사용되는 많은 다른 언어들의 경우, 이 속기사는 종종 혼란에 빠지거나, 침묵하거나, 혹은 단어를 마음대로 지어내곤 합니다.

이 속기사가 어떻게 학습하는지 이해하려면, 그것이 사용하는 두 가지 주요 도구를 살펴봐야 합니다. 첫째, "음향 모델(acoustic model)"은 바이올린과 플루트의 특정 소리를 구별하는 법을 배우는 음악가와 같습니다. 이것은 말소리의 가공되지 않은 파형을 음소(언어의 가장 작은 소리 단위)라고 불리는 작고 다룰 수 있는 조각들로 분해합니다. 둘둘째, "언어 모델(language model)"은 문법 경찰관이나 예측 텍스트 앱처럼 작동합니다. 이것은 단순히 소리를 듣는 것이 아니라, 이전에 나온 단어를 바탕으로 다음에 어떤 단어가 올지 추측하여, 시스템이 당신이 "court"라고 말했는지 아니면 발음이 비슷한 다른 단어를 말했는지 판단하도록 돕습니다. 이 두 가지를 결합하면, 대화를 듣고 기록할 수 있는 시스템이 탄생합니다. 그런데 만약 이 대화가 티그리냐(Tigrigna)어처럼 컴퓨터가 한 번도 배운 적 없는 언어로 진행되는 북적이는 법정에서 일어나고 있다면 어떻게 될까요? 그것이 바로 이 연구가 다루는 핵심 질문입니다.

---

사라진 법정 속기사의 사례

에티오피아의 북적이는 법정에서는 많은 중요한 일들이 일어납니다. 판사, 변호사, 증인, 피고인이 모두 말을 하며, 누군가는 공식 기록을 만들기 위해 모든 단어를 기록해야 합니다. 현재 이 일은 인간 속기사에 의해 수행됩니다. 이는 힘든 작업입니다. 그들은 집중해서 들어야 하고, 빠르게 타이핑해야 하며, 실제 재판의 스트레스를 감당해야 합니다. 만약 그들이 지치거나 방 안이 시끄러우면 실수가 발생하고, 법적 기록은 엉망이 됩니다.

악숨 대학교(Aksum University)의 테드로스 케베데 비다다(Tedros Kebede Bidada)와 다윗 테클루 웰데슬라시에(Dawit Teklu Weldeslasie)가 등장합니다. 그들은 단순하지만 강력한 질문을 던졌습니다. 우리가 티그리냐어를 구사하고 에티오피아 법정 특유의 까다로운 언어를 이해하는 컴퓨터 속기사를 만들 수 있을까?

티그리냐어는 수백만 명이 사용하는 주요 언어이지만, 컴퓨터의 세계에서는 "자원이 부족한(under-resourced)" 언어로 간-주됩니다. 이는 컴퓨터가 이 언어를 이해하도록 가르칠 디지털 녹음 데이터가 충분하지 않다는 것을 의미하며, 특히 재판과 같이 긴장감이 높고 소음이 많은 환경에서는 더욱 그렇습니다. 연구진은 이 격차를 메우고 "화자 독립형(speaker-independent)" 시스템을 구축하고자 했습니다. 이것은 특정 인물의 목소리를 암기하는 것이 아니라, 누구라도 티그리냐어를 말할 때 작동하는 속기사를 만들겠다는 멋진 표현입니다.

디지털 귀를 만드는 과정

이 시스템을 구축하기 위해 팀은 단순히 추측하지 않았습니다. 대신 CMU Sphinx라는 툴킷을 사용하여 엄격한 레시피를 따랐습니다. 이 툴킷을 미리 만들어진 거대한 레고 세트라고 생각하십시오.

먼저, 데이터가 필요했습니다. 단순히 사람들에게 책을 읽어달라고 할 수는 없었습니다. 법정은 혼란스럽기 때문입니다. 그래서 그들은 3시간 분량의 실제 즉흥적인 법정 오디오를 녹음했습니다. 그들은 증인의 불안한 더듬거림, 변호사의 빠른 논쟁, 판사의 우렁찬 목소리 등 실제 상황을 담았습니다. 그들은 24명의 원어민(학습용 남성 10명, 여성 10명, 테스트용 4명)으로부터 녹음 데이터를 수집했습니다.

다음으로, 컴퓨터에게 "듣는 법"을 가르쳐야 했습니다. 그들은 MFCC(Mel-Frequency Cepstral Coefficients)라는 기술을 사용했습니다. 이것을 배경 소음을 걸러내고 인간 목소리의 고유한 "지문"을 강조하는 특수 안경이라고 상상해 보십시오. 이것은 구불구불한 소리의 파형을 컴퓨터가 이해할 수 있는 숫자 목록으로 변-환합니다.

그다음은 사전였습니다. 팀은 법적 절차에서 발견되는 5,205개의 고유 단어 목록을 구축하고 이를 소리에 매핑했습니다. 또한 그들은 티그리냐어를 구성하는 51개의 뚜렷한 소리(음소)를 컴퓨터에게 가르쳤으며, 여기에는 이 언어 특유의 까다로운 성문음(glottalized consonants)도 포함되었습니다.

마지막으로, 이 소리들을 듣기 위해 두 종류의 "음악가"(음향 모델)를 훈련시켰습니다:

1. 솔로이스트 (문맥 독립형, Context-Independent): 이 모델은 앞뒤에 어떤 음이 오는지 상관하지 않고 하나의 소리를 한 번에 하나씩 연주하는 음악가처럼 작동합니다.
2. 밴드 (문맥 의존형, Context-Dependent): 이 모델은 소리와 그 이웃 소리를 함께 듣습니다. 이 모델은 "t" 소리가 "a" 다음에 오는지 "i" 다음에 오는지에 따라 미세하게 달라진다는 것을 압니다. 이는 실제 대화에서 우리의 입이 연속적인 흐름으로 움직이며 소리를 섞는 현상(공조음 현상, coarticulation)을 이해하는 데 매우 중요합니다.

대결: 누가 승리하는가?

연구진은 이전에 보여준 적 없는 **10%**의 데이터를 사용하여 시스템을 테스트했습니다. 그들은 컴퓨터가 인간이 작성한 전사본과 비교했을 때 얼마나 많은 단어를 맞혔는지 확인하고자 했습니다.

결과는 명확했으며, 매우 구체적인 이야기를 들려주었습니다. "솔로이스트" 모델(소리를 고립시켜 들었던 모델)은 고전하며 약 **53.12%**의 단어만 맞혔습니다. 그것은 마치 문장의 세 단어 중 하나씩만 듣고 이해하려는 것과 같았습니다.

하지만 "밴드" 모델(문맥 의존형 모델)은 게임 체인저였습니다. 소리의 문맥을 들음으로써, "court"의 "t"와 "test"의 "t"가 다르게 들린다는 것을 깨달았습니다. 연구진이 더 복잡한 수학(구체적으로 '가우시안 혼합 성분'의 수를 늘리는 것, 즉 소리 지문에 더 많은 세부 레이어를 추가하는 것)을 사용하여 시스템을 조정함에 따라 정확도가 올라갔습니다.

최적의 지점은 11개의 성분에서 발견되었습니다. 이 설정에서 시스템은 **73.84%**의 단어 정확도를 달お성했습니다. 이는 시뮬레이션된 법정에서 100단어가 발화될 때마다 컴퓨터가 약 74단어를 정확하게 기록했다는 것을 의미합니다.

그러나 이야기는 완벽한 점수로 끝나지 않았습니다. 연구진은 시스템이 많은 "대치(substitution)" 오류, 즉 비슷한 소리가 나는 다른 단어로 바꾸는 오류를 범한다는 것을 발견했습니다. 이는 티그리냐어에 매우 유사한 소리를 가진 단어가 많아 컴퓨터가 혼동을 일으키기 때문입니다. 또한, 레이어를 너무 많이 추가하면(예: 12개 성분까지 올리면) 시스템이 오히려 악화된다는 점을 발견했습니다. 그것은 마치 연습 시험을 너무 완벽하게 외운 나머지, 약간의 차이를 다루지 못해 실제 시험에서 낙제하는 학생과 같았습니다. 시스템이 규칙을 배우는 대신 소음을 외워버리는 "과적합(overfitting)" 현상이 발생한 것입니다.

이것이 미래에 갖는 의미

이 논문은 에티오피아의 법정 전사 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 견고한 토대를 마련했습니다. 이는 다양한 화자에게 작동하고 법정의 무질서한 현실을 처리할 수 있는 티그리냐어 음성 인식기를 구축하는 것이 가능하다는 것을 증명합니다.

이 연구는 문맥이 중요하다는 것을 명시적으로 보여줍니다. 컴퓨터에게 단순히 개별 소리만을 가르쳐서는 안 되며, 그 소리들이 문장 속에서 어떻게 함께 춤추는지 가르쳐야 합니다. **73.84%**의 정확도는 기준점입니다. 시작점입니다. 완벽하지는 않지만, 아무런 시스템도 없는 상태보다는 엄청난 진전입니다.

저자들은 향-후 연구에서 더 다양한 사람들의 데이터를 더 많이 수집해야 하며, 배경 소음과 불안으로 인한 발화 패턴을 처리하기 위해 더 새롭고 강력한 AI 기술을 시도해야 한다고 제안합니다. 현재로서는, 그들은 에티오피아 법률 시스템에 새로운 도구를 전달했습니다. 바로 한 번에 한 법정씩, 그들의 언어를 배우고 있는 디지털 속기사입니다.