Building an ASR Solution for Training and Assessing Children's Reading

당신이 말리의 주요 언어인 밤바라어(Bambara)로 아이들에게 읽기를 가르치고 있다고 상상해 보세요. 완벽한 세상이라면, 교사는 모든 아이가 소리 내어 읽는 것을 듣고, 실수를 즉각적으로 찾아내며, 도움이 되는 피드백을 줄 수 있을 것입니다. 하지만 현실에서는 모든 학생을 위해 이렇게 해줄 수 있는 교사가 부족하며, 밤바라어를 위해 사용 가능한 도구들은 너무 단순하거나 아이들의 목소리가 성인의 목소리와 어떻게 다른지 이해하지 못하는 경우가 많습니다.

이 논문은 "An bɛ kalan"(대략 "우리 함께 읽자"라는 뜻)이라고 불리는 솔루션을 소개합니다. 이는 말리의 아이들을 위한 디지털 독서 튜터 역할을 하도록 설계된 무료 오픈 소스 시스템입니다. 연구진이 이를 어떻게 구축했는지, 그리고 무엇을 발견했는지를 쉬운 비유를 통해 설명합니다.

1. 원재료 모으기: "독서 캠프"

컴퓨터에게 아이들이 읽는 법을 가르치려면 먼저 방대한 양의 녹음 라이브러리가 필요합니다. 연구팀은 말리 바마코(Bamako)에서 "독서 캠프"를 열었습니다.

• 설정: 그들은 모바일 앱을 사용하여 60명의 어린이(주로 13~17세)가 22권의 서로 다른 교과서를 소리 내어 읽는 것을 녹음했습니다.
• 결과: 연구팀은 55시간의 원시 오디오를 수집했습니다. 아이들이 서로 말을 가로채거나 중간에 멈추는 등의 나쁜 녹음본을 정리한 후, 47시간의 고품질 데이터를 남겼습니다.
• 반전: 그들은 단순히 책을 한 번씩만 녹음한 것이 아닙니다. 많은 수의 아이들이 동일한 책을 반복해서 읽게 했습니다. 이를 통해 단어는 같지만 목소리는 다른 "중복" 데이터셋이 만들어졌습니다.

2. 대결 구도: 두 가지 서로 다른 "두뇌"

연구진은 어떤 유형의 컴퓨터 "두뇌"(AI 모델)가 이 아이들의 목소리를 듣는 데 가장 적합한지 확인하고자 했습니다. 그들은 두 가지 서로 다른 아키텍처를 맞붙였습니다.

• QuartzNet: 이것을 작고 가벼운 자전거라고 생각하세요. 작고 빠르며, 인터넷 없이도 저렴하고 오래된 스마트폰에서 실행되도록 설계되었습니다. 학습할 수 있는 "기어"(파라미터)가 적습니다.
• Soloni: 이것을 고성능 스포츠카라고 생각하세요. 더 크고 복잡하며, 아이들을 위해 특화되기 전에 일반적인 밤바라어 음성을 바탕으로 사전 학습되었습니다. 복잡한 소리를 처리하기 위해 훨씬 더 많은 "기어"를 가지고 있습니다.

3. 훈련: "드릴"과 "장애물"

연구진은 어떤 방식이 가장 효과적인지 알아보기 위해 네 가지 다른 훈련 전략을 사용하여 모델들을 테스트했습니다.

1. 기초: 고유한 텍스트(1.6시간의 고유 텍스트)로만 훈련하기.
2. 장애물 코스 (SpecAugment): 훈련 중에 오디오에 인위적인 "노이즈"를 추가하여(예: 디지털 눈가리개로 목소리의 일부를 가리는 것과 같이) AI가 더 어렵게 학습하도록 강제했습니다.
3. 반복 드릴: 동일한 텍스트를 다양한 목소리로 읽은 "중복" 데이터를 추가하여, 여러 목소리로 같은 단어를 듣는 것이 도움이 되는지 확인했습니다.
4. 콤보: 반복 드릴 + 장애물 코스.

4. 경주 결과

연구진이 한 번도 본 적 없는 새로운 아이들을 대상으로 모델을 테스트했을 때 다음과 같은 결과가 나타났습니다.

• 승자: Soloni 모델(스포츠카)이 압도적인 승리를 거두었습니다.
  • 훈련 전에는 약 42%의 단어에서 실수를 했습니다.
  • 훈련 후에는 실수가 단 **22%**로 떨어졌습니다.
  • 훈련 후에도 40%의 오류율로 여전히 고전하고 있는 QuartzNet보다 훨씬 뛰어난 성능을 보였습니다.
• 반복에 대한 놀라운 교훈:
  • QuartzNet(자전거)에게 다양한 목소리로 읽은 동일한 텍스트 데이터를 주는 것은 마치 터보 부스트를 달아주는 것과 같았습니다. 패턴을 이해하기 위해 추가적인 반복이 필요했기 때문에 성능이 크게 향상되었습니다.
  • Soloni(스포츠카)에게 동일한 추가 반복을 주는 것은 큰 도움이 되지 않았습니다. 이 모델은 이미 패턴을 이해하는 능력이 매우 뛰어나서, 같은 단어를 다시 듣는 것이 새로운 것을 가르쳐주지 못했습니다.
• "장애물"(SpecAugment)에 대한 교훈:
  • 인위적인 노이즈(눈가리개)를 추가하는 것은 훈련을 더 매끄럽게 진행하고 모델이 혼란에 빠지는 것을 방지하는 데는 도움이 되었지만, 실제로 노이즈가 없을 때보다 모델을 더 똑똑하게 만들지는 못했습니다.

5. 약점: 어린 아이들

연구진은 연령별로 결과를 분석하여 특정 문제 영역을 발견했습니다.

• 10세 이상의 아이들: 시스템이 매우 잘 작동했습니다.
• 10세 미만의 아이들: 시스템은 10세 미만의 아이들에게 여전히 상당한 어려움을 겪었습니다.
• 이유는? 어린 아이들은 목소리 톤이 높고, 발음이 불안정하며, 불규직한 속도로 말합니다. AI에게 이들은 마치 약간 다른 언어를 말하는 것처럼 들립니다. 시스템은 이들에게서 훨씬 더 많은 실수를 저질렀으며, 이는 시스템을 고치기 위해 특히 어린 아이들의 데이터를 더 많이 녹음해야 함을 시사합니다.

6. 실전 테스트: 교실

마지막으로, 그들은 이 앱을 바마코의 실제 교실 10곳에 적용했습니다.

• 판결: 교사와 학생들 모두 앱을 좋아했습니다. 앱은 즉각적인 피드백(아이에게 단어를 제대로 읽었는지 알려줌)을 제공하여 몰입도를 유지시켰습니다.
• 결과: 10번의 시도 중 9번에서 교사들은 "네, 이 앱을 계속 사용하고 싶습니다"라고 답했습니다. 이는 기술이 기본적인 휴대폰에서도 실제 학교 환경에서 작동함을 입증했습니다.

핵심 요약

이 논문은 밤바라어 아이들을 위한 훌륭한 독서 보조 도구를 만들기 위해서는 단순히 더 많은 시간의 녹음이 필요한 것이 아니라, 더 나은 다양성이 필요하다고 결-론짓습니다.

• 단순히 같은 책을 100번 녹음하지 마세요 (QuartzNet과 같은 매우 단순한 모델을 사용하는 경우가 아니라면).
• 더 다양한 목소리를 녹음하고, 결정적으로 10세 미만의 더 많은 어린 아이들을 녹음하세요. 왜냐하면 현재 시스템이 실패하고 있는 지점이 바로 그 부분이기 때문입니다.

"An bɛ kalan" 시스템은 이제 누구나 사용할 수 있도록 공개되어 있으며, 말리의 읽기 능력을 평가하고 향상시키는 데 도움을 줄 수 있는 강력하고 오프라인 활용이 가능한 도구를 제공합니다.