당신이 로봇에게 세상을 듣고 이해하는 법을 가르치려 한다고 상상해 보세요. 오랫동안 과학자들은 로봇에게 영어구나 만다린어 같은 크고 대중적인 언어를 가르치는 데 매우 능숙했습니다. 그 이유는 공부할 수 있는 방대한 양의 녹음된 대화와 기록된 노트가 있기 때문입니다. 하지만 아프리카 전역에서 사용되는 수천 개의 다른 언어들에 대해, 로봇은 사실상 귀가 먹은 상태나 다름없습니다. 이는 로봇이 학습하기에 너무 멍청해서가 아니라, 연습할 수 있는 '숙제'가 거의 없기 때문입니다. 이 언어들을 말하는 사람들의 녹음 데이터는 매우 적고, 오디오와 일치하는 텍스트 전사본(transcript)은 훨씬 더 적습니다. Khaya AI라는 팀이 작성한 이 논문은 이러한 문제를 해결하기 위해, 소외된 언어들을 위해 특별히 설계된 새로운 종류의 '듣는 뇌'를 구축함으로써 이 문제를 다룹니다.

그들의 해결책을 이해하려면 두 가지를 알아야 합니다. 첫째, "자기 지도 학습(self-supervised learning)" 모델이 있습니다. 이것은 마치 학생이 단어의 뜻은 아직 모르더라도, 라디오를 몇 시간 동안 듣는 것만으로 언어의 '소리'를 배울 수 있는 것과 같습니다. 학생은 언어의 리듬과 멜로디를 인식하는 데 매우 능숙해집니다. 둘째, "미세 조정(fine-tuning)"이라는 개념입니다. 학생이 소리를 익히고 나면, 특정 언어의 실제 단어와 문법을 배울 수 있도록 구체적인 교과서(라벨링된 작은 데이터 세트)를 줍니다. 문제는 많은 아프리카 언어의 경우, 심지어 그 '교과서'조차 없거나 매우 작다는 점이었습니다. 이 논문은 DONDO(Democratizing Oral Neural Dialect Ontology의 약자)라고 불리는 새로운 모델 제품군을 소개합니다. 이는 강력하게 사전 학습된 '듣는 뇌'를 가져와서, 하나의 뇌가 동시에 여러 언어를 처리할 수 있게 만드는 영리한 기술을 사용하여 27가지의 서로 다른 아프리카 언어 변이체를 가르치는 도구 세트입니다.

문제점: 사라진 도서관

대부분의 세계에서 음성 기술은 성숙한 도구입니다. 당신은 휴대폰에 자신의 모국어로 타이머를 설정해 달라고 하거나 자동차에 음악을 틀어 달라고 할 수 있습니다. 하지만 가(Ga), 에웨(Ewe), 하우사(Hausa), 또는 쇼나(Shona)어와 같은 언어를 사용하는 수백만 명의 사람들에게 이 기술은 존재하지 않습니다. 병목 현상은 컴퓨터를 만들 수 없어서가 아니라, "전사된 오디오(transcribed audio)"가 부족하기 때문입니다. 컴퓨터를 가르치려면, 사람들이 말하는 녹음본과 그들이 말한 정확한 텍스트가 쌍을 이루어야 합니다. 많은 아프리카 언어의 경우, 이 데이터는 흩어져 있거나, 아주 작거나, 혹은 존재하지 않습니다.

이 논문의 저자들은 완벽한 데이터를 기다리는 것을 멈추고, 가진 것을 가지고 구축하기 시작했습니다. 그들은 일상적인 대화가 많이 녹음되어 있지는 않지만, 사람들이 수십 년 동안 음성을 녹음하고 전사해 온 한 곳이 있다는 것을 깨달았습니다. 바로 종교 텍els입니다. 이것들은 어디에나 있으며, 보통 무료로 사용할 수 있고(라이선스 문제가 없으며), 텍스트가 매우 일관적입니다. 트레이드오프(trade-off)는 이것이 파티에서 수다를 떠는 것이 아니라 책을 소리 내어 읽는 것처럼 다소 격식 있고 좁은 범위라는 점입니다. 하지만 저자들은 이것을 완벽한 시작점, 즉 기초를 쌓기 위한 완벽한 토대로 보았습니다.

해결책: 스마트하고 공유된 뇌

팀은 26개의 모델(단일 언어용 21개와 언어 그룹을 다루는 5개)로 구성된 DONDO를 구축했습니다. 그들은 이미 전 세계의 방대한 오디오를 들어본 강력한 기존의 '듣는 뇌'인 w2v-BERT 2.0에서 시작했습니다. 모든 언어를 위해 완전히 새로운 뇌를 처음부터 만드는 대신, 그들은 이 공유된 뇌를 가져와 특정한 훈련 과정을 거치게 했습니다.

여기서 영리한 부분이 나옵니다. 그들은 단순히 모든 언어를 뇌에 한꺼번에 쏟아붓고 잘 되기를 바란 것이 아닙니다. 그들은 2단계 학습 과정(특정 그룹의 경우 3단계)을 사용했습니다.

1. 1단계 (초안 작성): 그들은 뇌가 그룹 내의 모든 언어를 빠른 속도로 인식하도록 가르쳤습니다. 이것은 마치 빠른 스케치와 같아서, 뇌는 일반적인 개념은 잡았지만 많은 실수를 저질렀습니다.
2. 2단계 (다듬기): 그들은 학습 속도를 상당히 늦췄습니다. 이를 통해 뇌는 이해도를 정교하게 다듬고, 실수를 수정하며, 유사한 소리들을 구별하는 능력을 날카롭게 할 수 있었습니다.

이 "학습률 어닐링(learning-rate annealing, '제대로 하기 위해 속도를 늦춘다'는 멋진 표현)"이 바로 비법이었습니다. 이것은 모델이 초기 혼란으로부터 회복할 수 있게 해주었으며, 많은 경우 단일 언어에 대해서만 훈련되었을 때만큼의 성능을 낼 수 있게 했습니다.

마법의 기술: 언어 ID 카드

보통 하나의 모델이 다섯 개의 언어를 알고 있다면, 소프트웨어 구조를 변경하거나 추가적인 부분을 더함으로써 어떤 언어를 사용할지 알려줘야 합니다. DONDO는 **접두사 프레임 언어 조건화(prefix-frame language conditioning)**라는 훨씬 가벼운 기술을 사용합니다.

오디오가 긴 영화라고 상상해 보세요. 영화가 시작되기 전, 모델에게 "오늘은 스와힐리어로 말합니다" 또는 "오늘은 요루바어로 말합니다"라고 적힌 아주 작고 투명한 "ID 카드"(몇 프레임의 데이터)를 보여줍니다. 이 ID 카드는 오디오 스트림의 맨 앞부분에 붙여집니다. 모델은 이 카드를 읽고, 내부의 "방언 모드"를 전환한 다음, 나머지 오디오를 듣습니다. 이는 단 하나의 모델 파일이 맨 앞의 작은 ID 카드만 바꿈으로써 여러 언어를 처리할 수 있음을 의미합니다. 무거운 기계적 구조의 변경이 필요 없습니다.

결과: 격차 해소

팀은 가나, 시에라리온, 나이지리아, 세네갈, 케냐, 짐바브웨 전역의 27가지 언어 변이체를 대상으로 이 모델들을 테스트했습니다.

• 수치: "다듬기" 단계 이후, 다국어 모델들은 평균 **10~13%의 단어 오류율(WER)**을 달성했습니다. 이는 컴퓨터가 얼마나 많은 단어를 틀리는지를 나타내는 척도이며, 낮을수록 좋습니다.
• 비교: 많은 경우, 이 공유 모델들은 단일 언어에 대해서만 훈련된 모델만큼이나 우수했습니다. 프랑스어와 판테(Fante)어와 같은 일부 언어의 경우, 공유 모델이 단일 언어 모델보다 실제로 더 나은 성능을 보였는데, 이는 여러 언어를 함께 배우는 것이 뇌가 소리를 더 명확하게 이해하는 데 도움이 되었음을 시사합니다.
• 도달 범위: 저자들은 이 모델들이 약 1억 1,500만 명의 모국어 화자를 커버한다고 추정합니다. 하우사어나 나이지리아 피진(Nigerian Pidgin)처럼 무역 언어로 사용되는 언어를 제2외국어로 사용하는 사람들을 포함하면, 그 숫자는 약 2억 9,000만 명으로 급증합니다.

이것이 중요한 이유

이 논문에서 가장 중요한 부분은 기술 그 자체가 아니라 철학입니다. 저자들은 이 모델들을 누구나 상업적 제품에도 사용할 수 있도록(출처를 밝히는 한) 자유롭게 사용할 수 있는 라이선스로 공개했습니다. 그들은 이를 기술의 "민주화"라고 부릅니다.

그들은 이 모델들이 모든 상황에 완벽하다고 주장하지 않습니다. 종교적 낭독을 바탕으로 훈련되었기 때문에, 누군가가 특정 데이터로 미세 조정을 하기 전까지는 시끄러운 시장통이나 슬랭이 섞인 빠른 대화에서는 어려움을 겪을 수 있습니다. 하지만 그들은 등반을 위한 "베이스 캠프"를 제공했습니다. 세상에 견고하고 개방된 토대를 제공함으로써, 개발자, 연구자, 그리고 아프리카 전역의 공동체들이 이제 자신들만의 음성 도구를 구축하여, 디지털 대화에서 소외되었던 수백만 명의 사람들에게 드디어 목소리를 줄 수 있기를 희망합니다.

요약하자면, DONDO는 로봇에게 듣는 법을 가르치기 위해 완벽한 도서관이 필요하지 않다는 것을 증명합니다. 약간의 창의성과 공유된 뇌, 그리고 느리고 신중한 접근 방식이 있다면, 수억 명의 화자들을 위한 미래로 가는 다리를 건설할 수 있습니다.