당신이 '네모트론(Nemotron)'이라고 불리는 로봇에게 세상의 소리를 듣는 법을 가르치고 있다고 상상해 보세요. 이 로봇은 이미 많은 언어를 이해하는 데 능숙한 천재이지만, 주로 크고 대중적인 언어들에 익숙해져 있습니다. 이제 당신은 이 로봇에게 케냐에서 사용되는 세 가지 특정 언어인 키쿠유어(Kikuyu), 돌루오어(Dholuo), 칼렌진어(Kalenjin)를 가르치고 싶습니다. 이것이 바로 **자동 음성 인식(ASR)**의 세계입니다. ASR을 로봇의 '귀'와 '뇌'가 함께 작동하여 음파를 텍스트로 변환하는 과정이라고 생각하면 됩니다.

하지만 까다로운 점이 있습니다. 로봇에게 새로운 언어를 가르치는 것은 단순히 노래 몇 곡을 들려주는 것이 아닙니다. 그것은 마치 재료가 엉망이고, 지침서는 당신이 완전히 이해하지 못하는 코드로 작성되어 있으며, 주방 도구 중 일부가 빠져 있는 상태에서 요리사에게 새로운 레시피를 가르치는 것과 같습니다. AI의 세계에서 이것은 '저자원(low-resource)' 문제라고 불립니다. 이는 단순히 오디오 데이터가 부족하다는 의미만이 아닙니다. 오디오에 이상한 철자 오류가 있거나, 누락된 부분이 있거나, 혹은 실제 단어와 글리치(glitch)를 구분하기 어렵게 만드는 혼란스러운 배경 소음이 있다는 것을 의미합니다.

이 논문은 엔지니어 팀이 이 똑똑한 로봇에게 관련 언어를 이용한 특별한 '가교(bridge)' 레슨을 제공하고, 그 후 이 세 가지 케냐 언어를 가르치려고 시도한 과정을 담은 이야기입니다. 그들은 단순히 단어를 이해시키길 원한 것이 아니라, 문장이 다 끝날 때까지 기다리는 것이 아니라 마치 전화 통화를 하는 사람처럼 실시간으로 듣기를 원했습니다. 이것은 데이터 탐정 작업, 망가진 지침서 수정, 그리고 적절한 도구와 인내심을 갖추었을 때 로봇이 어디까지 갈 수 있는지 확인하는 과정에 대한 이야기입니다.

케냐 언어 프로젝트 이야기

C-elo Labs의 마크 가테레(Mark Gatere)가 작성한 이 논문은 본질적으로 공학 일기입니다. 이 논문은 거대한 사전 학습 모델(Nemotron 3.5)을 키쿠유어, 돌루오어, 칼렌진어를 이해하도록 적응시키는 과정을 기록하고 있습니다. 팀은 처음부터 시작하지 않았습니다. 그들은 '가교'에서 시작했습니다. 그들은 이미 케냐 스와힐리어를 배운 버전의 로봇을 가져와 이를 출발점으로 삼았습니다. 이것은 스페인어를 이미 알고 있다면 이탈리아어를 배우는 것과 비슷합니다. 두 언어가 완벽한 쌍둥이는 아닐지라도, 문법과 어휘가 충분히 가까워 엄청난 유리함을 안고 시작하는 것입니다.

탐정 작업: 데이터 정제
로봇이 배우기 전에, 팀은 데이터 탐정 역할을 해야 했습니다. 원본 오디오 파일들은 엉망이었습니다. 어떤 파일은 오디오가 누락되었고, 어떤 것은 텍odd한 기호(예를 들어, 침묵 대신 '긴 휴지'라고 텍스트로 적힌 경우)가 포함된 전사 데이터를 가지고 있었으며, 어떤 것은 실제 소리와 맞지 않는 철자를 가지고 있었습니다.

• "삭제냐 수정이냐"의 딜레마: 팀은 어려운 선택에 직면했습니다. 만약 전사 데이터에 이상한 기호가 있다면, 그것이 무엇을 의미하는지 추측해서 고쳐야 할까요, 아니면 그냥 그 녹음 전체를 버려야 할까요? 그들은 추측하는 것이 너무 위험하다고 결정했습니다. 만약 화자가 무엇을 말했는지 100% 확신할 수 없다면, 해당 행을 삭제하기로 했습니다. 이것은 마치 요리사가 재료가 설탕인지 소금인지 확신할 수 없다면, 나쁜 맛을 낼 위험을 감수하기보다 케이크를 버리는 것과 같습니다. 이로 인해 일부 데이터를 잃었지만, 남은 데이터는 신뢰할 수 있었습니다.
• "마커(Marker)" 문제: 칼렌진어 데이터에서 팀은 텍스트에 [pause]나 [cs](코드 스위칭) 같은 작은 메모들이 적혀 있는 것을 발견했습니다. 로봇은 "pause"라는 단어를 소리 내어 말하는 법을 배우려 하고 있었습니다! 팀은 로봇이 침묵과 언어 전환을 인식하게 하되, 그 현상을 설명하는 단어 자체를 배우지 않도록 이 메모들을 완전히 제거해야 했습니다.

학습: 단거리 경주가 아닌 마라톤
데이터가 깨끗해진 후, 그들은 학습을 시작했습니다. 그들은 로봇을 한 번만 훈련시킨 것이 아니라, 비디오 게임에서 레벨을 올리는 것처럼 단계별로 진행했습니다.

1. 전체 파라미터 튜닝(Full-Parameter Tuning): 몇 가지 설정만 조정하는 대신, 로봇이 이 특정 언어들을 위해 소리를 처리하는 방식에 대해 거의 모든 것을 다시 배울 수 있도록 했습니다.
2. 스트리밍 모드(Streaming Mode): 결정적으로, 그들은 로봇을 "스트리밍" 모드로 유지했습니다. 이는 로봇이 문장이 끝날 때까지 기다리지 않고, 소리가 들어오는 대로 조각조각 단어를 예측해야 함을 의미합니다. 이것은 완성된 책을 읽는 것과 실시간 라디오 방송을 받아쓰는 것의 차이와 같습니다. 훨씬 더 어렵지만, 실제 애플리케이션에서는 훨씬 더 유용합니다.

결과: 얼마나 잘 해냈는가?
이 논문은 무엇이 성공했고 무엇이 실패했는지에 대해 매우 솔직합니다. 그들은 이 언어들을 "해결했다"고 주장하지 않지만, 엄청난 진전을 보여줍니다.

• 키쿠유어(Kikuyu): 로봇은 매우 뛰어난 성능을 보였습니다. 모든 정제와 훈련을 거친 후, **단어 오류율(WER) 42.97%**를 달로했습니다. 쉬운 말로, 로봇이 100단어를 들었다면 약 57단어를 맞혔다는 뜻입니다. 이는 시작 지점보다 엄청난 발전입니다. 또한 그들은 "공백 없는 문자 오류율(No-Space Character Error Rate)"이 **7.79%**임을 측정했는데, 이는 단어 경계(예: "in ya"를 "inya"로 쓰는 것)를 틀리더라도 실제 글자는 대부분 정확했다는 것을 의미하는 세련된 표현입니다.
• 돌루오어(Dholuo): 이 언어는 더욱 좋은 성과를 냈으며, **WER 33.98%**를 기록했습니다. 로봇은 여기서 실수를 덜 했으며, 약 3분의 2의 단어를 맞혔습니다.
• 칼렌진어(Kalenjin): 이것은 여전히 "진행 중인 작업"입니다. 필터링된 테스트 세트에서 로봇은 68.74%의 WER을 기록했습니다. 이는 높은 오류율로, 로봇이 여전히 고전하고 있음을 의미합니다. 저자들은 이 점수가 최종 결과가 아닌 "진단적" 결과라고 설명하는데, 이는 숫자가 포함되거나 짧은 문장인 데이터를 모두 제거하는 등 테스트 기준을 매우 엄격하게 적용했기 때문입니다. 그들은 여전히 이 언어를 가르치는 최선의 방법을 찾아가는 중입니다.

논문이 주장하지 않는 것
저자들은 결과를 과장하지 않기 위해 매우 주의를 기울였습니다.

• "최첨단(State-of-the-Art)" 주장 없음: 그들은 자신들이 아직 세계 최고가 아니라고 명시적으로 밝힙니다. 그들은 동일한 테스트를 사용하여 다른 모든 로봇과 비교하지 않았습니다. 그들의 수치는 내부적인 수치이며, 즉 자신들의 진전을 추적하는 데는 훌륭하지만, 전 세계를 위한 최종 성적표는 아닙니다.
• "가교"의 미스터리: 그들은 케냐 스와힐리 모델을 출발점으로 사용했지만, 이것이 아무것도 학습되지 않은 로봇에서 시작하는 것보다 더 나은 방법이라는 것을 증명하지는 못했습니다. 그것은 효과가 있었던 영리한 추측이었지만, 그것이 유일한 길임을 입증하기 위한 병렬 테스트를 수행하지는 않았습니다.
• "반복된" 테스트: 그들은 결정을 내리기 위해 동일한 테스트 데이터를 반복해서 사용했습니다. 비록 훈련 중에 로봇에게 정답을 직접 보여주지는 않았지만, 결정을 내릴 때 결과를 참고했습니다. 이는 팀이 테스트 질문에 너무 익숙해졌기 때문에 결과가 약간 낙관적일 수 있음을 의미합니다.

실제 환경 테스트
팀은 숫자에서 멈추지 않았습니다. 그들은 사용자가 웹 브라우저를 통해 로봇에게 말을 걸면 로봇이 실시간으로 텍스트를 입력하는 프로토타입 시스템을 구축했습니다. 그들은 돌루오어 버전이 고장 나더라도 키쿠유어 버전에는 영향을 주지 않도록 시스템을 격리했습니다. 또한 로그인한 사용자만 서비스에 접근할 수 있도록 보안 설정을 하여 로봇의 '두뇌'가 도난당하는 것을 방지했습니다.

핵-심 요약
이 논문은 "데이터 중심(data-centric)" AI의 교본입니다. 강력한 로봇 모델을 갖는 것만으로는 충분하지 않으며, 당신이 로봇에게 먹이는 데이터를 세심하게 편집해야 한다는 것을 보여줍니다. 전사 데이터를 정리하고, 혼란스러운 "메모"를 제거하며, 실시간으로 듣도록 로봇을 훈련함으로써, 그들은 범용 AI를 케냐 언어에 특화된 도구로 탈바꿈시켰습니다.

키쿠유어와 돌루오어의 경우, 그들은 유용할 만큼 작동하는 라이브 시스템을 보유하고 있습니다. 칼렌진어의 경우, 무엇이 고장 났고 어떻게 고칠지에 대한 로드맵을 가지고 있습니다. 가장 큰 교훈은 이 세 가지 언어에 국한된 것이 아닙니다. 저자원 언어의 핵심 비결은 더 큰 컴퓨터가 아니라, 더 나은 데이터 위생(data hygiene)과 세심하고 단계적인 엔지니어링 프로세스라는 것입니다. 로봇은 배우고 있지만, 인간이 먼저 엉망인 상황을 치우는 힘든 작업을 수행했기에 배울 수 있는 것입니다.