당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 단서를 찾는 대신, 세상에서 서서히 사라져 가는 언어를 이해하려고 노력하고 있습니다. 이것이 바로 현장 언어학자들의 일상적인 현실입니다. 이들은 사라져 가는 언어들을 영원히 소실되기 전에 기록하기 위해 세계 곳곳의 외딴 구석으로 여행하며 이야기, 노래, 대화를 녹음하는 과학자들입니다. 그들에게는 수천 시간 분량의 오디오 녹음 파일이 있지만, 거대한 병목 현상이 존재합니다. 바로 그 녹음본을 텍스트로 변환하는 일입니다. 이를 수작업으로 하는 것은 마치 소방 호스에서 쏟아지는 물을 마시려는 것과 같습니다. 시간이 엄청나게 오래 걸리고, 고도의 집중력을 요구하며, 매우 지치게 만듭니다.

이 과정을 가속화하기 위해, 과학자들은 컴퓨터가 대신 듣고 쓰는 법을 가르치려 노력해 왔습니다. 이것을 자동 음성 인식(ASR)이라고 부릅니다. 대화 내용을 듣고 타이핑하는 아주 똑똑한 로봇이라고 생각하면 됩니다. 오늘날 우리에게는 영어 나 스페인어를 아주 잘 이해하는 유명한 "Whisper"와 같은 놀라운 로봇들이 있습니다. 하지만 희귀하거나 잘 알려지지 않은 언어에 있어서 이 로봇들은 종종 혼란을 겪습니다. 이 로봇들은 제대로 작동하기 위해 특정 언어에 맞춰 "훈련"되어야 합니다. 문제는, 이 로봇을 훈련시키는 데 보통 컴퓨터 전문가 팀, 강력한 슈퍼컴퓨터, 그리고 대부분의 언어학자가 갖추지 못한 많은 기술적 노하우가 필요하다는 점입니다. 게다가 까다로운 시작 문제도 있습니다. 만약 엉망진창인 녹음 파일 더미가 있다면, 로봇이 가장 빠르게 학습할 수 있도록 어떤 것을 먼저 입력값으로 주어야 할까요? 가장 깨끗하고 조용한 녹음본을 골라야 할까요, 아니면 가장 흥미로운 단어들이 많이 담긴 것을 골라야 할까요?

이 논문은 Easper(ELAN 통합 자동 음성 인식기)라는 새로운 도구를 소개하며, 그 "어떤 녹음을 먼저 할 것인가?"라는 질문에 답합니다. Easper는 언어학자들이 자신의 녹음 파일을 가져와 정리하고, 코딩 전문가가 아니더라도 웹 브라우저에서 바로 맞춤형 음성 인식 로봇을 훈련시킬 수 있는 사용자 친화적인 노코드(no-code) 앱입니다. 연구진은 이 시스템이 제대로 작동하는지 확인하기 위해 바누아투의 세 가지 언어(비슬라마어, 나프산어, 응구나어)를 대상으로 테스트했습니다. 하지만 진짜 마법은 그들이 발견한 방식에 있습니다. 로봇에게 새로운 언어를 가르칠 때, 로봇이 무엇을 듣느냐보다 무엇을 배우느냐가 더 중요하다는 사실을 발견한 것입니다.

문제점: "콜드 스타트(Cold Start)"와 기술적 장벽

강아지에게 새로운 기술을 가르치려고 한다고 상상해 보세요. 당신에게는 훈련용 영상 더미가 있습니다. 어떤 영상은 조용한 거실에서 촬영되었고(깨끗한 오디오), 어떤 영상은 시끄럽고 혼란스러운 애견 공원에서 촬영되었습니다(노이즈가 있는 오디오). 또한 어떤 영상에서는 강아지가 같은 기술을 반복해서 수행하고, 다른 영상에서는 수백 가지의 서로 다른 기술을 한 번씩 시도합니다.

오랫동안 언어학자들은 음성 인식 로봇을 훈련시키기 시작할 때 "조용한 거실" 영상을 고르는 것이 최선이라고 생각했습니다. 배경 소음이 적고 사람들이 서로 말을 가로막지 않는다면 로봇이 더 빨리 배울 것이라고 가정했습니다. 또한 엄청나게 다양한 단어가 담긴 녹음본을 고르는 것이 가장 좋을 것이라고 생각했습니다.

하지만 이 논문의 연구자들은 대부분의 현장 언어학자가 이러한 복잡한 훈련 시스템을 설정할 기술적 능력이 없다는 사실을 깨달았습니다. 그것은 마치 페라리를 가지고 있지만 운전면허증이 없는 것과 같습니다. 그들은 이 과정을 "원클릭" 버튼처럼 간단하게 만들 방법이 필요했습니다. 또한 "조용한 오디오"가 정말로 효과가 있는지에 대한 가설을 검증할 필요가 있었습니다.

해결책: "노코드(No-Code)" 워크숍으로서의 Easper

연구팀은 언어학자의 노트와 컴퓨터의 뇌 사이를 잇는 가교 역할을 하는 휴대 가능한 오픈 소스 워크플로우인 Easper를 구축했습니다.

1. 설정: 언어학자들은 ELAN이라는 표준 도구를 사용하여 오디오 파일을 마킹합니다(마치 책에서 문장에 하이라이트를 치는 것처럼). Easper는 이 파일들을 가져와 훈련을 위해 자동으로 준비합니다. 문장이 너무 길거나 두 사람이 동시에 말하는 등의 오류가 있는지 확인하고, 언어학자에게 수정할 수 있는 간단한 보고서를 제공합니다.
2. 훈련: 베이스먼트에 슈퍼컴퓨터를 두는 대신, Easper는 클라우드 리소스(Google Colab 등)를 사용하여 무거운 작업을 처리합니다. Easper는 언어학자의 데이터를 가져와 "Whisper"(구체적으로 약 2억 4,400만 개의 파라미터를 가진 "small" 버전)라는 강력한 모델을 미세 조정(fine-tuning)합니다.
3. 결과: 모델 훈련이 완료되면, 언어학자는 인터넷 연결 없이도 자신의 노트북에서 모델을 다운로드하여 사용할 수 있습니다. 그러면 로봇이 전사되지 않은 새로운 녹음본을 듣고, 누가 말하고 있는지 파악하여 텍스트를 작성합니다. 언어학자는 그저 내용을 읽으며 틀린 부분을 수정하기만 하면 되는데, 이는 처음부터 다시 시작하는 것보다 훨씬 빠릅니다.

핵심적인 발견: 반복이 정적을 이긴다

이 논문에서 가장 흥ral한 부분은 "콜드 스타트" 문제를 해결하기 위해 실시한 실험입니다. 연구진은 어떤 녹음을 로봇에게 먼저 먹여줄지 결정해야 하는 상황을 시뮬레이션했습니다. 그들은 다섯 가지 전략을 테스트했습니다:

1. 무작위(Random): 그냥 무작위로 선택함.
2. 가장 깨끗한 오디오 우선(Cleanest Audio First): 신호 대 잡음비(SNR)가 가장 좋고 사람들이 서로 말을 가로막는 정도가 가장 낮은 녹음본을 선택함.
3. 가장 많은 단어 우선(Most Words First): 고유 단어의 다양성(Type-Token Ratio)이 가장 높은 녹음을 선택함.
4. 가장 많은 반복 우선(Most Repetition First): 동일한 단어가 자주 반복되는 녹음(Normalized Token-to-Type Ratio)을 선택함.

연구진은 이 시뮬레이션을 세 가지 언어인 비슬라마어(약 30만 명의 화자가 있는 크리올 언어), 나프산어(약 5,000명의 화자가 있는 토착 언어), 응구나어(약 9,500명의 화자가 있는 또 다른 토착 언어)에 대해 실행했습니다. 그리고 로봇의 실수가 얼마나 빨리 줄어드는지를 측정하기 위해 문자 에러율(Character Error Rate, CER)이라는 점수를 사용했습니다. 즉, 로봇이 글자를 얼마나 틀리는지를 계산한 것입니다.

결과: "가장 깨끗한 오디오 우선" 전략은 실제로 시작 단계에서 가장 좋지 않은 방법 중 하나였습니다. 로봇은 조용한 녹음본으로부터 크게 빠르게 배우지 못했습니다. 사실, 가장 효과적이었던 전략은 **반복을 우선시하는 것(ToTy)**이었습니다.

연구진은 로봇이 다소 시끄럽거나 사람들이 말을 가로막는 상황이라 할지라도, 동일한 단어와 구절이 계속해서 반복되는 녹음을 입력받았을 때 가장 빠르게 학습한다는 것을 발견했습니다. 현대의 AI 모델(Whisper와 같은)은 이미 배경 소음을 무시하는 데 매우 능숙하기 때문입니다. 이 모델들에게 정말 필요한 것은 소리가 특정 글자와 어떻게 연결되는지 파악할 수 있도록 동일한 단어를 여러 번 보여주는 것입니다.

이것은 새로운 노래를 배우는 것과 같습니다. 만약 당신이 완벽한 스튜디오 품질의 녹음본을 한 번 듣는다면, 가사를 배우지 못할 수도 있습니다. 하지만 약간 지직거리는 라이브 버전을 듣더라도 후렴구가 열 번 반복된다면, 당신은 훨씬 더 빨리 가사를 익힐 수 있습니다. 핵심은 완벽한 음질이 아니라 반복입니다.

이것이 왜 중요한가

이 발견은 현장 언어학자들에게 게임의 판도를 바꿉니다. 오랫동안 그들은 프로젝트를 시작하기 위해 "완벽하고" 조용한 녹음본을 찾기 위해 시간을 허비했거나, "너무 시끄럽다"는 이유로 번화한 시장이나 가족 모임에서의 녹음을 피했을지도 모릅니다.

이 논문은 그것이 잘못된 접근 방식임을 시사합니다. 만약 희귀 언어를 위한 음성 인식 도구를 빠르게 구축하고 싶다면, 언어적 풍부함과 반복을 우선시해야 합니다. 배경 소음이 있더라도 사람들이 핵심 어휘를 반복해서 사용하는 이야기를 녹음하십시오. 로봇은 소음을 처리할 수 있습니다. 로봇에게 필요한 것은 그 언어의 "뼈대"를 이해할 수 있게 해줄 반복입니다.

Easper를 통해 언어학자들은 이제 컴퓨터 전문가나 값비싼 하드웨어 없이도 작업을 수행할 수 있습니다. 그들은 현장 녹음물을 가져와 반복적이고 풍부한 어휘를 가진 것을 골라, 나머지 자료를 전사하는 데 도움을 줄 자신만의 맞춤형 로봇을 훈련시킬 수 있습니다. 이는 더 많은 언어가 사라지기 전에 기록되고, 보존되며, 해당 공동체에 접근 가능하도록 만드는 것을 의미합니다.

요컨대, 이 논문은 컴퓨터에게 새로운 언어를 가르칠 때, 반복은 스승이며 소음은 그저 배경 음악일 뿐이라는 것을 보여줍니다. 로봇은 조용한 방을 원하는 것이 아니라, 그 단어들을 이해할 수 있을 만큼 충분히 많이 듣기를 원합니다.