Speech LLMs in Low-Resource Scenarios: Data Volume Requirements and the Impact of Pretraining on High-Resource Languages

모든 언어가 목소리를 가지고 있지만, 오직 소수의 목소리만이 우리 시대의 가장 똑똑한 기계들에게 들릴 만큼 큰 소리를 낼 수 있는 세상을 상상해 보십시오. 오늘날 이야기를 쓰고, 질문에 답하며, 인간처럼 대화할 수 있는 '대규모 언어 모델(LLM)'을 포함한 인공지능은 세계에서 가장 흔한 언어들에는 매우 유창합니다. 하지만 더 작은 공동체들이 사용하는 수천 개의 다른 언어들에 대해, 이 디지털 거인들은 종 often은 벙어리가 됩니다. 이것이 바로 '저자원(low-resource)' 환경의 과제입니다. 즉, 컴퓨터에게 듣고 이해하는 법을 가르칠 만큼 기록된 음성 데이터가 충분하지 않을 때 발생하는 문제입니다.

이를 해결하기 위해 과학자들은 '음성 LLM(Speech LLMs)'을 구축하려고 노력하고 있습니다. 표준적인 LLM을 도서관의 모든 책을 읽었지만 인간의 목소리는 한 번도 들어본 적 없는 아주 똑똑한 사서라고 생각해 보십시오. 이 사서가 음성을 이해하게 만들기 위해, 연구자들은 소리 파동을 사서가 이해할 수 있는 텍스트 형태의 언어로 변환하는 '번역기(프로젝터라고 불림)'를 부착합니다. 여기서 핵심적인 질문은 이것입니다: 이 번역기가 잘 작동하려면 얼마나 많은 연습이 필요할까요? 그리고 만약 희귀한 언어를 위한 연습 재료가 충분하지 않다면, 흔한 언어로 먼저 번서 번역기를 훈련시킨 뒤 짧은 복습 과정만 거치게 할 수 있을까요? 이 논문은 바로 이 점을 파고들어, 우리가 이 디지털 사서들에게 방대한 데이터 없이도 방 안의 가장 조용한 목소리들을 이해하도록 가르칠 수 있는지 테스트합니다.

---

거대한 실험: 사서에게 듣는 법을 가르치기

이 연구를 진행한 연구진은 SLAM-ASR이라고 불리는 특정 설정을 사용하여 "얼마나 많아야 충분한가?"라는 게임을 하기로 했습니다. 여러분에게 글을 완벽하게 읽고 쓸 줄 알지만 아무것도 들을 수 없는 초스마트 로봇 사서(LLM)가 있다고 상상해 보십시오. 또한 소리를 명확하게 들을 수는 있지만 말할 줄은 모르는 첨단 마이크(음성 인코더)도 있습니다. 마법은 그 중간에서 일어납니다. 학습 가능한 작은 '번역기(프로젝터)'가 마이크의 소리 신호를 사서가 읽을 수 있는 노트로 바꾸는 법을 배웁니다.

연구팀은 두 가지 주요 질문을 확인하고 싶었습니다:

1. 데이터 식단: 이 번역기가 새로운 언어를 배우기 위해 얼마나 많은 시간의 녹음된 음성이 필요하며, 그래야 최고 수준의 올인원 음성 시스템(Whisper와 같은)만큼 성능을 낼 수 있을까요?
2. 전이의 기술: 만약 희귀한 언어를 위한 데이터가 부족하다면, 데이터가 풍부한 언어(영어 또는 스페인어 등)로 번역기를 훈련시킨 다음 그것을 희귀한 언어로 '미세 조정(fine-tune)'하는 것만으로 충분할까요? 그것이 구원 투수가 될 수 있을까요?

결과: 많은 연습이 필요하다

먼저, 연구팀은 이탈리아어를 사용하여 번로부터 시작하여 번역기를 훈련할 때 얼마나 많은 데이터가 필요한지 테스트했습니다. 이탈리아어는 실제로 데이터가 풍기한 언어이지만, 컴퓨터에게 아주 적은 양의 데이터만 제공함으로써 데이터가 부족한 상황인 것처럼 가정했습니다.

그 결과, 시스템을 우회할 수는 없다는 것을 발견했습니다. Speech LLM이 단독형 'Whisper' 시스템만큼 성능을 내기 위해서는 번역기가 100에서 200시간 사이의 훈련 데이터를 보아야 했습니다. 만약 10시간만 주었다면, 컴퓨터는 많은 실수를 저지르며 결과가 엉망이 되었습니다. 200시간을 주더라도 시스템은 Whisper 전용 버전보다 약간 더 나은 수준에 불과했습니다.

이는 Speech LLM이 강력하긴 하지만, 아주 적은 양의 데이터로도 작동하는 마법 지팡이는 아니라는 점을 시사합니다. 여전히 자신의 일을 잘 해내기 위해서는 견고한 훈련 시간이 필요합니다. 또한 논문은 '사서'의 선택이 중요하다고 언급했습니다. 특정 모델(EuroLLM 1.7B)이 다른 모델(Salamandra 2B)보다 일관되게 더 나은 성과를 보였는데, 이는 번역기 뒤에 있는 '두뇌'가 번역기 자체만큼 중요하다는 것을 보여줍니다.

좋은 소식: "복습 과정"이 효과가 있다

여기서 이야기는 흥미로워집니다. 연구진은 현실 세계에서 우리는 종종 희귀한 언어를 위한 200시간의 데이터를 가지고 있지 않다는 사실을 깨달았습니다. 그래서 그들은 다른 전략인 **전이 학습(Transfer Learning)**을 시도했습니다.

여러분에게 영어를 완벽하게 구사하는 번역가를 가르친다고 상상해 보십시오. 그다음, 데이터가 매우 적은 스페인의 언어인 갈리시아어(Galician)를 배우게 하고 싶습니다. 처음부터 다시 시작하는 대신, 영어로 훈련된 그 번역가를 데려와서 단 10~15시간의 갈리시아어 오디오를 사용해 짧은 "복습 과정"을 거치게 합니다.

결과는 인상적이었습니다.

• 번역기를 갈리시아어만으로 처음부터 훈련시켰을 때, 모델은 많은 오류를 범했습니다.
• 하지만 이미 영어 또는 스페인어로 훈련된 번역기를 사용하고 나서 갈리시아어 10시간을 준 경우, 오류가 크게 줄어들었습니다.

예를 들어, 단 10시간의 갈리시아어 데이터로 테스트했을 때, '처음부터 학습한' 모델의 오류율은 **18.6%**였습니다. 하지만 스페인어 데이터로 '복습 과정'을 거친 모델은 그 오류율을 **13.9%**로 낮추었습니다. 영어, 스페인어, 이탈리아어 데이터를 결합하여 '다국어' 번역기를 만들었을 때, 결과는 더욱 좋아져서 오류율이 **13.3%**에 도달했습니다.

이는 데이터가 풍부한 언어로 사전 훈련(pre-training)하는 것이 강력한 토대로 작용한다는 것을 시사합니다. 이를 통해 번역기는 일반적인 음성의 규칙을 배울 수 있으며, 따라서 특정 희귀 언어에 적응하기 위해 아주 적은 양의 새로운 데이터만을 필요로 하게 됩니다.

주의점: 모든 곳에서 완벽하지는 않다

"복습 과정"이 적은 양의 데이터에서는 잘 작동했지만, 논문은 몇 가지 한계점을 지적합니다.

• 격차의 축소: 만약 처음부터 훈련시키기 위한 데이터가 많다면(200시간 이상), 사전 훈련된 번역기의 이점은 사라집니다. 스스로 언어를 완전히 배울 만큼 충분한 시간이 있다면, 미리 도움을 받을 필요가 없습니다.
• 도메인의 중요성: 번역기는 '복습'하는 소리가 훈련 내용과 유사할 때 가장 잘 작동합니다. 예를 들어, 스페인어로 훈련된 번역기는 영어로 훈련된 번역기보다 갈리시아어에 더 잘 작동했는데, 이는 스페인어와 갈리시아어가 서로 더 비슷하게 들리기 때문일 가능성이 높습니다.
• 교차 도메인 문제: 시스템은 주제를 전환해야 할 때 여전히 다소 불안정합니다. 만약 일상적인 대화(Common Voice 데이터셋)로 학습하고 뉴스 방송(Fleurs 데이터셋)으로 테스트한다면, 성능이 떨어집니다. 이는 논문에서 확인되었으나 완전히 해결되지는 않은 알려진 문제입니다.

결론

이 논문은 Speech LLM이 컴퓨터가 세계의 희귀 언어들을 이해하도록 돕는 유망한 도구이지만, 아직 "만능 해결책(one-size-fits-all)"은 아니라는 점을 알려줍니다.

• 데이터가 많다면 (200시간 이상): Speech LLM을 매우 뛰어나게 훈련할 수 있지만, 오랜 시간과 많은 컴퓨팅 자원이 필요합니다.
• 데이터가 매우 적다면 (10~15시간): 반드시 다른 언어로 이미 훈련된 번역기를 사용해야 합니다. 그러한 "사전 훈련" 없이는 시스템이 들리는 몇 마디 단어를 이해하는 데 어려움을 겪습니다.

이 연구는 데이터 부족이라는 과제가 여전히 남아있지만, 자원이 풍부한 언어로 사전 훈련을 하고 그 후 저자원 언어로 미세 조정을 하는 전략이 그 간극을 메우는 강력한 방법이라는 결론을 내립니다. 이는 마치 학생에게 수학 기초를 미리 가르쳐서, 몇 년 대신 단 몇 주간의 공부만으로도 새로운 어려운 과목을 마스터할 수 있게 하는 것과 같습니다. 완벽한 해결책은 아닐지라도, AI 시대에 모든 언어가 자신의 목소리를 낼 수 있도록 만드는 거대한 진전입니다.