Benchmarking Large Language Models for Grapheme-to-Phoneme Conversion: A Japanese Case Study
이 논문은 30개 이상의 거대 언어 모델을 대상으로 일본어 자소-음소 변환 성능을 벤치마킹하였으며, 규칙 기반 후처리가 포함된 파스 모드(parse mode)를 사용하는 특화 모델이 발음 정확도 측면에서 기존 도구 및 엔드 투 엔드 음성 합성 시스템보다 크게 우수함을 입증하였다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 로봇에게 일본어를 가르치려고 노력하고 있다고 상상해 보세요. 로봇은 쓰인 글자(복잡한 그림 같은 한자 등)를 읽을 수는 있지만, 그것을 소리 내어 읽는 법은 자동으로 알지 못합니다. 이것이 바로 음절-음소 변환(Grapheme-to-Phoneme, G2P), 즉 텍스트를 말하는 데 필요한 소리(음소)로 바꾸는 작업입니다.
일본어의 경우, 컴퓨터에게는 악몽과 같습니다.
- 띄어쓰기 없음: 단어들이 띄어쓰기 없이 이어져 있어, 컴퓨터는 어디서 단어가 끝나고 다음 단어가 시작되는지 추측해야 합니다.
- 다양한 의미: 하나의 글자가 문맥에 따라 여러 가지 소리를 낼 수 있습니다 (영어의 "read"가 "I read a book"에서는 다르게, "I will read"에서는 다르게 들리는 것과 같습니다).
- 까다로운 규칙: 작은 문법 조사들이 다음에 오는 말에 따라 소리가 변하며, 숫자와 단위(예: '물 한 컵' vs '두 컵')가 결려 있을 때 소리가 매우 불규칙하게 변합니다.
수년 동안 우리는 이 문제를 해결하기 위해 특화된 규칙 기반 소프트웨어(엄격한 사전와 같은 방식)를 사용해 왔습니다. 하지만 최근에는 에세이를 쓰고 우리와 대화하는 것과 같은 똑같은 AI 두뇌인 **대규모 언어 모델(LLM)**이 이 일을 시도할 만큼 강력해졌습니다.
이 논문은 어떤 AI가 일본어 텍스트를 가장 잘 읽는지 겨루는 거대한 경주입니다.
두 가지 전략: "번역가" vs "마술사"
연구진은 AI에게 이 작업을 수행하도록 요청하는 두 가지 방법을 테스트했습니다.
"번역가" 모드 (파싱 모드 - Parse Mode):
- 작동 방식: AI에게 먼저 문장을 개별 단어로 분해하고(사전 찾기처럼), 각 단어의 소리를 구조화된 목록으로 작성하도록 요청합니다. 그 후, 단순한 컴퓨터 규칙(철자 검사기와 같은)이 최종적인 소리를 수정합니다 (예: 특정 문법 조사에서 "ha"를 "wa"로 변경).
- 비유: 이는 번역가를 고용해 단어별 용어집을 작성하게 한 뒤, 인간 편집자가 마지막에 문법을 빠르게 수정하게 하는 것과 같습니다. AI는 복잡한 규칙을 걱정할 필요 없이, 오직 단어를 식별하는 데만 집중하면 됩니다.
"마술사" 모드 (직접 모드 - Direct Mode):
- 작동 방식: 당신은 AI에게 "여기 문장이 있으니, 한 번에 최종 소리를 내놓으라"고 말합니다. AI는 단어를 찾고, 소리를 추측하고, 모든 까다로운 문법 규칙을 동시에 적용하는 모든 일을 한꺼번에 수행해야 합니다.
- 비유: 이는 마술사에게 모자에서 토끼, 비둘기, 그리고 또 다른 비둘기를 한 번의 매끄러운 동작으로 꺼내 달라고 요청하는 것과 같습니다. 우아하지만, 만약 AI가 아주 작은 규칙 하나라도 놓친다면 전체 마술은 실패하게 됩니다.
경주 결과
연구진은 3,000개의 문장을 대상으로 30개 이상의 다양한 AI 모델(저렴하고 작은 모델부터 거대하고 비싼 모델까지)을 테스트했습니다. 결과는 다음과 같습니다.
클수록 좋다: 더 큰 뇌가 더 많은 사실을 기억할 수 있는 것처럼, 더 큰 AI 모델일수록 실수를 훨씬 적게 했습니다. 가장 작은 모델들은 혼란을 겪으며 종종 무작위 단어를 추측했지만, 가장 큰 모델들은 믿기 힘들 정도로 정확했습니다.
특화된 학습이 중요하다: 훈련 과정에서 일본어를 더 많이 "배운"(일본어 특화) AI 모델들이, 제너릭(범용) 모델이 아무리 거대하더라도 제너릭 모델보다 훨씬 뛰어난 성능을 보였습니다.
승자: "번역가"(파싱) 모드가 거의 모든 경우에서 명백한 승자였습니다. AI가 단어를 식별하는 데만 집중하게 하고, 단순한 규칙 검사기가 복잡한 문법을 처리하도록 함으로써 오류가 크게 줄어들었습니다.
- 최고의 결과: 최고의 AI(Claude Opus 4.6)는 글자 중 0.52% 미만에서만 실수를 저질렀습니다.
- 구세대 방식: 기존의 전통적인 소프트웨어(OpenJTalk)는 글자의 **1.03%**에서 실수를 저질렀습니다.
- 시사점: 새로운 AI는 기존 표준 도구보다 약 두 배 더 정확합니다.
"마술사"가 이기는 경우: 흥령하게도, 극도로 똑똑한 몇몇 AI 모델의 경우 "마술사"(직접) 모드가 약간 더 효과적이었습니다. 이 초지능 모델들은 복잡한 지침을 따르는 능력이 매우 뛰어나서 규칙 검사기의 도움을 받을 필요가 없었습니다. 그러나 대부분의 모델에게 모든 것을 한꺼번에 하도록 시키는 것은 혼란을 야기했습니다.
실제로 소리가 좋게 들리는가?
연구진은 단순히 AI가 글자를 맞게 맞췄는지만 확인한 것이 아니라, 로봇 목소리가 자연스러운지도 확인했습니다.
그들은 AI가 생성한 소리를 텍스트 음성 변환(TTS) 시스템에 입력했습니다. 그리고 이를 "엔드 투 엔드(End-to-End)" 시스템(AI가 중간 단계 없이 텍스트를 직접 목소리로 바꾸려는 방식)과 비교했습니다.
- 결과: AI 보조 방식("번역가" 모드 사용)은 엔드 투 엔드 시스템보다 훨씬 명확한 발음(잘못된 단어가 적음)을 만들어냈습니다.
- 주의점: 더 정확함에도 불구하고, 소리는 엔드 투 엔드 시스템만큼이나 자연스럽고 인간처럼 들렸습니다.
결론
이 논문은 로봇이 일본어를 명확하게 말하게 하고 싶다면, 특히 일반 사전에 없는 까다로운 이름이나 단어의 경우, 현대적인 대규모 언어 모델을 사용하는 것이 최선의 방법임을 증명합니다.
하지만, 단순히 AI에게 "모든 것을 다 하라"고 해서는 안 됩니다. 비결은 AI에게 먼저 문장을 단어로 나누도록 요청하고(파싱 모드), 그 다음 단순한 컴퓨터 프로그램이 최종적인 소리를 수정하게 하는 것입니다. 이 조합은 놀랍도록 정확하면서도 놀라울 정도로 인간적인 목소리를 만들어냅니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.