당신의 휴대폰이 학교에서 배우는 "공식적인" 언어뿐만 아니라, 친구들과 조부모님이 실제로 사용하는 다채롭고 속어 섞인 방식까지 이해하는 세상을 상상해 보세요. 오랫동안 "음성 대화 모델(speech dialogue models)"이라 불리는 가장 똑똑한 컴퓨터 두뇌들은 완벽한 교과서적 만다린어나 영어를 구사하는 엘리트 학생들과 같았습니다. 그들은 이 언어들로는 유창하게 대화할 수 있었지만, 사천 방언이나 광둥어 같은 지역 방언으로 질문을 하면 종종 혼란에 빠지거나, 로봇처럼 단조로운 말투로 말하거나, 혹은 그냥 공식 언어로 돌아가 버리곤 했습니다. 이는 방언이 지역 문화와 가족 간의 유대감의 심장박동이기 때문에 매우 중요한 문제입니다. 문제는 컴퓨터에게 이 방언들을 자연스럽게 말하는 법을 가르칠 수 있는 기록된 대화 데이터가 충분하지 않다는 점입니다. 이는 마치 요리사에게 특정 지역 음식을 가르치려 하는데, 레시피 북은 단 한 권뿐이고 재료도 여기저기 흩어져 있는 상황과 같습니다.

이 논문의 연구진은 DialectS2S라는 새로운 종류의 "음성 대 음성(speech-to-speech)" 모델을 구축함으로써 이 문제를 해결하기로 했습니다. 이 모델은 자원이 부족한 중국어 방언으로 자연스럽게 대화할 수 있도록 설계되었습니다. 연구진은 단순히 몇 개의 희귀한 녹음 데이터를 컴퓨터에게 강제로 암기시키려 하는 대신, 다른 AI 도구들을 사용하여 수천 개의 새로운 연습용 대화를 만들어내는 영리한 방법을 고안했습니다. 또한 그들은 흥미로운 사실을 발견했습니다. 컴퓨터에게 새로운 방언을 가르칠 때, 컴퓨터의 내부 "두뇌"는 생각하는 방식이 변하지만, 말하는 방식은 그대로 유지되어 불일치가 발생한다는 점입니다. 이를 해결하기 위해, 그들은 컴퓨터가 오래되고 경직된 대본을 따르는 대신 자신의 새로운 이해를 바탕으로 스스로 말하도록 가르치는 2단계 훈련법을 개발했습니다. 그 결과는 어떠했을까요? DialectS2S 모델은 만다린어나 영어를 구사하는 능력을 잃지 않으면서도 사천어, 광둥어, 천진 방언과 같은 방언으로 자연스럽고 명확하며 일관된 대화를 나눌 수 있게 되었습니다.

문제점: 지역 말을 못 하는 "로봇"

완벽한 영어와 만다린어로 농담을 아주 잘하는 슈퍼 스마트한 로봇 친구가 있다고 상상해 보세요. 하지만 당신이 고향 방언으로 말을 걸면, 그 로봇은 말을 더듬거나, 고장 난 라디오처럼 들리거나, 혹은 더 최악의 경우 당신의 억양을 무시하고 완벽한 만다린어로 대답해 버립니다. 이것이 바로 현재의 음성 모델들이 겪고 있는 현상입니다. 이 모델들은 주요 언어에 대한 방대한 양의 데이터로 훈련되지만, 방언의 경우 데이터가 매우 부족합니다.

연구진은 이러한 모델들에게 방언 데이터를 단순히 더 많이 가르치려고 시도하는 것이 오히려 역효과를 낼 수 있다는 것을 발견했습니다. 이는 피아니스트에게 예전 곡을 더 빠르고 크게 연주하게 함으로써 새로운 곡을 가르치려는 것과 같습니다. 더 많이 노력할수록 손가락은 더 엉키게 됩니다. 모델이 새로운 방언을 배울 때, 모델의 내부적 "사고"(의미를 이해하는 방식)는 변화하고 진화합니다. 그러나 "말하기" 부분(생각을 소리로 바꾸는 방식)은 여전히 변하지 않은 예전 규칙을 사용하여 교육됩니다. 이로 인해 불일치가 발생합니다. 뇌는 방언으로 생각하고 있지만, 입은 그에 맞지 않는 방식으로 말하려고 하여, 결국 부자연스럽거나 이해하기 어려운 말투가 나오는 것입니다.

해결책: 방언 놀이터 만들기

이 문제를 해결하기 위해 팀은 자원이 부족한 방언을 위해 특별히 설계된 시스템인 DialectS2S를 구축했습니다. 그들은 단순히 사람들이 더 많은 방언 대화를 녹음하기를 기다리지 않고, 그것을 만들어내는 기계를 만들었습니다.

1. 합성 파이프라인 (The "Dialect Factory")
실제 방언 데이터를 찾기가 어렵기 때문에, 그들은 이를 생성하기 위한 파이프라인을 만들었습니다.

• 1단계: 대본 재작성. 기존의 고품질 만다린어 대화를 가져와 거대 언어 모델을 사용하여 사천어, 광둥어, 천진 방언 등으로 "번역"했습니다. 이는 표준 연극을 가져와 등장인물들이 특정 마을 출신처럼 들리도록 대사를 다시 쓰는 것과 같습니다. 이야기는 그대로 유지하되 풍미를 바꾸는 것입니다.
• 2단계: 목소리 합성. 그다음 음성 생성 모델을 사용하여 이 새로운 방언 대본을 오디오로 변 변환했습니다. "사용자" 부분의 대화에는 다양한 목소리를 사용하여 서로 다른 사람들처럼 들리게 했고, "시스템"(AI) 부분의 목소리는 일관되게 유지하여 AI가 하나의 신뢰할 수 있는 캐릭터처럼 들리게 했습니다.
• 3단계: 품질 필터. 모든 AI 생성 음성이 좋은 것은 아닙니다. 그들은 UTMOS라는 도구를 사용하여 로봇처럼 들리거나 발음이 좋지 않은 클립을 자동으로 걸러내어, 고품질의 "골드" 샘플만을 남겼습니다.

2. 2단계 훈련 (The "Self-Correcting Loop")
이것이 핵심 비법입니다. 연구진은 모델의 내부적 이해가 이동하고 있음에도 불구하고, 단순히 예시를 보여주고 "이것을 따라 해"라고 말하는 기존의 훈련 방식이 작동하지 않는다는 것을 깨달았습니다.

• 1단계: 혼합 데이터 미세 조정(Mixed-Data Fine-Tuning). 먼저, 만다린어, 영어, 그리고 새로운 방언 데이터를 섞어서 모델을 가르쳤습니다. 이는 모델이 방언을 이해하도록 돕습니다.
• 2단계: 자기 정렬 음성 감독(Self-Aligned Speech Supervision). 이것이 영리한 부분입니다. 모델에게 오래된 음성 타겟을 복사하도록 강요하는 대신, 모델의 "생각하는 부분(Thinker)"이 스스로 텍스트 응답을 생성하게 했습니다. 그런 다음, 음성 합성기를 사용하여 그 텍스트를 새로운 음성으로 변환했습니다. 그리고 이 새로운 음성을 "말하는 부분(Talker)"의 타겟으로 사용했습니다.
  • 비유: 학생이 말하기를 배우는 상황을 상상해 보세요. 기존 방식에서 선생님은 학생에게 대본을 주고 "이것을 정확히 읽으렴"이라고 말합니다. 새로운 방식에서 학생은 자신이 하고 싶은 말을 생각하고, 그것을 글로 적은 다음, 자신의 단어를 말하는 연습을 합니다. 이는 그들이 말하는 방식이 자신들이 생각하는 것과 정확히 일치하도록 보장하여, "내가 의미하는 것"과 "내가 말하는 것" 사이의 혼란을 제거합니다.

결과: 현지인처럼 말하기

팀은 이 새로운 모델을 여러 최상위 음성 모델들과 비교 테스트했습니다. 결과는 인상적이었습니다.

• 언어 매칭: 특정 방언으로 말하도록 요청받았을 때, DialectS2S는 사천어의 경우 96%, 광둥어 95%, 천진 방언 **91%**의 확률로 정확히 수행했습니다. 다른 모델들이 종종 0% 또는 매우 낮은 수치(한 경쟁 모델의 경우 사천어에서 2.22%)를 기록한 것과 비교하면 큰 차이입니다. 이는 몇 마디 문구만 아는 관광객과 하루 종일 수다를 떨 수 있는 현지인의 차이와 같습니다.
• 응답 품질: 인간이 답변의 자연스러움과 정확도를 평가했을 때, DialectS2S는 모든 방언에 대해 5점 만점에 평균 4.42점을 받았습니다. 다른 모델들은 어려움을 겪었으며, 천진 방언의 경우 점수가 2.06점까지 떨어지기도 했습니다.
• 음성 명료도: 이는 음성을 얼마나 쉽게 이해할 수 있는지를 측정합니다. 연구진은 문자 오류율(Character Error Rate, CER)이라는 지표를 사용했는데, 숫자가 낮을수록 좋습니다. DialectS2S는 방언에 대해 **8.69%**의 CER을 달려 성과를 냈으며, 이는 기존 방언 벤치마크의 평균 성능(11.67%)보다 우수합니다. 이는 그들의 음성이 단순히 "방언스러운" 것에 그치지 않고, 명확하고 이해하기 쉽다는 것을 의미합니다.

이것이 의미하는 바

이 논문은 음성 타겟을 모델의 진화하는 이해와 일치시킴으로써, 컴퓨터가 저자원 방언을 훨씬 더 효과적으로 말하도록 가르칠 수 있음을 시사합니다. 연구진은 단순히 훈련 시간을 늘리는 것(그들이 테스트한 "sft-3ep" 방식)이 새로운 자기 정렬 방식만큼 도움이 되지 않는다는 것을 보여주었습니다. 실제로 훈련을 더 길게 하는 것이 때로는 음성을 덜 명확하게 만들기도 했습니다.

연구진은 코드와 직접 만든 데이터를 포함한 전체 프레임워크를 오픈 소스로 공개했습니다. 이는 누구나 DialectS2S를 사용하여 자신만의 방언 챗봇을 구축할 수 있음을 의미합니다. 현재 모델은 다섯 가지 언어 및 방언(만다린, 영어, 사천어, 광둥어, 천진 방언)을 다루고 있지만, 이제 컴퓨터가 더 많은 지역 언어를 말하도록 가르쳐 디지털 시대에 다양한 문화의 독특한 목소리를 보존할 수 있는 문이 열렸습니다.