← 최신 논문
⚡ 전기공학

21Codec: Decoder-side Speaker Control for Text-to-Speech

본 논문은 적대적 학습과 데이터 증강을 사용하여 토큰 스트림 내의 화자 정보를 최소화함으로써 청크 간의 일관된 화자 정체성을 보장하고, 이를 통해 디코더 측의 견고한 화자 제어를 달성하는 스트리밍 텍스트 음성 변환 모델인 21Codec을 제안한다.

원저자: David Lindevelt, Suzan Verberne, Joost Broekens

게시일 2026-11-19
📖 3 분 읽기☕ 가벼운 읽기

원저자: David Lindevelt, Suzan Verberne, Joost Broekens

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 문장을 읽고 그 사람 특유의 어조와 리듬까지 갖춘 특정 인물의 목소리로 똑같이 말할 수 있는 세상을 상상해 보십시오. 이것이 바로 현대 텍씨트 음성 변환(text-to-speech) 기술이 약속하는 바이며, 이 분야는 로봇 같은 비프음에서 벗어나 거의 인간에 가까운 사실주의로 진화해 왔습니다. 이러한 능력의 핵심에는 오디오 압축, 즉 코덱이라 불리는 중요한 단계가 있습니다. 이 과정을 긴 소설을 일련의 약어 노트로 바꾸는 것과 같이, 가공되지 않은 음파를 압축된 디지털 토큰 스트림으로 변환하는 번역가라고 생각하십시오. 이 노트들은 디코더로 전송되어 소리를 재구성합니다. 수년 동안 이러한 시스템은 잘 작동해 왔지만, 실시간으로 말하도록 요청받았을 때 난관에 부딪혔습니다. 실시간 대화를 따라잡기 위해 컴퓨터는 아주 작고 빠른 폭발적인 단위로 소리를 처리해야 합니다. 문제는 시스템이 이 작은 단위만을 근거로 누가 말하고 있는지 추측하려고 할 때, 종종 길을 잃어 문장 중간에 목소리가 흔들리거나 다른 정체성으로 변해버린다는 점입니다.

네덜란드 라이덴 대학교의 연구진은 21Codec라고 명명한 새로운 시스템을 통해 이러한 불안정성을 해결했습니다. 그들의 연구는 현재의 기계들이 목소리의 정체성을 다루는 방식의 근본적인 결함을 다룹니다. 기존 모델에서 컴퓨터는 지금까지 생성된 전체 노트 시퀀스를 살펴봄으로써 누가 말하고 있는지를 파악하려고 시도합니다. 하지만 시스템이 실시간으로 작동해야 할 때는 한 번에 아주 작은 조각만을 볼 수 있습니다. 결과적으로 시스템은 매 조각마다 화자의 정체성을 다시 추측하게 되며, 이러한 추측들이 서로 충돌하여 마치 목소리가 자신이 누구인지에 대해 마음을 바꾸는 것처럼 들리게 만듭니다. 연구진은 이것이 소리를 디코딩하는 방식의 문제가 아니라, 정보가 저장되는 방식의 문제라고 주장합니다. 그들은 목소리의 정체성이 노트 안에 숨겨져서 추측되기를 기다리는 것이 아니라, 별도의 지시 사항으로서 디코더에 직접 제공되어야 한다고 제안합니다.

이를 달ắt하기 위해 연구팀은 디지털 노트가 디코더로 전송되기 전에 화자의 정체성을 능동적으로 제거하는 시스템을 구축했습니다. 그들은 '교사(teacher)'를 활용한 영리한 기법을 사용하여 모델을 훈련시켰는데, 이 교사는 노트로부터 화자를 식별하려고 시도합니다. 모델은 이 교사를 속이는 법을 배우며, 효과적으로 압축된 데이터 스트림 내에 화자의 정체성을 숨깁니다. 시스템은 노트가 목소리를 전달하는 것에 의존하는 대신, 원하는 화자의 특정 디지털 지문인 별도의 제어 신호를 사용하여 재구성을 유도합니다. 이 신호는 프로세스의 맨 마지막 단계에 적용되어, 데이터 조각이 아무리 작더라도 첫 단어부터 마지막 단어까지 목소리가 일관되게 유지되도록 보장합니다. 연구진은 단일 노트 시퀀스를 가져와 서로 다른 목소리 지문으로 재생함으로써, 단어와 문장의 의미를 바꾸지 않고도 화자를 성공적으로 변경할 수 있음을 테스트했습니다.

결과는 이러한 접근 방식이 안정적인 목소리를 유지하는 데 매우 효과적임을 보여줍니다. 시스템이 동일한 노트 시퀀스를 작은 실시간 조각으로 디코딩했을 때, 이전 모델에서 목소리가 눈에 띄게 변했던 것과 달리 목소리가 표류하지 않았습니다. 연구팀은 추가 데이터를 보내거나 파일 크기를 늘리지 않고도, 제어 신호를 교체함으로써 오디오가 생성되는 동안 화자의 정체성을 변경할 수 있다는 것을 발견했습니다. 그러나 이러한 제어 능력의 향상은 약간의 절충안을 동반합니다. 목소리가 자연스럽고 화자의 정체성이 안정적이긴 하지만, 화자 정보를 제거하지 않는 모델에 비해 정확히 단어를 보존하는 능력은 약간 떨어집니다. 연구진은 컴퓨터가 단어를 잘못 알아듣는 빈도를 체크하여 이를 측정했으며, 전체적인 음질은 높게 유지되었으나 오류가 약간 증가했음을 발견했습니다.

이 연구는 실시간 번역이나 대화형 비서와 같은 실시간 응용 분야를 위해 텍스트 음성 변환 시스템이 진정으로 신뢰할 수 있게 되려면, 목소리의 정체성을 처리하는 방식이 바뀌어야 함을 시사합니다. 목소리를 정의하는 책임을 압축된 노트에서 외부 제어 신호로 옮김으로써, 시스템은 목소리가 표류하게 만드는 혼란을 피할 수 있습니다. 연구진은 자신들의 모델이 여전히 개선 중이며, 예산 제약으로 인해 훈련을 조기에 중단했기 때문에 보고된 수치가 보수적일 수 있음을 인정합니다. 그럼에도 불구하고 그들의 연구 결과는 명확한 방향을 제시합니다. 즉, 목소리는 몇 개의 노트를 통해 풀어야 할 미스터리가 아니라, 기계에 의해 명시적으로 선택되는 선택지가 되어야 하며, 이를 통해 말하는 사람이 처음부터 끝까지 동일한 사람임을 보장할 수 있다는 것입니다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →