🤖 AI

Breaking the Curse ofMultilinguality inMany-to-Many Speech-to-Text Translation via a Resource-AwareMixture of Speech Encoders

이 논문은 자원 인식형 음성 인코더 혼합(Mixture of Speech Encoders)과 5단계 커리큘럼 학습 전략을 활용하여 음성-텍스트 번역에서의 다국어 저주를 극복하고, 최소한의 데이터 요구량으로 45개 언어에 걸쳐 최첨단 성능을 달나 달성하는 동시에 고자원 성능을 저해하지 않으면서 저자원 역량을 개선하는 새로운 프레임워크인 MSRT를 소개한다.

원저자: Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Chengpeng Fu, Yu Wang, Ming Liu

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Chengpeng Fu, Yu Wang, Ming Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적이고 시끄러운 국제 기차역에 서 있다고 상상해 보십시오. 이곳은 컴퓨터 과학의 한 분야인 **음성-텍스트 번역(Speech-to-Text Translation)**의 세계입니다. 이 분야는 기계가 누군가가 말하는 언어를 듣고 즉시 다른 언어로 받아 적도록 가르치는 데 전념하고 있습니다. 오랫동안 이 기계들은 완벽한 영어를 구사하지만 그 외의 모든 것에는 비틀거리는 서투른 가이드와 같았습니다. 이들은 먼저 음성을 텍스트로 전사하고(속기사처럼), 그 다음 그 텍스트를 번역하는(사전처럼) 방식으로 작동했습니다. 하지만 이 2단계 과정은 종종 "전화기 게임(telephone game)"이 잘못된 것처럼 오류가 쌓이는 결과를 초래했습니다. 최근 과학자들은 듣고 말할 수 있는 똑똑한 AI 두뇌인 "멀티모달 거대 언어 모델(MLLM)"을 구축하려고 시도해 왔습니다. 꿈은 어떤 언어도 처리할 수 있는 하나의 마법 같은 두뇌를 갖는 것입니다. 하지만 여기 함정이 있습니다. 하나의 두뇌에 45개의 서로 다른 언어를 한꺼번에 가르치려고 하면 혼란이 발생합니다. 이는 마치 45개의 서로 다른 방언을 하나의 배낭에 쑤셔 넣으려는 것과 같습니다. 잘 훈련된 무거운 언어들(영어 또는 스페인어 같은)이 공간을 모두 차지해 버려서, 가벼운 언어들(희귀한 방언 같은)은 숨 쉴 공간조차 남지 않게 됩니다. 이 문제를 "다국어의 저주(curse of multilinguality)"라고 부르며, 이는 AI가 특정 언어에는 매우 능숙해지지만 다른 언어에는 형편없어지게 만듭니다.

여기에 연구원 Yexing Du와 그 팀이 이 '배낭 문제'를 해결하기 위해 제안한 새로운 프레임워크인 MSRT가 등장합니다. 하나의 두뇌가 모든 힘든 일을 다 하게 만드는 대신, 그들은 두 개의 특화된 "귀"(음성 인코더라고 불림)와 교통 관제사(라우터)를 갖춘 스마트한 시스템을 구축했습니다. 이것을 고급 레스토랑의 주방이라고 생각해 보십시오. 보통은 한 명의 헤드 셰프가 간단한 토스트부터 복잡한 수플레까지 메뉴의 모든 요리를 만들려고 노력합니다. 주방이 너무 바빠지면, 셰프가 토스트에 너무 집중한 나머지 수플레를 태워버릴 수도 있습니다. MSRT는 이 게임의 판도를 바꿉니다. 여기에는 인기 있는 고자원 요리(영어 같은)에 완벽하게 고정된(frozen) "마스터 셰프"와, 까다로운 저자원 요리를 전문으로 하며 배우고자 열망하는 "수습 셰프"가 있습니다. 스마트한 웨이터(라우터)는 주문서(말하고 있는 언어)를 보고 즉시 요청을 적절한 셰프에게 보냅니다. 만약 주문이 흔한 언어라면, 마스터 셰프가 아무것도 바꾸지 않고 처리합니다. 만약 희귀한 언어라면, 수습 셰프가 나서서 그 요리에 맞춰 자신의 기술을 조정합니다.

연구진은 이 아이디어를 중국어나 스페인어 같은 흔한 거물부터 크메르어나 라오어 같은 작은 언어까지 포함하는 45개의 서로 다른 언어에 대해 테스트했습니다. 그들은 단순히 몇 가지만 테스트한 것이 아니라, 45개 언어 각각을 다른 모든 언어로 번역하는 모든 가능한 조합을 확인했습니다(총 1,980개의 방향). 결과는 인상적이었습니다. 그들의 40억 파라미터 모델(270억 또는 300억 파라미터 규모의 거대 모델에 비하면 상대적으로 작음)은 훨씬 더 큰 모델과 최고 수준의 상용 API를 제치고 가장 높은 평균 점수를 기록했습니다. 결정적으로, 이 시스템은 희귀한 언어들만 도운 것이 아니라 흔한 언어들의 성능까지 더 향갑시켰으며, 이는 한 분야의 품질을 희생하지 않고도 다른 분야를 개선할 수 있음을 증명했습니다. 또한 그들은 시스템을 효과적으로 훈련시키기 위해 언어당 약 10시간의 쌍을 이룬 음성-텍스트 데이터만 필요하다는 것을 발견했는데, 이는 다른 모델들이 보통 요구하는 양에 비해 아주 적은 양입니다.

논문은 하나의 공유된 음성 인코더가 많은 언어를 처리하는 데 최선의 방법이라는 생각에 명시적으로 반대합니다. 그들은 하나의 인코더가 모든 것을 하도록 강요할 때, 저자원 언어를 개선하는 것이 고자원 언어를 해치는 "제로섬 게임"을 만든다는 것을 보여줍니다. "음성 인코더의 혼합(Mixture of Speech Encoders, MoSE)"을 사용하여 그들은 이 저주를 깼습니다. 이 시스템은 단순한 음성 인식에서 시작하여 점진적으로 번역 과제를 추가하며 단계별로 어려워지는 비디오 게임과 같은 5단계 훈련 전략을 사용합니다. 이러한 단계별 접근 방식은 모델이 압도당하지 않고 학습하는 데 도움을 주었습니다.

실험에서 MSRT 모델은 전반적으로 일관된 성과를 보였습니다. 저자원 언어의 경우 개선 폭이 가장 극적이었으며, 다른 모델들이 고전했던 부분에서 점수를 크게 높였습니다. 하지만 희-귀한 언어를 높이는 대가로 흔한 언어를 희생했을지도 모르는 이전의 시도들과 달리, MSRT는 고자원 언어 또한 강화했습니다. 저자들은 이것이 "고정된 전문가"가 인기 있는 언어의 강력한 지식을 보존하는 동시에, "학습 가능한 전문가"가 더 많은 도움이 필요한 언어에 에너지를 집중하기 때문이라고 설명합니다. 그들은 또한 모델이 매우 뛰어나긴 하지만, 그 번역 품질은 궁극적으로 기반이 되는 "두뇌"(거대 언어 모델)에 의해 제한된다는 점을 언급했습니다. 즉, 기본 모델이 특정 언어를 잘 알지 못한다면 음성 시스템이 마법처럼 그 지식을 만들어낼 수는 없다는 것입니다. 그러나 모델이 다루는 언어들에 대해서는, 그 결과가 모든 언어를 존중하며, 시끄러운 언어가 조용한 언어를 압도하게 두지 않는 더 효율적인 다국어 AI 구축 방식을 제시하고 있습니다.

기술 요약: MSRT를 통한 다대다 음성-텍스트 번역의 다국어 저주 극복

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 음성-텍스트 번역(S2TT)을 발전시켰으나, 다양한 언어를 처리할 때 "다국어의 저주(curse of multilinguality)" 문제를 겪습니다. 현재의 아키텍처는 일반적으로 모든 입력 언어에 대해 단일 공유 음성 인코더를 채택합니다. 언어 범위가 확장됨에 따라, 이러한 설계는 서로 다른 자원 수준(고자원, 중자원, 저자원)을 가진 언어들이 제한된 표현 용량을 두고 경쟁하게 만듭니다.

이러한 경쟁은 성능 불균형을 초래합니다:

고자원 언어(예: 영어, 중국어)는 사전 학습된 음향 지식이 보존되어 강력한 성능을 유지하는 경우가 많습니다.
저자원 언어는 공동 최적화 과정에서 기존의 표현이 덮어쓰여지거나 희소 언어의 특징을 맞추는 데 실패하여 상당한 성능 저하를 겪습니다.
일관성 격차(Consistency Gap): 모델은 종종 영어 중심의 성능(영어-X)은 뛰어나지만, 다대다 번역(비영어-비영어)에서는 성능이 크게 저하되는 현상을 보입니다. 이는 뚜렷한 교차 언어 성능 격차를 만듭니다.

2. 방법론: MSRT 프레임워크

저자들은 자원 보존과 자원 적응을 분리함으로써 이 저주를 깨뜨리기 위해 설계된 프레임워크인 MSRT(Multilingual Speech-to-Text Translation)를 제안합니다. 핵심 혁신은 **자원 인식형 음성 인코더 혼합(MoSE, Mixture of Speech Encoders)**입니다.

A. 음성 인코더 혼합 (MoSE)
단일 공유 인코더 대신, MSRT는 소스 언어에 의해 명시적으로 라우팅되는 비대칭적 역할을 가진 두 개의 동질적인 Whisper 기반 인코더를 활용합니다:

동결된 전문가 ( $E_f$ ): 고자원 언어를 처리합니다. 이 파라미터는 고정되어 일반적인 음성 표현을 보존하고 사전 학습된 음향 지식의 파괴적 망각을 방지합니다.
학습 가능한 전문가 ( $E_t$ ): 중자원 및 저자원 언어를 처리합니다. $E_f$ 와 동일한 가중치로 초기화되며, 미흡하게 표현된 악센트와 음운 패턴에 적응하도록 미세 조정됩니다.
명시적 언어 라우터: 프롬프트 내의 소스 언어 토큰이 어떤 전문가가 발화를 처리할지를 결정합니다. 이 설계는 학습된 게이팅 메커니즘이나 밸런싱 손실(balancing loss)의 필요성을 피하면서 추론 비용을 단일 인코더와 동일하게 유지합니다.

B. 5단계 커리큘럼 학습
최소한의 데이터(언어당 단 10시간의 쌍을 이룬 S2TT 데이터)만으로 효과적인 정렬을 달자, 저자들은 5단계 학습 전략을 도입했습니다:

ASR 정렬: 인코더와 LLM을 동결한 상태에서 다국어 ASR 데이터를 사용하여 음성 어댑터(Q-Former + MLP)를 학습시킵니다.
전문가 특화: MoSE 라우팅을 활성화합니다. 동결된 전문가는 고자원 능력을 보존하고, 학습 가능한 전문가는 중/저자원 음성에 적응합니다.
번역 활성화: 정답 전사(ground-truth transcription)를 포함한 음성 유도 기계 번역(Speech-Guided Machine Translation, SMT)을 도입하여 음성 특징을 동결된 LLM의 번역 지식과 연결합니다.
엔드 투 엔드(End-to-End) SRT: 입력에서 정답 전사를 제거하여, 어댑터가 라우팅된 음성으로부터 전사와 번역을 직접 생성하도록 강제합니다.
공동 적응: LoRA를 통해 LLM의 잠금을 해제하여, 전체 사전 학습된 LLM 가중치를 업데이트하지 않고도 어댑터와 함께 공동 최적화하여 다국어 생성을 음향 입력에 적응시킵니다.

C. 아키텍처 개요
시스템은 MoSE 모듈, 음성 어댑터(특징 압축을 위한 Q-Former 및 차원 정렬을 위한 MLP), 그리고 사전 학습된 LLM(MiLMMT-4B)으로 구성됩니다. 프롬프트에는 인코더 선택과 생성 방향을 각각 제어하기 위한 명시적인 소스 및 타겟 언어 토큰이 포함됩니다.

3. 주요 기여

MoSE 아키텍처: 고자원 지식을 보존하면서 저자원 언어를 위한 표적 적응을 가능하게 함으로써 다국어의 저주를 깨뜨리는 자원 인식형 전문가 혼합 설계.
MSRT-4B 모델: 언어당 10시간의 쌍을 이룬 S2TT 데이터만을 사용하여 45개 언어(11개 언어족 포함) 사이의 모든 번역 방향을 지원할 수 있는 컴팩트한 40억 파라미터 모델.
포괄적 평가: FLEURS 벤치마크에서 모든 1,980개 번역 방향(45개 소스 × 44개 타겟)을 체계적으로 평가하여 광범위하고 신뢰할 수 있는 다대다 번역 능력을 입증함.
오픈 소스: 재현 가능한 연구를 촉진하기 위해 코드와 모델을 공개함.

4. 실험 결과

모델은 FLEURS 데이터셋(45개 언어)과 CoVoST-2 벤치마크에서 평가되었습니다.

전반적인 성능: MSRT-4B는 평균 COMET 점수 83.3을 달성하여, 훨씬 더 큰 규모의 베이스라인인 MCAT-27B(80.9), Qwen3-Omni-30B(77.5), SeamlessM4T-V2-Large(72.5)를 크게 앞질렀습니다. 또한 Gemini-3.5-Flash-Lite API(80.0)보다 높은 성능을 보였습니다.
방향 일관성: MSRT-4B는 1,980개 방향 중 1,552개 방향(78.4%)에서 COMET 점수 80 이상을 달성했습니다. 이에 비해 Gemini API는 928개 방향, SeamlessM4T는 단 117개 방향에서 이 수치를 달성했습니다.
자원 수준별 이득:
- 저자원: MoSE는 저자원 언어에서 가장 큰 이득(+3.0 COMET 포인트)을 제공하여 고자원 언어와의 성능 격차를 크게 좁혔습니다.
- 고자원: 저자원 이득을 위해 고자원 성능을 희생하는 기존 방식과 달리, MoSE는 저자원 결과를 높이는 동시에 고자원 성능도 개선(+1.4 COMET 포인트)했습니다.
파라미터 효율성: 40억 개의 파라미터만 보유했음에도 불구하고, MSRT-4B는 27B 및 30B 파라미터 모델보다 뛰어난 성능을 보여 모델 용량의 효율적 사용을 입증했습니다.
일반화: 모델은 CoVoST-2에서 강력한 교차 데이터셋 일반화 능력과 강력한 제로샷 전이 능력을 보여주었습니다.

5. 의의 및 주장

본 논문은 MSRT가 고자원 성능을 저해하지 않으면서 다국어의 저주를 성공적으로 해결했다고 주장합니다. 자원 수준에 따라 전문화된 인코더로 언어를 명시적으로 라우팅함으로써, 단일 공유 인코더에서 발생하는 경쟁적인 자원 요구로 인한 간섭 문제를 해결합니다.

저자들은 향에 대한 미래의 음성 번역 모델이 영어 중심의 방향에 주로 집중하기보다 포괄적인 다국어 최적화를 우선시해야 한다고 강조합니다. 또한, 그들의 접근 방식이 최소한의 데이터 요구사항으로 견고한 다대다 번역을 달성함으로써, 고품질 다국어 S2TT를 위해 반드시 거대한 데이터 규모가 필수적이라는 통념에 도전한다고 언급합니다.

한계점: 저자들은 MSRT의 번역 품질이 궁극적으로 밑바탕이 되는 사전 학습된 LLM의 기계 번역 능력, 특히 LLM의 사전 학습 단계에서 약하게 표현된 언어 쌍에 의해 제한된다는 점을 인정합니다.