기술 요약: MAVL 및 SylAVL-CoT

문제 정의

가사 번역은 "가창성(singability)"—즉, 번역된 가사가 의미와 시적 구조, 음악적 리듬을 유지하면서 멜로디에 적합하게 들어맞는 능력—을 우선시하는 특화된 영역입니다. 이 작업은 표준 텍스트 번역보다 훨씬 더 복합적인데, 이는 문자 그대로의 의미와 음악적 제약(음절 수, 리듬, 각운) 사이의 균형을 맞추어야 하며, 종종 비직역적인 적응(adaptation)을 필요로 하기 때문입니다.

이러한 도전 과제는 애니메이션 뮤지컬의 맥락에서 더욱 심화됩니다. 가사는 오디오뿐만 아니라 시각적 단서(캐릭터의 동작, 장면의 맥락)와도 일치해야 합니다. 기존의 접근 방식은 주로 텍스트 기반 또는 텍스트 및 악보 기반 방식에 국한되어 있어, 자연스럽고 가창 가능한 번역을 위해 필요한 완전한 멀티모달 맥락을 포착하는 데 실패합니다. 또한, 기존 데이터셋은 종종 여러 모달리티(텍스트, 오디오, 비디오) 및 언어 간의 정렬이 부족하여, 이러한 다양한 입력을 효과적으로 통합할 수 있는 모델을 훈련하거나 평가하기 어렵게 만듭니다.

방법론

1. MAVL 데이터셋

저자들은 **MAVL (Multilingual Audio-Video Lyrics Benchmark for Animated Song Translation)**을 소개합니다. 이는 애니메이션 뮤지컬의 가창 가능한 가사 번역을 위해 특별히 설계된 최초의 다국어, 멀티모달 벤치마크입니다.

• 구성: MAVL은 5개 언어(영어, 스페인어, 프랑스어, 한국어, 일본어)에 걸쳐 정렬된 애니메이션 영화(예: 겨울왕국, 트롤, 엔칸토)의 228개 곡으로 구성됩니다.
• 모달리티: 텍스트나 악보에만 의존하는 이전 데이터셋과 달리, MAVL은 텍스트, 오디오, 비디오를 통합합니다.
• 정렬 파이프라인: 데이터셋 구축에는 다음과 같은 엄격한 파이프라인이 포함되었습니다:
  1. 수집: 메타데이터와 원본 영어 가사를 수집한 후, lyricstranslate와 같은 플랫폼에서 공식 더빙 가사를 확보합니다.
  2. 인간 정렬: 후보 가사가 원본 오디오/비디오와 교차 참조를 통해 공식적이고 가창 가능한 더빙 버전과 일치하는지 검증합니다. 가창 불가능한 대사나 겹치는 가사는 제외되었습니다.
  3. 오디오-비디오-가사 정렬: stable-ts(Whisper 기반)를 사용하여 안정적인 타임스탬프를 생성하고, 특정 가사 라인에 맞춰 오디오와 비디오를 분할합니다.

2. SylAML-CoT 모델

MAVL을 활용하기 위해, 저자들은 **SylAVL-CoT (Syllable-Constrained Audio-Video LLM with Chain-of-Thought)**를 제안합니다. 이 접근 방식은 기존의 멀티모달 거대 언어 모델(MLLM), 특히 Gemini 2.0 Flash 및 Gemini 2.5 Flash를 미세 조정 없이 사용하며, 대신 프롬프트 엔지니어링과 생각의 사슬(Chain-of-Thought, CoT) 추론에 의존합니다.

모델은 3단계 CoT 파이프라인을 통해 작동합니다:

1. 핵심 가사 식별 및 음절 분할: 모델은 제공된 오디오 스니펫과 텍스트를 분석하여 정확한 가사 세그먼트를 식별합니다. 모델은 가청적 끊김(audible breaks)과 원본의 알려진 음절 수를 기준으로 가사를 음절 단위로 분할하여 리듬 템플릿을 구축합니다.
2. 대상 언어 음절 리스트 생성 (비디오 맥락): 모델은 비디오의 시각적 단서(예: 캐릭터의 표정, 움직임, 문화적 맥락)를 처리하여 번역을 정교화합니다. 모델은 이미지와 분위기를 포착하는 동시에, 원본 음절 수와 일치하는 대상 언어 음절 리스트를 생성하는 것을 목표로 합니다.
3. 반복 및 정교화: 모델은 번역이 문화적으로 적절하고 언어적으로 일관되며, 대상 음절 수를 엄격히 준-수하도록 단어를 반복적으로 바꾸어 쓰거나 재배열합니다. 이 단계는 서로 다른 문법 구조를 가진 언어 간에 리듬을 유지하는 어려움을 해결합니다.

3. 평가 지표

논문은 세 가지 원칙에 초점을 맞춘 다면적인 평가 프레k워크를 제안합니다:

• 가창성(Singability): 음절 오류(Syllable Error, SE), 음절 수 거리(Syllable Count Distance, SCD), 그리고 **오류율(Error Rate)**을 통해 측정됩니다. SE는 참조 음절 수를 초과하는 것에 대해 페널티 계수($\beta=2.0$)를 적용하여 가창성에 부정적인 영향을 미치는 초과 현상을 엄격히 처벌합니다.
• 의미(Sense): 번역문과 원본 영어 가사, 그리고 인간이 번역한 더빙 가사 사이의 다국어 임베딩(mpnet-base-v2) 코사인 유사도를 기반으로 한 **의미 점수(Semantic Scores)**를 사용하여 측정됩니다.
• 자연스러움(Naturalness): 생성된 가사와 참조 가사의 국제 음성 기호(IPA) 전사 간의 음성 거리(Phonetic Distance)(Levenshtein 거리)를 통해 측정됩니다.

주요 결과

정량적 성능

• 가창성: SylAVL-CoT는 모든 언어에서 텍스트 전용 베이스라인(Google Translate, mBART-50, Qwen2.5-72B, GPT-4o, Gemini 2.0 포함)을 크게 능가합니다. 이는 가장 낮은 음절 오류, 음절 거리 및 오류율을 달성했습니다. 예를 들어, 영-한 번역에서 SylAVL-CoT는 음절 오류를 약 10.3(GPT-4o)에서 0.695로 줄였습니다.
• 의미: 텍스트 전용 모델은 종종 원본 영어 가사와 높은 의미 유사성을 보이지만(이는 직역을 의미함), SylAVL-CoT는 원본과는 낮은 유사성을 보이는 대신 인간이 번역한 더빙 가사와 높은 유사성을 유지합니다. 이는 SylAVL-CoT가 가창성을 유지하기 위해 전문가들이 사용하는 창의적인 의역 전략을 성공적으로 채택했음을 시사합니다.
• 자연스러움: SylAVL-CoT는 원본 및 더빙 참조 모두와 비교하여 가장 낮은 음성 거리 점수를 기록하였으며, 이는 출력물이 전문적인 번역과 조음 및 리듬적 특성을 공유함을 나타냅니다.

절제 연구 (Ablation Studies)

• 멀티모달리티: 비디오 입력을 제거(T+A)했을 때, 전체 T+A+V 설정에 비해 더빙 가사와의 의미 유사성이 낮아졌습니다. 이는 비디오 맥락이 맥락에 적합한 의역을 생성하는 데 매우 중요하다는 것을 시사합니다.
• CoT 단계: "음절 리스트" 생성과 "정교화" 단계가 결정적이었습니다. 이 단계들을 제거하면 음절 오류가 크게 증가하여, 구조화된 추론 과정이 제약을 강제하는 데 필수적임을 확인시켜 주었습니다.
• 모델 선택: GPT-4o와 Qwen2.5가 단순한 제약 조건 하에서는 잘 작동했지만, Gemini는 CoT 방식을 활용할 때 우수한 성능을 보여주며 추론 과정 중 여러 제약을 동시에 추적하는 능력이 뛰어남을 입증했습니다.

사용자 연구

원어민(언어당 N=10)을 대상으로 한 사용자 연구에서 가창성, 의미, 전반적인 품질을 평가했습니다. SylAVL-CoT는 모든 언어에서 가장 높은 전반적인 품질(Overall Quality) 점수를 기록했으며, 특히 가창성 부문에서 다른 모델들을 압도했습니다.

의의 및 주장

본 논문은 MAVL과 SylAVL-CoT가 텍스트 기반의 한계를 넘어 가사 번역의 중요한 공백을 메운다고 주장합니다.

• 최초의 멀티모달 벤치마크: MAVL은 텍스트, 오디오, 비디오를 아우르는 다국어 가사 번역을 지원하는 최초의 데이터셋으로 제시되며, 이러한 모달리티를 통합하는 모델을 평가할 수 있게 합니다.
• 효과적인 제약 조건 처리: CoT 추론을 기존 MLLM에 활용하면 자원 집약적인 미세 조정 없이도 엄격한 음절 제약을 강제할 수 있음을 보여줍니다.
• 인간과 유사한 적응: 의미적 적응과 음성적 자연스러움 측면에서 인간이 번역한 더빙 가사와 일치함으로써, 제안된 방식은 직역 위주의 기계 번역과 전문적인 노래 현지화의 창의적, 음악적 요구 사항 사이의 간극을 좁힙니다.

저자들은 이 연구가 더 효과적인 자동 가사 번역 시스템을 위한 길을 열었다고 결론짓지만, 장르 범위(애니메이션 뮤지컬에 집중), 라인 단위 처리의 제약, 성조 언어에 대한 특화된 메커니즘 부족 등의 한계도 인정하고 있습니다.