기술 요약: Hermes the Polyglot (폴리글랏 헤르메스)

문제 정의

언어 간 자막 제작(Interlingual subtitling)은 시각 매체(영화, TV 시리즈)의 자막을 대상 언어로 번역하는 작업을 포함한다. 대규모 언어 모델(LLM)이 일반적인 기계 번역 분야에서 발전했음에도 불구하고, 자막 번역의 특수한 제약 조건들을 해결하는 데에는 어려움을 겪고 있다. 본 논문은 네 가지 주요 과제를 식별하였다:

1. 의미론적 일관성 (Semantic Coherence): LLM은 입력 토큰 용량이 제한적이어서 프로그램 전체를 한꺼번에 처리하기 어렵다. 부적절한 자막 라인 분할은 문맥을 깨뜨려 일관성 없는 번역을 초래한다.
2. 대명사 참조 (Pronoun Reference): 문화적 및 언어적 차이(예: 일본어/한국어의 경어 체계 또는 대명사 생략)로 인해 화자의 정체성이 모호할 경우 오류가 발생한다.
3. 용어 번역 (Terminology Translation): 시각 매체는 고유 명사(이름, 장소, 아이템 등)를 포함하며, 이는 정확하고 일관되며 문맥을 고려한 번역이 필요하지만 표준 LLM은 이를 유지하는 데 실패하는 경우가 많다.
4. 번역 표현력 (Translation Expressiveness): 정확성을 넘어, 관객은 자연스럽고(대상 언어의 문법/문화에 부합) 생생한(감정, 어조, 분위기 전달) 번역을 요구한다. 표준 모델들은 종종 직역 위주의 평이한 번역을 생성한다.

방법론: Hermes 프레임워크

저자들은 세 가지 통합 모듈과 특정 학습 전략을 통해 이러한 과제들을 해결하도록 설계된 통합 LLM 기반 프레임워크인 Hermes를 제안한다.

1. 화자 분할 (Speaker Diarization, SD)

이 모듈은 대명사의 모호성을 해결하고 문맥 인식 분할을 유도하기 위해 각 자막 라인에 화자를 주석으로 달아준다.

• 멀티모달 통합: 시각 및 음성 양식을 결형한다. 시각적 특징(CurricularFace를 통한 얼굴 임베딩)과 오디오 특징(ERes2NetV2를 통한 음색 임베딩)을 추출한다.
• 클러스터링 및 등록: 시각적 클러스터링이 화자 등록의 앵커 역할을 한다. 오디오 클러스터는 투표를 통해 시각적 클러스터에 매핑되어 화자 프로토타입을 생성한다.
• 보완 (Supplementation): 오디오-비주얼 비동기 현상(화자가 보이지 않는 경우)을 처리하기 위해, 시스템은 미감지된 라인의 음색 임베딩을 등록된 프로토타입과 비교한다. 새로운 "화자 보완" 전략은 유사도 임계값을 기준으로 인접한 라인들을 그룹화하며, 감지된 화자가 없는 그룹의 경우 평균 음색 임베딩을 바탕으로 새로운 화자로 등록한다.

2. 용어 식별 (Terminology Identification, TI)

이 모듈은 고유 명사의 정확하고 일관된 번역을 보장한다.

• 지식 증류 접근 방식: 오프더쉘프 LLM(Qwen-Max)을 원샷(one-shot) 설정으로 사용하여 용어, 유형 및 이중 언어 병렬 코퍼스로부터의 번역을 탐지한다.
• 필터링 및 투표: 후보 결과들을 필터링하고 투표하여 각 용어의 정형화된 유형과 번역을 결정한다.
• 특화 학습: 프로그램 전반에 걸쳐 일관성을 보장하기 위해, 구축된 데이터셋을 바탕으로 용어를 검색하고 번역하도록 전용 용어 LLM($\pi_{term}$)을 학습시킨다.

3. 표현력 향상 (Expressiveness Enhancement, EE)

이 모듈은 **구간별 적응형 선호도 최적화(Segment-wise Adaptive Preference Optimization, SAPO)**라는 새로운 기술을 사용하여 번역 모델의 자연스러움과 생생함을 최적화한다.

• 로컬 선호도 최적화: 전체 응답을 하나의 단위로 취급하는 표준 선호도 정렬(예: DPO)과 달리, SAPO는 각 자막 라인을 하나의 구간(segment)으로 취급한다. 이는 시퀀스 내 특정 문맥에 따라 라인의 번역이 달라져야 하기 때문이다.
• 샘플링 전략: 각 소스 라인에 대해 모델은 여러 후보 번역을 샘집한다. 평가자 LLM(LLM-as-a-Judge)이 이 후보들의 표현력을 점수화한다.
• 적응형 가중치: 학습 손실(loss)은 구간에 적응형 가중치를 적용한다. 게이팅 함수는 저다양성 또는 저품질 구간(노이즈)을 제외하며, 중요도 점수는 풍부한 번역 변이가 있는 구간을 우선시한다.
• 학습: 최종 번역 모델($\pi_{st}$)은 SAPO 샘플링 과정에 따라 구간 레벨의 쌍(pair)에 대한 선호도 손실(예: DPO)을 사용하여 학습된다.

주요 기여

1. 태스크 정의: 본 논문은 언어 간 자막 제작을 멀티모달 기계 번역 태스크로 공식 정의하고, 일관성, 대명사, 용어 및 표현력과 관련된 고유한 과제들을 체계적으로 식별하였다.
2. 통합 프레임워크: 시각/오디오 화자 분할, 지식 증류를 통한 용어 식별, 그리고 구간별 선호도 최적화 기술을 통합한 Hermes를 제안하였다.
3. 평가 프레임워크: 정확성(대명사 정확도, 용어 일관성, 번역 정확도)과 표현력(자연스러움, 생생함)을 평가하는 "LLM-as-a-Judge" 기반의 다차원 평가 프레임워크를 구축하였다.
4. 성능: Hermes가 화자 분할에서 최첨단 성능을 달성하며, 기존 베이스라인보다 더 표현력이 풍부하고 문맥적으로 일관된 번역을 생성함을 입증하였다.

실험 결과

프레임워크는 en$\Rightarrow$de, en$\Rightarrow$fr, en$\Rightarrow$zh, ko$\Rightarrow$zh, zh$\Rightarrow$en, zh$\Rightarrow$th 등의 방향을 포함하는 다국어 데이터셋(Youku 플랫폼)을 통해 평가되었다.

• 번역 품질: Hermes(특히 SAPO로 학습된 14B 모델)는 전통적인 모델(NLLB, MADLAD, Google Translate) 및 경쟁 베이스라인(VideoDubber)을 크게 앞질렀다.
  • 프런티어 챗 LLM(GPT-4o, Qwen-Max) 및 추론 모델(DeepSeek-R1, GPT-5)과 비교했을 때 정확도(대명사 정확도 및 용어 일관성)와 자연스러움 측면에서 더 높은 점수를 기록했다.
  • 결정적으로, Hermes는 모든 방향에서 가장 높은 생생함(Vividness) 점수를 기록했으며, 때때로 프런티어 LLM을 능가하기도 하여 감정과 어조를 전달하는 탁월한 능력을 보여주었다.
  • 저자원 방향(예: ko$\Rightarrow$zh, zh$\Rightarrow$th)에서도 Hermes는 모든 차원에서 우수한 성과를 보였다.
• 화자 분할: SD 모듈은 도전적인 시나리오(방언 사용 쇼 등)에서도 오디오 전용 베이스라인(VBx, Spectral Clustering) 및 삼중 모달 SOTA 방식(E2CP)보다 우수한 성능(낮은 DER 및 JER)을 달яви했다.
• 인간 평가: 인간 참조 모델 및 타 베이스라인과의 쌍체 비교를 통해 "LLM-as-a-Judge" 프레임워크의 신뢰성을 확인하였으며, Hermes는 자연스러움과 생생함에서 높은 승률을 보였다.
• 절제 연구 (Ablation Studies):
  • SAPO의 적응형 게이팅 함수가 노이즈를 줄이는 데 가장 핵심적인 구성 요소임을 확인하였다.
  • 더 큰 백본 모델(14B)이 작은 모델(8B)보다 성능이 좋았으나, SAPO는 모든 백본에서 표준 SFT보다 개선된 성능을 보였다.
  • DPO가 테스트된 알고리즘(DPO, SimPO, GRPO) 중 가장 안정적이고 효과적인 정렬 손실 함수임을 확인하였다.

의의

본 논문은 단순한 번역 정확도를 넘어 로컬라이제이션(현지화)의 총체적 요구사항을 다룸으로써 언어 간 자막 연구를 진전시켰다고 주장한다. 멀티모달 단서(시각/오디오)를 통합하고 구간별 최적화 전략을 채택함으로써, Hermes 프레임워크는 자막 형식의 엄격한 제약과 인간 대화의 미묘하고 표현적인 특성 사이의 간극을 성공적으로 메웠다. 이 연구는 특정 구조적 적응과 선호도 최적화를 통해 LLM이 시각 매체 현지화라는 특수 영역에서 기존의 전통적인 기계 번역 시스템과 범용 프런티어 모델을 능가할 수 있음을 입증한다.