OmniFusion: 모듈러 퓨전을 통한 동시 다국어 및 다중 모달 번역

1. 문제 정의 (Problem Statement)

기존의 오픈소스 텍스트 전용 대규모 언어 모델 (LLM) 은 다국어 번역 품질과 커버리지 측면에서 비약적인 발전을 이루었으나, 단일 모달 (텍스트) 에 국한된 설계로 인해 다중 모달 번역에는 한계가 있습니다.

• 현재의 한계:
  • 연쇄형 파이프라인 (Cascaded Pipelines) 의 비효율성: 음성 번역 (ST) 에서 자동 음성 인식 (ASR) 후 번역 (MT) 을 거치는 방식은 추가적인 지연 시간 (Latency) 을 발생시킵니다. 특히 동시 번역 (Simultaneous ST, SimulST) 환경에서 이 지연은 치명적입니다.
  • 맥락 활용 부재: 시각적 맥락 (이미지, 프레젠테이션 슬라이드 등) 을 활용하여 모호함을 해소하거나 번역 품질을 높일 수 있는 능력이 부족합니다.
  • 기존 MMFM 의 부족: 사전 훈련된 다중 모달 기초 모델 (MMFMs) 은 강력한 지각 및 추론 능력을 갖췄으나, 전문 번역 LLM 에 비해 다국어 번역 성능과 언어 커버리지가 떨어집니다.

2. 방법론 (Methodology)

저자들은 OmniFusion이라는 통합 아키텍처를 제안하여, 다중 모달 기초 모델 (MMFM) 과 전문 번역 LLM 을 경량 게이트 퓨전 (Gated Fusion) 모듈을 통해 결합합니다.

• 아키텍처 구성:

  • MMFM: Qwen2.5-Omni-7B를 사용하여 오디오와 이미지의 지각적 표현 (Perceptual Representations) 을 추출합니다.
  • 번역 LLM: Seed-X-PPO-7B를 사용하여 다국어 이해 및 생성 능력을 담당합니다.
  • 게이트 퓨전 모듈 (Gated Fusion Module):
    • MMFM 의 여러 층 (Layer) 에서 추출된 표현을 직접 연결하는 대신, 첫 번째, 중간, 마지막 층의 출력을 선택적으로 추출합니다.
    • **프로빙 실험 (Probing Experiment)**을 통해 층별 중요도를 분석한 결과, 첫 번째와 마지막 층이 큰 변화를 보이며 중간 층이 추상적 추론을 담당함을 확인했습니다.
    • 게이트 메커니즘: 각 층의 히든 상태를 가중치 (Softmax) 로 조정하여 합산하고, MLP 를 통해 번역 모델의 임베딩 차원에 정렬합니다. 이를 통해 태스크에 따라 관련성이 높은 층의 정보를 동적으로 선택합니다.
    • 최종 퓨전된 임베딩은 번역 LLM 의 토큰 임베딩과 결합되어 입력됩니다.

• 학습 전략 (Training Strategy):

  • 멀티태스크 학습: 음성 번역 (ST), 음성 - 이미지 번역 (SIT), 텍스트 - 이미지 번역 (TIT) 을 동시에 학습합니다.
  • 자기 연쇄 (Self-Cascading): ASR(음성) 과 OCR(이미지) 을 중간 단계로 생성하는 태스크를 포함시킵니다. 이는 오디오/시각 표현과 LLM 의 의미 공간 간의 정렬을 강화하며, 추론 시 더 높은 품질을 제공합니다.
  • 파인튜닝: MMFM 은 고정 (Freeze) 하고 번역 LLM 에만 LoRA(Low-Rank Adaptation) 를 적용하여 계산 비용을 줄이면서 사전 훈련된 다중 모달 능력을 유지합니다.

3. 주요 기여 (Key Contributions)

1. OmniFusion 아키텍처 제안: 번역 LLM 과 사전 훈련된 MMFM 을 통합하여 음성, 텍스트, 이미지를 단일 아키텍처에서 처리하는 E2E(End-to-End) 모델을 구현했습니다.
2. 게이트 퓨전 아키텍처 개발: MMFM 의 여러 층에서 정보를 선택적으로 통합하는 게이트 메커니즘을 도입하여, 효율적인 학습과 컨텍스트 인식 번역을 가능하게 했습니다.
3. 성능 입증:
   • SimulST 에서 연쇄형 파이프라인 대비 약 1 초의 지연 시간 감소를 달성했습니다.
   • 오프라인 ST 에서 주요 및 치명적 오류율을 낮추고, CoMMuTE 벤치마크에서 최첨단 (SOTA) 결과를 기록했습니다.

4. 실험 결과 (Results)

• 동시 음성 번역 (SimulST):
  • 이미지 컨텍스트가 제공될 때 OmniFusion 은 연쇄형 시스템보다 지연 시간이 1 초 더 짧으면서도 더 높은 번역 품질을 달성했습니다. 이는 E2E 구조가 연쇄형 파이프라인의 지연 시작을 방지하고 시각적 맥락을 더 효과적으로 활용하기 때문입니다.
  • XCOMET-XL 점수에서 경쟁력 있는 성능을 보였으며, 특히 이미지 유무에 관계없이 일관된 성능 향상을 보였습니다.
• 오프라인 음성 번역 (Offline ST):
  • 자기 연쇄 (Self-Cascade) 추론 모드를 활성화한 OmniFusion 은 최적의 연쇄형 시스템 (LoRA 파인튜닝) 과 유사한 번역 품질 (XCOMET-XL 86.57 vs 86.59) 을 달성했습니다.
  • 오류 분석: OmniFusion 은 주요 (Major) 및 치명적 (Critical) 오류 수를 연쇄형 시스템보다 현저히 줄였습니다 (예: 주요 오류 719 vs 751.3).
• 텍스트 - 이미지 번역 (Caption Translation):
  • CoMMuTE 벤치마크에서 시각적 맥락이 모호함 해소에 중요한 역할을 하는 경우, OmniFusion 은 ZeroMMT, TowerVision 등 기존 다중 모달 모델과 경쟁하거나 상회하는 성능을 보였습니다.
  • 특히, 처음부터 대규모 다중 모달 전처리를 수행한 모델과 달리, 강력한 사전 훈련된 구성 요소를 기반으로 하여 데이터 및 학습 효율성이 뛰어났습니다.
• 층 기여도 분석:
  • 게이트 값 분석 결과, 첫 번째와 중간 층이 가장 높은 가중치를 받아 정보 전달의 핵심 역할을 함을 확인했습니다. 마지막 층은 상대적으로 기여도가 낮았습니다.

5. 의의 및 결론 (Significance)

OmniFusion 은 다중 모달 기초 모델 (MMFM) 의 지각 능력과 전문 번역 LLM 의 언어 생성 능력을 단일 아키텍처 내에서 효과적으로 융합할 수 있음을 입증했습니다.

• 실용성: 동시 번역 환경에서 지연 시간을 획기적으로 줄이면서도 시각적 맥락을 활용하여 번역 정확도를 높일 수 있어, 실시간 회의, 프레젠테이션 번역 등 실세계 응용에 큰 잠재력을 가집니다.
• 효율성: 모델 전체를 처음부터 훈련하는 대신, 기존 강력한 모델을 모듈화하여 결합함으로써 계산 비용과 데이터 요구량을 줄였습니다.
• 향후 과제: 현재 데이터가 영어 중심이며, 고정된 프롬프트를 사용하므로 더 유연한 지시 기반 (Instruction-following) 다중 모달 행동으로의 확장 가능성과 다양한 언어에 대한 인간 평가가 필요하다고 언급했습니다.

이 연구는 다중 모달 번역 분야에서 단일 모델이 연쇄형 파이프라인의 단점을 극복하고, 지연 시간과 번역 품질 사이의 트레이드오프를 최적화할 수 있는 새로운 방향을 제시합니다.