WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM

이 논문은 텍스트, 오디오, 비디오 모달리티를 통합된 표현 공간으로 연결하고, 계층적 특징 융합 및 다중 작업 학습을 통해 교차 모달 검색과 프롬프트 인식 임베딩 생성을 가능하게 하는 새로운 LLM 기반 오디오 - 비주얼 임베딩 모델 'WAVE'를 제안하며, 다양한 벤치마크에서 최첨단 성능을 입증합니다.

핵심

1. 기존 방식: "각자 따로 통역하는 팀"

기존의 멀티모달 AI 들은 텍스트, 이미지, 소리, 영상을 각각 다른 전문가 (엔코더) 가 처리했습니다.

• 상황: 영화 한 편을 보고 싶다고 칩시다.
• 기존 AI: "대본 (텍스트) 은 A 팀이, 화면 (영상) 은 B 팀이, 배경음 (오디오) 은 C 팀이 따로따로 분석합니다. 그리고 나중에 이 세 팀의 결과를 억지로 합쳐서 의미를 찾습니다."
• 문제점: 각 팀이 서로의 언어를 완벽히 이해하지 못해, "이 소리가 이 장면과 왜 어울리는지"를 깊이 있게 연결하기 어렵습니다.

2. WAVE 의 등장: "모든 것을 하나로 보는 만능 통역사"

WAVE 는 **LLM(대형 언어 모델)**이라는 거대한 두뇌 하나를 기반으로 합니다. 이 두뇌는 텍스트, 소리, 영상을 구분하지 않고 **하나의 공통된 언어 (임베딩 공간)**로 모두 변환합니다.

• 비유: WAVE 는 마치 **"감각의 만능 번역기"**입니다.
  • 당신이 "비 오는 날의 우울한 영화"라고 말하면, WAVE 는 그 말의 의미를 이해하고 비 오는 소리와 어두운 화면을 동시에 떠올립니다.
  • 반대로, 비 오는 소리를 들려주면 "아, 이건 슬픈 영화의 장면이겠구나"라고 텍스트로 설명할 수도 있습니다.
  • 핵심: 텍스트 ↔ 오디오 ↔ 비디오 ↔ 오디오 + 비디오. 이 모든 것을 하나의 공간에서 자유롭게 오가게 합니다.

---

3. WAVE 가 특별하게 만든 두 가지 기술

① "층층이 쌓은 레고" (계층적 특징 융합)

AI 가 영상을 볼 때, 첫 번째 층에서는 "색깔"이나 "모양" 같은 단순한 것을 보고, 마지막 층에서는 "이야기"나 "감정" 같은 복잡한 것을 봅니다.

• 기존 방식: 마지막 층의 결과만 가져와서 결론을 냈습니다. (상세한 정보가 빠질 수 있음)
• WAVE 의 방식: 모든 층 (1 층부터 N 층까지) 에서 나온 정보를 모두 모아서 레고처럼 조립합니다.
  • 효과: "이 장면이 슬프다"는 감정 (상위 층) 과 "비가 내리고 있다"는 사실 (하위 층) 을 동시에 잡아서 훨씬 더 정확하고 풍부한 이해를 가능하게 합니다.

② "지시사항을 잘 듣는 귀" (프롬프트 인식)

기존 AI 는 무조건 같은 방식으로만 답을 내놓았습니다. 하지만 WAVE 는 사용자의 **지시 (프롬프트)**에 따라 답변을 바꿉니다.

• 상황: "이 영상을 설명해 줘"라고 하면 일반적인 요약이 나옵니다.
• WAVE: "이 영상에서 무덤과 관련된 물건은 뭐가 없지?"라고 질문하면, 질문에 맞춰 영상 속 무덤 관련 요소들만 집중해서 찾아냅니다.
• 비유: 일반적인 AI 가 "사진을 보고 뭐가 있나?"라고 물으면 "개, 나무, 사람"이라고 나열한다면, WAVE 는 "개 중에서도 어떤 종류의 개가 있나?"라고 물으면 그걸 찾아냅니다. 사용자의 의도를 정확히 파악하는 똑똑한 비서입니다.

---

4. 왜 이것이 중요한가요? (실생활 예시)

이 기술이 발전하면 다음과 같은 일이 가능해집니다:

1. 완벽한 검색: "비 오는 날 카페에서 듣기 좋은 재즈"라고 검색하면, 텍스트뿐만 아니라 비 오는 소리와 카페 배경음이 섞인 영상을 찾아줍니다.
2. 질문형 검색: "이 영상에서 주인공이 왜 화가 났는지 알려줘"라고 물어보면, 영상 내용을 분석해 이유를 텍스트로 설명해 줍니다.
3. 모든 것을 연결: 음악만 듣고 어떤 영화 장면이 떠오르는지, 혹은 영상만 보고 어떤 소리가 들릴지 예측하는 것이 가능해집니다.

5. 결론: "하나의 두뇌로 모든 감각을 다스리다"

WAVE 는 텍스트, 소리, 영상을 따로따로 처리하던 과거의 방식을 끝내고, 하나의 통합된 두뇌로 모든 감각을 이해하는 시대를 열었습니다.

• 기존: 각자 다른 언어를 쓰는 팀들이 모여서 억지로 대화.
• WAVE: 모든 감각을 하나의 언어로 말하고, 사용자의 질문에 맞춰 똑똑하게 대답하는 만능 통역사.

이 모델은 앞으로 우리가 영상, 소리, 글을 검색하고 이해하는 방식을 완전히 바꿔놓을 것으로 기대됩니다. 마치 모든 감각이 하나로 연결된 초능력을 가진 AI 가 등장한 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 멀티모달 임베딩 모델들은 주로 텍스트, 이미지, 오디오, 비디오와 같은 다양한 데이터 유형을 공통의 표현 공간으로 매핑하는 데 중점을 두었습니다. 그러나 기존 접근법은 다음과 같은 한계를 가지고 있었습니다:

• 분리된 인코더 구조: 대부분의 모델은 각 모달리티 (텍스트, 이미지, 오디오 등) 마다 별도의 인코더를 사용하여 공통 공간에 정렬하는 방식을 취했습니다. 이는 모달리티 간의 심층적인 상호작용과 의미론적 정렬을 제한했습니다.
• 동적 모달리티의 부재: 대규모 언어 모델 (LLM) 기반의 임베딩 연구는 주로 정적 이미지 (Vision) 에 집중되어 있었으며, 오디오나 동기화된 오디오 - 비주얼 (Audio-Visual) 스트림과 같은 동적 모달리티는 충분히 탐구되지 않았습니다.
• 프롬프트 인식 능력 부족: 기존 임베딩 모델은 작업에 무관한 (task-agnostic) 고정된 표현을 생성하는 경향이 있어, 사용자의 구체적인 지시 (Instruction) 나 질문 (Question) 에 따라 임베딩을 동적으로 조정하는 능력이 부족했습니다.

이러한 한계를 극복하기 위해, 텍스트, 오디오, 무음 비디오, 동기화된 오디오 - 비주얼 입력을 하나의 통합된 의미 공간으로 매핑할 수 있는 범용 임베딩 모델의 필요성이 대두되었습니다.

2. 제안 방법 (Methodology)

저자들은 **WAVE (Unified & Versatile Audio-Visual Embeddings)**라는 새로운 멀티모달 LLM 기반 임베딩 모델을 제안했습니다. WAVE 는 Qwen2.5-Omni 를 기반으로 구축되었으며, 다음과 같은 핵심 아키텍처 및 전략을 사용합니다.

가. 모델 아키텍처

• 이중 오디오 인코더 (Dual-Encoder): 오디오 입력을 포괄적으로 이해하기 위해 두 가지 인코더를 사용합니다.
  • 음성 인코더 (Speech Encoder): 음성 관련 토큰 생성.
  • 오디오 이벤트 인코더 (Audio Event Encoder): 환경음 등 비음성 오디오 이벤트 관련 토큰 생성.
  • 두 인코더의 출력은 동일한 주파수로 동기화되어 시간 정렬이 가능하며, 1:1 로 교차 배치 (Interleaving) 되어 통합 청각 토큰 시퀀스를 형성합니다.
• 계층적 특징 융합 (Hierarchical Feature Fusion):
  • 기존 방식인 마지막 토큰 풀링 (Last-token pooling) 만 사용하는 대신, LLM 의 모든 레이어에서 출력된 마지막 토큰들을 수집합니다.
  • 이렇게 수집된 다층적 표현 (저수준 지각 단서부터 고수준 의미 추상화까지) 을 경량 MLP(2 층) 를 통해 융합하여 최종 임베딩을 생성합니다. 이는 비디오 이해와 같은 복잡한 작업에서 레이어 간 상호작용을 포착하는 데 유리합니다.
• 시간 정렬 멀티모달 회전 위치 임베딩 (TMRoPE): Qwen2.5-Omni 에서 도입된 TMRoPE 를 적용하여 오디오와 비디오 토큰 간의 정확한 시간적 정렬을 보장합니다.

나. 학습 전략 (Joint Multi-modal, Multi-task Training)

WAVE 는 단일 모델로 다양한 작업을 동시에 학습하기 위해 **검색 (Retrieval)**과 질문 응답 (QA) 작업을 결합한 학습 방식을 채택했습니다.

• 검색 작업 (Retrieval): 텍스트, 오디오, 비디오, 오디오 - 비주얼 간의 'Any-to-Any' 크로스모달 검색을 위해 배치 내 부정 샘플 (In-batch negative) 을 활용한 대칭적 InfoNCE 손실을 사용합니다.
• 질문 응답 작업 (QA): 사용자의 질문 (프롬프트) 에 기반한 임베딩 생성 능력을 학습합니다. 올바른 답변과 오답 (Distractor) 을 구분하는 분류 손실을 최소화하여, 프롬프트에 민감한 (Prompt-aware) 임베딩을 생성하도록 훈련합니다.
• 데이터: Panda-70M, AudioSet, WavCaps 등 다양한 대규모 멀티모달 데이터셋을 활용하여 총 490 만 개의 샘플로 학습했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 범용 오디오 - 비주얼 임베딩 MLLM: 텍스트, 오디오, 무음 비디오, 동기화된 오디오 - 비주얼 입력을 모두 통합된 의미 공간으로 매핑하는 최초의 모델입니다.
2. 프롬프트 인식 임베딩 (Prompt-Aware Embeddings): 사용자의 지시나 질문을 조건으로 임베딩을 생성할 수 있어, 멀티모달 QA 와 같은 하위 작업에서 기존 임베딩 모델보다 뛰어난 성능을 발휘합니다.
3. 효과적인 아키텍처 설계:
   • 계층적 특징 융합 전략을 통해 다층 LLM 표현을 효과적으로 통합했습니다.
   • 이중 오디오 인코더를 통해 음성 및 환경음 정보를 모두 포착하여 표현력을 극대화했습니다.
4. 새로운 벤치마크 및 오픈소스: 범용 오디오 - 비주얼 학습을 위한 새로운 벤치마크를 도입하고, 코드 및 체크포인트를 공개하여 연구의 재현성을 보장합니다.

4. 실험 결과 (Results)

WAVE 는 다양한 벤치마크에서 기존 최첨단 (SOTA) 모델들을 압도하는 성능을 보였습니다.

• 비디오 벤치마크 (MMEB-v2): 비디오 트랙에서 모든 하위 작업 (분류, QA, 검색, 순간 검색) 에서 기존 오픈소스 모델 (LamRA, GME, CAFe 등) 은 물론, 산업용 모델인 Seed-1.6-Embedding보다도 우수한 성능을 기록했습니다. (예: 전체 평균 59.9 vs Seed-1.6 의 55.3)
• 오디오 및 오디오 - 비주얼 검색:
  • AudioCaps, Clotho 데이터셋에서 오디오 검색 성능이 기존 분리형 인코더 모델을 능가했습니다.
  • 비디오 - 오디오 검색 (Video-to-Audio): 텍스트를 거치지 않고 직접 비디오에서 오디오 개념을 매핑하는 어려운 작업에서도 단일 인코더 기반 모델보다 월등히 높은 성능을 보였습니다.
• 멀티모달 QA: 프롬프트 (질문) 에 따라 임베딩을 조정하는 능력 덕분에 Video-MME, MVBench 등 다양한 QA 벤치마크에서 Seed-1.6-Embedding 보다 평균 12% 이상 높은 정확도를 달성했습니다. 반면, 일반적인 프롬프트를 사용한 경우 성능이 급격히 하락하여 프롬프트 인식의 중요성을 입증했습니다.
• 학습 전략 검증 (Ablation Study):
  • 결합 학습의 효과: 오디오, 비디오, 텍스트 데이터를 분리하여 학습한 전문가 모델 (Separate) 보다, 모든 모달리티와 작업을 함께 학습한 WAVE(Joint) 가 대부분의 작업에서 더 나은 성능을 보여주며, 모달리티 간 긍정적 지식 전이 (Knowledge Transfer) 가 발생함을 입증했습니다.
  • 특징 융합의 효과: 마지막 레이어만 사용하는 것보다 모든 레이어의 특징을 MLP 로 융합하는 방식이 검색 및 QA 성능을 유의미하게 향상시켰습니다.

5. 의의 및 결론 (Significance)

WAVE 는 멀티모달 임베딩 분야에서 다음과 같은 중요한 전환점을 제시합니다:

• 통합된 표현 공간의 실현: 텍스트, 오디오, 비디오를 하나의 모델로 통합하여 처리함으로써, 모달리티 간의 장벽을 허물고 더 강력한 의미론적 정렬을 가능하게 했습니다.
• 동적 지시 추종 능력: 단순한 검색을 넘어, 사용자의 구체적인 의도나 질문에 따라 임베딩을 동적으로 생성할 수 있는 능력을 입증하여, 멀티모달 QA 및 복잡한 추론 작업에 대한 새로운 가능성을 열었습니다.
• 범용 적용 가능성: WAVE 는 범용 오디오 - 비주얼 표현 학습을 위한 강력한 새로운 기준 (Baseline) 을 제시하며, 크로스모달 검색, 추천 시스템, 콘텐츠 분석 등 다양한 'Any-to-Any' 애플리케이션의 기반이 될 것으로 기대됩니다.

결론적으로, WAVE 는 멀티모달 LLM 을 임베딩 생성에 효과적으로 활용하는 새로운 패러다임을 제시하며, 오디오와 비디오의 통합된 이해를 위한 중요한 진전을 이루었습니다.