기술 요약: 퓨전 임베딩 (Fusion Embedding)

문제 정의

현재의 검색 시스템은 파편화 문제에 직면해 있습니다: 텍스트, 이미지, 비디오, 오디오를 동시에 효과적으로 커버할 수 있는 단일 임bedding 공간이 존재하지 않습니다.

• 시각-언어 모델 (Vision-Language Models): MMEB-V2로 이어지는 것과 같은 대규모 시각-언어 백본을 기반으로 구축된 최첨단 모델들은 텍스트, 이미지, 비디오 검색에는 탁월하지만, 오디오 능력은 전혀 갖추고 있지 않습니다.
• 오디오 전문 시스템 (Audio-Specialist Systems): 오디오-텍스트 검색은 오디오-텍스트 쌍에 특화되어 훈련된 전문 시스템(예: CLAP 제품군, OEA, AuroLA)이 주도하고 있습니다. 이러한 모델들은 다른 모달리티를 지원하지 않으며, 그 백본은 종종 해당 생태계에서 배포된 모델들과 서로 다릅니다.
• 통합 공간의 한계 (Unified Space Limitations): 기존의 통합 모델들(예: ImageBind)은 피벗(pivot)에 결합하기 위해 모달리티 타워를 훈련해야 하는 경우가 많으며, 다른 모델들(예: ONE-PEACE)은 모든 파라미터를 처음부터 훈련하여 기존에 배포된 임베딩 백본의 정확한 벤치마크 성능과 불변성을 잃게 됩니다.

핵심 과제는 기존의 고성능 시각-언어 임베딩 베이스의 텍스트, 이미지, 비디오 성능을 저해하거나 기존 데이터의 재인덱싱(re-indexing)을 요구하지 않으면서, 오디오를 "퍼스트 클래스(first-class)" 모달리티로 추가하는 것입니다.

방법론

본 논문은 동결된 시각-언어 베이스(Qwen3-VL-Embedding-2B)를 동결된 오디오 타워(Qwen2.5-Omni)로 확장하는 두 세대의 접근 방식인 퓨전 임베딩(Fusion Embedding) 제품군을 제시합니다. 이 과정에서 오직 훈련된 커넥터와 어댑터만을 사용합니다.

핵심 아키텍처

• 동결된 베이스 (Frozen Base): Qwen3-VL-Embedding-2B 디코더는 바이트 단위로 동결(byte-frozen)된 상태를 유지합니다. 파라미터가 업데이트되지 않으므로, 텍스트, 이미지 또는 비디오를 위해 이전에 계산된 임베딩은 정확하게 유효성을 유지합니다.
• 동결된 오디오 타워 (Frozen Audio Tower): Qwen2.5-Omni의 오디오 인코더 역시 동결됩니다.
• 제1세대 (fusion-embedding-1):
  • Flamingo 스타일의 퍼시버 리샘플러(perceiver resampler)인 FusionResampler(16.4M 파라미터)를 도입합니다.
  • 이는 오디오 타워 프레임을 특정 플레이스홀더 토큰 위치에 베이스의 입력 임베딩 공간으로 매핑합니다.
  • 커넥터는 캐싱된 동결된 텍스트 타겟에 대해 대조 학습(contrastive training)됩니다.
• 제2세대 (fusion-embedding-2):
  • 제1세대의 커넥터를 유지합니다.
  • 베이스의 모든 디코더 레이어 잔차 스트림(residual stream)에 모달리티 게이티드 딥 어댑터(modality-gated deep adapters)(44.2M 파라미터)를 추가합니다.
  • 하드 게이팅 (Hard Gating): 이 어댑터들은 오디오 입력이 존재할 때만 실행되도록 게이팅됩니다. 텍스트, 이미지 또는 비디오 입력의 경우, 어댑터는 어떠한 어댑터 연산도 수행하기 전에 동결된 레이어의 출력을 그대로 반환합니다.
  • 비트 단위 불변성 (Bitwise Invariance): 이 설계는 비-오디오 입력이 원래의 동결된 베이스 모델과 비트 단위로 동일한 출력을 생성함을 보장합니다.

훈련 레시피 및 프로토콜

• 목적 함수 (Objective): Matryoshka 표현 학습(MRL) 렁크(rung) 전반에 걸쳐 계산되는 대칭적 InfoNCE 손실을 사용하며, 오디오가 고립된 클러스터를 형성하는 것을 방지하기 위해 CORAL 공분산 페널티를 추가합니다.
• 네거티브 마이닝 (Negative Mining): 전체 코퍼스의 동결된 텍스트 네거티브 뱅크(캐싱된 임베딩)를 사용합니다. 텍스트 타워가 동결되어 있으므로, 이 네거티브들은 신선도(staleness) 문제를 겪지 않습니다.
• 프로토콜 민감도 (Protocol Sensitivity): 중요한 발견은 "네이티브 프로토콜 효과(native-protocol effect)"입니다. 모델은 반드시 베이스 모델의 네이티브 채팅 템플릿과 인스트럭션 포맷 형식을 사용하여 훈련 및 평가되어야 합니다. 이를 벗어날 경우(예: "bare" 시퀀스 사용) 성능이 크게 하락합니다(최대 2.56 R@10 포인트).
• 도메인 내 미세 조정 (In-Domain Fine-Tuning): 훈련된 구성 요소(커넥터/어댑터)에 대해 AudioCaps 훈련 스플릿을 이용한 짧은 400-스텝 미세 조정 단계를 적용하여 도메인 내 성능을 날카롭게 다듬는 동시에, 망각을 방지하기 위해 Clotho에 대한 제로샷 성능을 모니터링합니다.
• 화이트닝 (Whitening): 비등방성(anisotropy) 문제를 해결하기 위해 동결된 텍스트 측에 대각 화이트닝(diagonal text whitening)을 적용하며, 이는 Matryoshka 절단(truncation)과 호환되도록 설계되었습니다.

주요 기여

1. 시스템 설계: 동결된 임베딩 베이스를 새로운 모달리티로 확장하는 레시피를 제시합니다.
   • 제1세대: 베이스의 구조적 무결성을 보존하는 커넥터 전용 접근 방식입니다.
   • 제2세대: 오디오를 위한 인레이어(in-layer) 용량을 확장하면서도 비-오디오 입력에 대한 비트 단위 불변성을 보장하는 모달리티 게이티드 어댑터 방식입니다. 이는 텍스트 경로를 적응시켜 베이스의 정체성을 변화시키는 LoRA 기반 방식과는 다릅니다.
2. 창발적 교차 모달 검색 (Emergent Cross-Modal Retrieval): 본 모델은 쌍을 이루는 오디오-시각 훈련 데이터가 전혀 없음에도 불구하고 VGGSound-696에서 오디오-이미지 검색을 달성합니다. 오디오를 텍스트에 정렬하고, 텍ual을 이미지에 정렬함으로써(동결된 베이스를 통해) 오디오-이미지 검색이 자연스럽게 창발됩니다.
3. 부정적 결과 및 디자인 공간 매핑:
   • LLM 재작성 캡션: 캡션을 더 "깨끗하게" 만들기 위해 LLM으로 재작성하는 것이 오히려 검색 성능을 감소시켰습니다.
   • 타워 교체 (Tower Substitution): 더 강력한 사운드 이벤트 중심의 오디오 타워(Dasheng)로 교체했을 때, 동결된 LLM에 결합된 상태에서 R@10이 16포인트 하락했습니다. 이는 병목 현상이 오디오 인코더 자체가 아니라 오디오 토큰을 처리하는 동결된 LM의 능력에 있음을 나타냅니다.
   • 커넥터 너비 (Connector Width): 커넥터의 너비를 일정 수준 이상으로 넓히면 암기(memorization) 현상이 발생하여 검색 성능이 저하되었습니다.
4. 프로토콜 발견: "네이티브 프로토콜 효과"(+14.5 R@10)가 데이터 규모나 커넥터 너비보다 특정 맥락에서 가장 큰 성능 레버임을 입증했습니다.

결과

• 오디오-텍스트 검색:
  • 제1세대 (v0.3): AudioCaps 오디오-텍스트 R@10 0.741, R@1 0.332를 달성했습니다.
  • 제2세대: 텍스트-오디오 검색 성능을 크게 개선(AudioCaps R@10 0.775)하는 동시에 오디오-텍스트 성능(0.743, 오차 범위 내)을 유지했습니다.
  • 제로샷 (Zero-Shot): Clotho 제로샷 오디오-텍텍스트 R@10에서 제1세대 0.433, 제2세대 0.482를 달성했습니다.
• 교차 모달 검색:
  • 오디오-이미지: 오디오-시각 쌍 훈련 없이도 VGGSound-696에서 R@10 0.418(우연 확률의 29배)을 달성했습니다.
  • 비교: 헤드 투 헤드 비교에서, 퓨전 임베딩-1은 LanguageBind의 지도 학습 쌍을 포함한 모든 쌍에서 LanguageBind를 능가했습니다.
• 효율성: 두 세대 모두 단일 GPU(예: H100에서 5.1시간)로 몇 시간 만에 훈련이 가능합니다.
• 불변성: 비-오디오 출력이 기존 베이스 모델과 비트 단위로 동일함을 검증하여, 기존 인덱스의 변동이 없음을 확인했습니다.

의의 및 주장

본 논문은 퓨전 임베딩이 검색 시스템에서 모달리티를 통합하기 위한 실용적이고 불변적인 솔루션을 제공한다고 주장합니다.

• 역량보다 불변성 (Invariance over Capability): 베이스 모델의 안정성을 희생하여 성능을 높이는 "오디오 네이티브" 전문 시스템과 달리, 퓨전 임베딩은 불변성을 우선시합니다. 이는 오디오를 추가하는 것이 기존의 텍스트/이미지/비디오 인덱스를 무효화하거나 발표된 베이스 모델의 벤치마크 결과를 변경하지 않음을 보장합니다.
• 감독 없는 창발 (Emergence without Supervision): 공유된 텍스트 피벗을 통해 값비싼 오디오-시각 쌍 데이터 없이도 교차 모달 검색(오디오-이미지)이 순수하게 창발될 수 있음을 보여줍니다.
• 프로토콜의 결정성 (Protocol Criticality): 입력 프로토콜(채팅 템플릿, 인스트럭션 포맷)이 모델 아키텍처 자체만큼 중요하다는 점을 강조합니다. 동결된 백본의 네이티브 프로토콜을 무시하면 치명적인 성능 저하가 발생합니다.
• 오픈 릴리스: 저자들은 두 세대에 대한 가중치, 코드 및 평가 하네스를 공개하여, 동결된 백본 기반의 오디오 퓨전에 대한 재현 가능한 베이스라인을 제공합니다.

저자들은 이 작업을 "동결된 베이스 퓨전(frozen-base fusion)"이라는 독특한 범주로 정의합니다. 이는 백본을 적응시키는 "오디오 네이티브" 시스템이나 처음부터 훈련하는 "통합 훈련" 시스템과는 다릅로, 제2세대는 여러 보존된 모달리티에 대해 비트 단위 불변성 보장을 제공하는 최초의 사례라고 주장합니다.