기술 요약: 순위 기반 검색을 통한 다중 모달 데이터 큐레이션

문제 정의

공유 임베딩 공간은 다중 모달 검색 및 데이터 큐레이션의 표준 백본입니다. 그러나 저자들은 특히 이질적인 인간 라벨링 데이터셋을 혼합할 때 이러한 시스템의 효과를 저하시키는 두 가지 누적 문제를 식별했습니다:

1. 모달리티 주도 클러스터링 (모달리티 간극): 임베딩은 종종 의미론적 의미보다는 입력 모달리티 (예: 모든 텍스트를 함께, 모든 이미지를 함께) 에 따라 클러스터링됩니다. 이러한 기하학적 분리는 최단 이웃 검색이 의미론적 유사성보다 모달리티 정체성을 우선시하게 만들어, 교차 모달 검색 및 클러스터링이나 중복 제거와 같은 하위 작업의 효과를 약화시킵니다.
2. 노이즈가 있는 쌍별 감독: 이미지 - 캡션, 비디오 - 대본과 같은 쌍별 데이터셋의 학습 신호는 종종 정렬 불일치를 겪습니다. 주석은 중요한 객체를 생략하거나, 관련 없는 맥락을 포함하거나, 원시 데이터에 존재하지 않는 콘텐츠 (예: 화면 밖 오디오) 를 참조할 수 있습니다. 이러한 노이즈가 있는 쌍으로 모델을 학습시키면, 모델은 근본적인 사건이 아니라 데이터셋이나 모달리티와 상관관계가 있는 단축 경로를 학습하여 모달리티 간극을 강화합니다.

기존 솔루션들은 일반적으로 이 문제의 한 측면만 해결합니다: 표현 수준의 방법은 노이즈가 있는 감독을 주어진 것으로 받아들이면서 임베딩을 정렬하려고 시도하는 반면, 데이터 중심 필터링은 쌍의 품질을 개선하지만 종종 체계적인 기하학적 편향을 보정할 수 없는 고정된 인코더 아키텍처를 가정합니다.

방법론

본 논문은 학습 데이터 쌍과 임베딩 모델 아키텍처에 동시에 개입하는 결합된 프레임워크를 제안합니다. 이 접근법은 세 가지 주요 구성 요소로 구성됩니다:

1. 대칭 핵 하위 샘플링 (SNS)

SNS 는 원시 입력과 주석 모두에서 관련 없는 콘텐츠를 제거하여 쌍별 샘플의 정보 밀도를 높이기 위해 설계된 데이터 측 전처리 기술입니다. 이는 두 단계로 작동합니다:

• 전방 추출: 주석 콘텐츠를 설명하는 원시 데이터의 가장 관련성 높은 부분 (예: 특정 이미지 영역, 비디오 순간, 텍스트 범위) 을 식별합니다. 이는 임베딩 유사성에 의해 안내된 모달리티별 분할 모델 (예: 이미지의 경우 Grounding-DINO, 비디오의 경우 순간 감지) 을 사용하여 달성됩니다.
• 후방 추출: 원시 데이터에 의해 지지되는 주석의 가장 근거 있는 부분을 식별합니다. 이는 원시 데이터에 대한 설명을 생성 (Nemotron-Nano 또는 Cosmos-Reason2 와 같은 모델 사용) 하고 원래 주석을 필터링하여 이 설명과 높은 유사성을 가진 문장만 유지하는 과정을 포함합니다.
• 대칭 게이트: 추출된 "핵"과 원래 쌍 사이의 상호 정보 비율이 임계값 ($\rho$) 을 초과하는 경우에만 쌍이 유지되거나 수정됩니다. 이는 잘라내기가 유효한 데이터를 폐기하지 않으면서 정렬을 개선하도록 보장합니다.

2. 전문가 임베딩 엔진 (EEE)

모달리티 편향을 해결하기 위해 저자들은 서로 다른 강점과 내재적 편향을 가진 세 가지 고유한 임베딩 전략을 활용하는 전문가 혼합 (MoE) 아키텍처를 제안합니다:

• 엔드 투 엔드 전문가: 모든 모달리티를 직접 처리하기 위해 통합된 다중 모달 모델 (Omni-Embed-Nemotron-3B) 을 사용합니다.
• 퓨전 전문가: 이미지를 앵커로 사용하여 별도의 인코더에서 추출한 임베딩을 융합하는 ImageBind 스타일 아키텍처를 사용합니다.
• 텍스트 전문가: 모달리티 - 텍스트 모델을 사용하여 모든 모달리티를 텍스트 설명으로 변환한 후 전용 텍스트 임베딩 모델 (Llama-Nemotron-Embed-1B) 을 사용합니다.

3. 편향 인식 목적 함수를 가진 프로젝션 네트워크

세 가지 전문가가 서로 다른 공간에서 임베딩을 생성하므로, 모든 전문가의 연결된 임베딩을 통합된 공간으로 투영하도록 경량 신경망이 학습됩니다. 이 네트워크는 복합 손실 함수로 학습됩니다:

• 작업 손실 ($L_{task}$): 쌍별 데이터와 주석 간의 의미론적 유사성을 유지하기 위한 InfoNCE 스타일 대비 손실입니다.
• 클러스터 편향 손실 ($L_{cluster}$): 각 모달리티의 중심점과 전역 중심점 사이의 거리를 패널티하여 공유 공간에서 모달리티가 겹치도록 강제합니다.
• 스케일 편향 손실 ($L_{scale}$): 균일한 클러스터 기하학을 보장하기 위해 모달리티 간 임베딩의 분포 (분산) 차이를 패널티합니다.

중요하게도, 프로젝션 네트워크는 텍스트 주석을 "근거 있는 앵커"로 간주 (그들의 임베딩을 변경하지 않음) 하고 원시 데이터 임베딩을 그쪽으로 투영하여 기하학이 텍스트 모달리티에 의해 안내되도록 합니다.

주요 기여

1. 공동 실패 모드 분석: 모달리티 편향과 원시 - 주석 정렬 불일치가 인간이 라벨링한 혼합 코퍼스에서 임베딩 품질을 어떻게 공동으로 저하시키는지 분석합니다.
2. 대칭 핵 하위 샘플링 (SNS): 상호 정보 밀도에 기반하여 다중 모달 쌍의 양쪽에서 관련 없는 콘텐츠를 잘라내어 쌍 일관성을 개선하는 새로운 대칭 하위 샘플링 방법입니다.
3. 전문가 임베딩 엔진 (EEE): 모달리티 주도 분리를 줄이면서 의미론적 구조를 보존하기 위해 학습된 프로젝션 레이어와 편향 인식 목적 함수와 결합된 전문가 혼합 아키텍처입니다.
4. 강건한 평가: 제안된 방법 및 업계 표준 베이스라인을 포함한 다양한 데이터 큐레이션 전략에 대한 하위 모델 성능을 비교하기 위해 인간이 선정한 작업 세트를 사용한 포괄적인 연구입니다.

결과

이 프레임워크는 오디오, 이미지, 비디오, 텍스트에 걸친 다섯 가지 인간 주석 데이터셋 (AudioCaps, TextCaps, ALFRED, CoNaLa, TriviaQA) 의 혼합으로 평가되었습니다. 큐레이션된 데이터 혼합은 다중 모달 언어 모델 (Qwen2.5-Omni-3B) 을 미세 조정하는 데 사용되었으며, 검증 퍼플렉시티가 주요 지표로 사용되었습니다.

• 하위 작업 성능: 전체 구성 (SNS 양방향 + EEE + 프로젝션) 은 계층화 무작위 샘플링, 균일 무작위 샘플링, 그리고 휴리스틱 필터링 및 단일 인코더 순위 매기기에 의존하는 "전통적인" 데이터 큐레이션 파이프라인보다 낮은 검증 퍼플렉시티 (7.732) 를 달성하여 성능을 능가했습니다.
• 모달리티 간극 감소: 프로젝션 네트워크는 모달리티 간극을 성공적으로 축소했습니다. 표 2 는 기본 전문가 임베딩에 비해 모달리티별 중심점 간의 $\ell_2$ 거리가 평균 90% 이상 감소했음을 보여줍니다.
• 애블레이션 통찰:
  • SNS 변형 (전방, 후방, 양방향) 은 일관되게 EEE-only 베이스라인보다 우수한 성능을 보여 데이터 측 노이즈 제거의 가치를 확인했습니다.
  • "전통적인" 베이스라인은 현저히 낮은 성능을 보였으며, 이는 다중 모달 환경에서 휴리스틱 필터링 및 단일 인코더 접근법의 한계를 강조합니다.
  • 프로젝션 네트워크는 필수적이었습니다; 이를 사용하지 않으면 전문가들의 고유한 임베딩 공간을 효과적으로 순위 매기거나 결합할 수 없었습니다.

중요성 및 주장

본 논문은 임베딩 공간이 수정되지 않은 모달리티 편향을 보일 경우 표준 검색 기반 데이터 선택이 학습 혼합물을 능동적으로 저하시킬 수 있다고 주장합니다. 제안된 프레임워크는 데이터 (SNS 를 통해) 와 모델 기하학 (EEE 및 프로젝션을 통해) 모두를 해결하는 것이 견고하고 통합된 임베딩 공간을 생성하는 데 필요함을 보여줍니다.

저자들은 그들의 접근 방식이 임베딩 공간에서의 거리가 입력 형식이 아닌 의미론적 유사성을 반영하도록 보장함으로써 신뢰할 수 있는 교차 모달 검색을 가능하게 한다고 주장합니다. 평가 규모 (5,000 개 샘플, 특정 모델 아키텍처) 가 제한적이지만, 결과는 "작은 기하학적 기이함과 라벨 노이즈"가 대규모 학습에서 체계적인 오류로 누적될 수 있음을 시사하며, 결합된 개입 전략이 실현 가능한 해결책임을 보여줍니다. 논문은 전통적인 베이스라인에 대한 텍스트 기반 감독의 의존성과 평가 규모와 같은 한계를 지적하며, 향후 작업은 불확실성 인식 잘라내기 및 제안과 검증의 분리에 초점을 맞출 수 있다고 결론지었습니다.