Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval

"대규모 멀티모달 모델에서 교차모달 검색 향상을 위한 시각적 무시와 의미적 표류 대응" 논문에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 현재 대규모 멀티모달 모델 (LMM) 기반 통합 멀티모달 검색 (UMR) 시스템의 두 가지 치명적인 한계를 다룹니다:

• 의미 정렬 편차: 기존 방법들은 주로 샘플 단위 대비 학습 (양대 vs 음대 쌍 구분) 에 의존합니다. 이는 종종 주체 수준의 의미를 포착하지 못해, 모델이 텍스트 쿼리에 언급된 특정 시각적 주체가 아닌 의미적으로 관련 없는 영역에 주의를 잘못 배분하게 만듭니다.
• 시각 모달리티 무시: LMM 들은 텍스트 단서에 지나치게 의존하는 경향이 있어, 시각 정보가 충분히 활용되지 않는 불균형을 초래합니다. 모델들은 임베딩 공간 내에서 "텍스트 편향" 영역에 집중하여 보완적인 시각 지식을 효과적으로 활용하지 못합니다.

2. 방법론: SSA-ME 프레임워크

저자들은 중요도 인식 모델링을 통해 세밀한 표현 학습을 강화하도록 설계된 주요 주체 인식 멀티모달 임베딩 (SSA-ME) 프레임워크를 제안합니다. 이 아키텍처는 세 가지 주요 단계로 구성됩니다:

A. 멀티모달 특징 추출

이 프레임워크는 표준 LMM 파이프라인 (비전 인코더 + 프로젝터 + 언어 모델) 을 사용하지만, 명시적 토큰 제한 (EOL) 원칙을 채택합니다. 특정 프롬프트 템플릿을 사용하여 교차된 이미지 - 텍스트 입력을 처리하여 통합 멀티모달 임베딩을 생성합니다.

B. 중요도 안내 주시 정렬 (SGA)

이 모듈은 모델이 관련 시각적 주체에 집중하도록 강제함으로써 의미 정렬 편차를 해결합니다.

1. 주체 추출: 프롬프트 기반 LMM(예: Qwen2.5-VL) 이 쿼리와 해당 양대 샘플을 분석하여 둘 다에 나타나고 시각적으로 인식 가능한 주요 명사 집합 ($S$) 을 추출합니다.
2. 분할: 시각 전문가 모델 (Segment Anything Model - SAM) 이 쿼리 이미지에서 추출된 이러한 주체에 대한 이진 분할 마스크를 생성합니다.
3. 중요도 맵 생성: 이진 마스크를 가우시안 커널로 부드럽게 처리하여 연속적인 중요도 맵 ($A$) 을 생성합니다. 신뢰도 검증 메커니즘 (CLIP 유사도 사용) 은 낮은 신뢰도의 주체를 필터링합니다.
4. 손실 함수: 모델의 내부 주시 분포와 생성된 중요도 맵 간의 Kullback-Leibler (KL) 발산을 최소화하는 중요도 안내 손실 ($L_{SG}$) 이 도입되어 모델이 올바른 영역에 주의를 기울이도록 보장합니다.

C. 중요도 주도 특징 재생성 (SDR)

이 모듈은 시각 특징을 재조정함으로써 시각 모달리티 무시를 해결합니다.

1. 특징 재생성: 모델은 최종 층의 시각적 주의 패턴을 추출하여 평탄화한 후, 이를 가중치로 사용하여 시각 특징 토큰을 재집합합니다.
2. 융합: 재생성된 중요도 가중 시각 요약 ($\hat{F}_v$) 은 원래 마지막 토큰 특징 ($F_{last}$) 과 더하기 연산을 통해 융합되어 최종 멀티모달 임베딩을 형성합니다. 이를 통해 최종 표현이 가장 중요한 시각 정보를 강력하게 포함하도록 보장합니다.

학습 목적: 총 손실은 표준 대비 손실 ($L_{Con}$) 과 중요도 안내 손실을 결합합니다:
$$L_{total} = L_{Con} + \alpha \cdot L_{SG}$$

3. 주요 기여

1. 주체 수준 관점: 이 논문은 샘플 단위 최적화의 근본적 결함으로 "의미 정렬 편차"와 "시각 모달리티 무시"를 식별하고 체계적으로 분석하여, 주체 수준 추론으로의 전환을 제안합니다.
2. 새로운 구성 요소 (SGA 및 SDR):
   • SGA: LMM 과 SAM 으로부터의 증류 접근법을 사용하여 모델 주의를 의미 있는 영역과 정렬합니다.
   • SDR: 중요도 맵을 기반으로 시각 특징을 재조정하여 모델이 시각 입력을 무시하지 않도록 합니다.
3. 최첨단 성능: 이 방법은 MMEB(멀티모달 임베딩 벤치마크) 에서 새로운 기준을 달성하여, 명시적 주체 모델링이 검색 정확도와 일반화를 크게 향상시킨다는 것을 입증했습니다.

4. 실험 결과

저자들은 4 가지 작업 (분류, VQA, 검색, 시각적 그라운딩) 에 걸쳐 20 개의 분포 내 (IND) 와 16 개의 분포 외 (OOD) 데이터셋을 포함하는 MMEB 벤치마크에서 SSA-ME 를 평가했습니다.

• 성능 향상:
  • SSA-ME (Qwen2VL-2B): 전체 점수 **66.0%**를 기록하여 베이스라인 VLM2Vec(2B) 보다 +5.9% 상회했습니다. 분류 (+6.7%) 와 VQA(+8.8%) 에서 막대한 개선을 보였습니다.
  • SSA-ME (Qwen2VL-7B): 전체 점수 **69.0%**를 기록하여 7B 베이스라인보다 +3.2% 우세했으며 MMRet 와 같은 다른 강력한 베이스라인을 능가했습니다.
• 일반화: 모델은 분포 외 데이터셋에서 **+7.2%**의 향상으로 견고한 성능을 보여주어, 보지 못한 데이터 분포에 대한 강력한 적응력을 나타냈습니다.
• 주시 균형: 정성적 분석 (그림 3) 은 SSA-ME 가 시각 및 텍스트 주의 가중치 간의 거리를 크게 줄였음을 보여줍니다 (검색 작업에서 최대 99.5% 감소). 이는 시각 모달리티 무시를 효과적으로 완화합니다.
• 어블레이션 연구:
  • SGA 와 SDR 구성 요소 모두 긍정적인 기여를 했으며, 이들의 조합이 최상의 결과를 낳았습니다.
  • 트랜스포머의 최종 층에 주시 정렬을 적용하는 것이 초기 또는 중간 층에 비해 가장 효과적인 것으로 확인되었습니다.
  • 의미 관련성 필터링은 노이즈를 제거하고 그라운딩 정확도를 높이는 데 결정적이었습니다.

5. 의의

이 작업은 멀티모달 검색의 표준 "대비 학습" 패러다임을 넘어선다는 점에서 중요합니다. 주요 주체를 명시적으로 모델링함으로써 SSA-ME 는 모델이 어디를 보고 있는지에 대한 "블랙박스" 문제를 해결하여 다음과 같은 결과를 가져옵니다:

• 해석 가능성: 모델의 주의 맵이 인간이 식별할 수 있는 객체와 정렬됩니다.
• 견고성: 세밀한 시각 - 텍스트 대응이 필요한 복잡한 쿼리를 더 잘 처리합니다.
• 효율성: 일부 중요한 토큰 서브셋에서 특징을 재생성하는 능력은 불필요하게 전체 토큰 세트를 처리하지 않으면서도 높은 성능을 유지합니다.

이 논문은 주체 수준 추론을 통합하는 것이 진정한 보편적이고 균형 잡힌 멀티모달 이해를 달성하기 위한 결정적인 단계임을 확립합니다.