VIRTUE: Visual-Interactive Text-Image Universal Embedder

이 논문은 사용자가 이미지 내 특정 영역을 지시할 수 있는 시각적 상호작용 기능을 갖춘 새로운 범용 임베딩 모델 'VIRTUE'를 제안하고, 대규모 SCaR 벤치마크를 통해 기존 범용 태스크와 시각적 상호작용 태스크에서 모두 최첨단 성능을 입증했습니다.

핵심

🎨 1. 기존 모델의 한계: "모두를 한 번에 보는 안경"

기존의 이미지 검색 AI(예: CLIP 같은 모델)는 사진을 볼 때 전체 장면을 한 번에 훑어보는 안경을 끼고 있었습니다.

• 상황: 사진에 '개'와 '고양이'가 함께 있고, 배경은 '공원'입니다.
• 기존 AI의 반응: "아, 이 사진은 '개와 고양이가 있는 공원'이네!"라고 전체적인 느낌만 파악합니다.
• 문제점: 사용자가 **"그냥 개만 찾아줘"**라고 하거나, **"고양이가 있는 부분만 보여줘"**라고 손가락으로 가리켰을 때, 기존 AI는 "아니, 이 사진은 개와 고양이가 다 있는 거야"라며 혼란을 겪거나, 무작정 개만 잘라낸 사진을 보여줍니다. 이때는 배경 정보 (공원) 가 사라져버려서 문맥을 잃게 됩니다.

🖱️ 2. VIRTUE 의 등장: "손가락으로 가리키는 마법사"

이 논문은 VIRTUE라는 새로운 모델을 만들었습니다. 이 모델은 사용자가 손가락으로 (또는 마우스로) 특정 부분을 가리키면, 그 부분의 의미와 전체 배경을 동시에 이해할 수 있습니다.

• 비유: VIRTUE 는 마법사의 지팡이를 가진 탐정 같습니다.
  • 사용자가 사진 속 '개' 위에 지팡이를 댄다면?
  • VIRTUE 는 "아! 주인님은 개에 관심이 있구나! 그런데 이 개는 잔디밭에 있는 공원에 있네!"라고 정확히 파악합니다.
  • 단순히 개만 잘라내는 게 아니라, **"잔디밭에 있는 개"**라는 정확한 맥락을 이해해서 검색 결과를 찾아줍니다.

🛠️ 3. 어떻게 만들었을까? (두 명의 전문가 팀)

VIRTUE 는 두 가지 강력한 기술을 합쳐서 만들었습니다.

1. 세그멘테이션 모델 (SAM2): "정교한 가위"
   • 이 모델은 사진 속 특정 물체 (예: 개, 고양이) 를 정확하게 잘라내거나 표시하는 데 특화되어 있습니다. 사용자가 가리킨 부분만 정확히 인식합니다.
2. 시각 - 언어 모델 (VLM): "지적인 해설가"
   • 이 모델은 사진 전체의 분위기, 배경, 그리고 텍스트를 이해하는 데 뛰어납니다.

VIRTUE 의 방식:
이 두 모델을 합쳐서, **"가위 (세그멘테이션)"**가 사용자가 지정한 부분을 잘라내고, **"해설가 (VLM)"**가 그 부분과 전체 배경을 함께 설명해 주는 식으로 작동합니다. 그래서 사용자의 의도 (특정 부분) 와 상황 (전체 배경) 을 모두 놓치지 않습니다.

📚 4. 새로운 시험지 (SCaR 벤치마크)

이 모델이 정말 잘하는지 확인하기 위해, 기존에 없던 새로운 시험지 SCaR을 만들었습니다.

• 기존 시험지: "이 사진에 뭐가 있니?" (전체적인 답변만 요구)
• 새로운 SCaR 시험지: "이 사진에서 빨간 박스로 표시된 개가 어디서 무엇을 하고 있는지 설명해 줘."
  • 단순히 개만 찾는 게 아니라, "개"가 "잔디밭"에 있고 "공원에 있는" 상황까지 모두 고려해야 정답을 맞출 수 있습니다.
  • 이 시험지는 100 만 개의 문제 (이미지 + 영역 + 설명) 로 구성되어 있어, AI 의 능력을 극한으로 테스트합니다.

🏆 5. 결과는 어떨까? (압도적인 승리)

실험 결과, VIRTUE 는 기존 모델들을 압도했습니다.

• 일반적인 작업 (MMEB): 기존 모델들보다 3~8% 더 높은 점수를 받았습니다. (손가락으로 가리지 않아도 전체적인 이해도가 더 좋아졌습니다.)
• 상호작용 작업 (SCaR): 사용자가 특정 부분을 가리키는 작업에서는 15~20% 이상의 엄청난 점수 향상을 보였습니다.
  • 기존 모델들은 "개"만 찾다가 배경을 잃어버리거나, "공원"만 찾다가 개를 놓치는 실수를 많이 했지만, VIRTUE 는 **"잔디밭에 있는 개"**를 정확히 찾아냈습니다.

💡 6. 요약: 왜 이것이 중요한가?

이 연구는 **"AI 가 사람의 눈과 손가락을 더 잘 이해하게 되었다"**는 것을 의미합니다.

• 과거: "이 사진에서 개를 찾아줘" → AI 는 개가 있는 모든 사진을 보여줌. (정답이 여러 개일 수 있음)
• VIRTUE: "이 사진에서 이 개를 찾아줘" (손가락으로 가리킴) → AI 는 **"이 사진의 이 개가 있는 상황"**을 정확히 이해하고, 비슷한 상황의 다른 사진을 찾아줌.

결론적으로, VIRTUE 는 우리가 이미지와 대화할 때 더 정교하고 직관적인 방식을 가능하게 하며, 앞으로의 AI 검색, 콘텐츠 추천, 로봇 제어 등 다양한 분야에서 인간과 AI 의 소통을 훨씬 자연스럽게 만들어 줄 것입니다.

기술 요약

이 논문은 VIRTUE (Visual-InteRactive Text-Image Universal Embedder) 를 제안하며, 기존의 텍스트 기반 지시만 지원하는 멀티모달 임베딩 모델의 한계를 극복하고 시각적 상호작용 (Visual Interaction) 기능을 통합한 새로운 아키텍처를 소개합니다. 또한, 이를 평가하기 위한 대규모 벤치마크 SCaR을 구축했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 기존 모델의 한계: 최근 Vision-Language Model (VLM) 기반의 임베딩 모델 (GME, LamRA 등) 은 텍스트 지시를 통해 복잡한 태스크를 수행할 수 있게 되었습니다. 그러나 사용자의 시각적 프롬프트 (점, 바운딩 박스, 마스크 등) 를 입력받아 관심 영역 (Region of Interest) 을 특정하거나 정밀하게 grounding 하는 기능은 부족합니다.
• 현재 접근법의 결함:
  • 시각적 프롬프트를 텍스트로 변환하여 처리하는 방식은 공간적 정밀도를 잃게 합니다.
  • 관심 영역을 단순히 잘라내는 (Cropping) 방식은 전역적인 장면 컨텍스트 (Scene Context) 를 상실하게 하여, "특정 객체가 있는 전체 장면"을 이해하는 조합적 추론 (Compositional Reasoning) 을 방해합니다.
• 핵심 질문: 임베딩 모델에 시각적 상호작용 기능을 어떻게 통합하고, 이를 통해 특정 영역에 대한 정밀한 이해와 전역 컨텍스트를 동시에 유지할 수 있을까요?

2. 제안 방법론: VIRTUE (Methodology)

VIRTUE 는 세그멘테이션 모델 (SAM2) 과 프리트레인된 VLM을 결합하여 엔티티 레벨 (Entity-level) 정보와 전역 (Global) 정보를 통합적으로 인코딩합니다.

• 아키텍처 구성:
  1. 시각 프롬프트 처리 (Segmentation Streamline): 사용자가 제공한 시각적 프롬프트 (바운딩 박스, 클릭, 마스크) 나 비상호작용 시나리오를 위해 무작위로 샘플링된 점들을 SAM2 (Segment Anything Model 2) 의 프롬프트 인코더에 입력합니다. 이를 통해 이미지 내 특정 객체의 세그멘테이션 특징 맵을 생성합니다.
  2. 특징 압축 및 연결 (Segmentation-Language Connector): 생성된 64x64 크기의 세그멘테이션 특징 맵을 2D 컨볼루션과 MLP 를 통해 압축하여 VLM 의 임베딩 차원으로 변환합니다.
  3. 통합 인코딩 (Unified Embedding): 변환된 세그멘팅 임베딩 ($H_s$), VLM 의 비전 인코더에서 추출된 전역 비전 임베딩 ($H_v$), 그리고 텍스트 임베딩 ($H_t$) 을 순차적으로 연결하여 LLM 에 입력합니다.
  4. 학습 전략: 최종 토큰의 숨겨진 상태 (Hidden State) 를 사용하여 Contrastive Learning (InfoNCE Loss) 을 수행합니다. 이를 통해 모델은 전역 매칭 신호뿐만 아니라 시각적 프롬프트로 지정된 엔티티 레벨의 정밀한 정보도 학습하게 됩니다.
• 비상호작용 시나리오 대응: 시각적 프롬프트가 없는 경우, SAM2 가 자동으로 객체를 분할할 수 있도록 이미지에서 균일하게 샘플링된 점들을 프롬프트로 사용하여 엔티티 레벨 정보를 추출합니다.

3. 주요 기여 (Key Contributions)

1. 방법론적 혁신 (VIRTUE): 텍스트뿐만 아니라 시각적 프롬프트를 직접 처리할 수 있는 범용 멀티모달 임베더를 최초로 제안했습니다. 이는 사용자의 의도를 지역화 (Localization) 하고, 엔티티 레벨 정보를 전역 컨텍스트와 결합하여 더 정밀한 검색과 이해를 가능하게 합니다.
2. 벤치마크 구축 (SCaR): 시각적 상호작용 임베딩 능력을 평가하기 위한 대규모 SCaR (Segmentation-and-Scene Caption Retrieval) 벤치마크를 구축했습니다.
   • 규모: 100 만 개 (1M) 의 샘플.
   • 구성: RefCOCO+, RefCOCOg, VisualGenome, COCO-Stuff, ADE20k 등 5 개의 공개 데이터셋을 기반으로 구성.
   • 특징: 이미지와 관심 영역 (바운딩 박스) 을 쿼리로 주어, 해당 객체가 포함된 전체 장면 컨텍스트를 설명하는 캡션을 찾는 태스크입니다. GPT-4V 를 활용하여 객체, 관계, 장면 요소를 교체한 정교한 부정적 샘플 (Hard Negatives) 을 생성하여 추론 능력을 엄격하게 평가합니다.
3. 실험적 성과: 36 개의 MMEB 태스크와 5 개의 SCaR 태스크에서 SOTA 성능을 달성했습니다.

4. 실험 결과 (Results)

• MMEB (범용 임베딩 태스크): 36 개의 태스크 (분류, VQA, 검색, 그라운딩) 에서 기존 SOTA 모델 (VLM2Vec, UniME, GME 등) 보다 3.1% ~ 8.5% 향상된 성능을 보였습니다. 특히 7B 모델 기준 68.6 점 (기존 66.6 점 대비 +2.0) 을 기록했습니다.
• SCaR (시각적 상호작용 태스크): 시각적 상호작용이 필요한 5 개 데이터셋에서 기존 모델 대비 15.2% ~ 20.3% 의 큰 폭의 성능 향상을 기록했습니다.
  • 단순히 이미지를 잘라내는 (Cropping) 방식이나 텍스트로 바운딩 박스를 설명하는 방식보다 VIRTUE 의 시각적 프롬프트 처리 방식이 전역 컨텍스트를 유지하면서 정밀한 객체 이해를 가능하게 하여 압도적인 우위를 보였습니다.
• 강건성 (Robustness): 노이즈가 있거나 정렬이 어긋난 바운딩 박스, 부분적인 마스크 등 다양한 시각적 프롬프트 조건에서도 모델이 안정적인 성능을 유지함을 확인했습니다.

5. 의의 및 중요성 (Significance)

• 새로운 상호작용 패러다임: 멀티모달 임베딩 모델이 텍스트 지시뿐만 아니라 시각적 지시 (Visual Prompt) 를 통해 사용자와 상호작용할 수 있는 새로운 가능성을 열었습니다. 이는 검색, RAG(검색 증강 생성), 콘텐츠 관리 등 다양한 분야에서 사용자 의도를 더 정밀하게 반영할 수 있게 합니다.
• 정밀한 엔티티 이해: 전역적인 이미지 매칭의 한계를 넘어, 특정 객체와 그 주변 환경의 관계를 동시에 이해하는 조합적 추론 (Compositional Reasoning) 능력을 획기적으로 향상시켰습니다.
• 데이터 및 코드 공개: 제안된 모델 (VIRTUE), 벤치마크 (SCaR), 그리고 코드 (GitHub) 를 공개하여 커뮤니티의 연구 발전을 도모합니다.

요약하자면, VIRTUE 는 시각적 프롬프트를 임베딩 모델에 직접 통합함으로써, 사용자가 이미지 내 특정 영역을 지시할 때 해당 객체의 세부 사항과 전체 장면의 맥락을 동시에 고려한 정밀한 멀티모달 이해를 실현한 획기적인 연구입니다.