1. 연구 배경 및 문제 정의 (Problem)

• 기존 VLM 의 한계: 최근의 시각 - 언어 모델 (VLM) 은 대부분 CLIP 과 같은 단일 시각 인코더 (Contrastive Encoder) 에 의존합니다. 이러한 모델은 이미지와 텍스트 간의 전역적 (Global) 정렬에는 탁월하지만, 정밀한 지역화 (Localization), 색상 속성, 미세한 공간적 관계와 같은 세밀한 시각적 단서를 포착하는 데는 한계가 있습니다.
• Grounding 과 Hallucination: 단일 인코더 기반 모델은 종종 객체 위치를 정확히 지시하는 'Grounding' 작업에서 성능이 떨어지며, 객체 할루시네이션 (허위 생성) 문제가 발생합니다.
• 다중 인코더의 과제: 최근 연구들은 서로 다른 인코더 (예: CLIP 과 DINO) 를 결합하면 성능이 향상될 수 있음을 시사합니다. 그러나 단순히 여러 인코더의 특징을 연결 (Concatenation) 하면 **중복된 정보 (Redundancy)**가 발생하고, LLM 이 처리해야 하는 시각 토큰 수가 급증하여 계산 비용이 늘어나는 문제가 있습니다. 또한, 서로 다른 인코더의 토큰 그리드 해상도가 다를 때 정렬 (Alignment) 이 어렵습니다.

2. 제안 방법론: CoME-VL (Methodology)

저자들은 **CoME-VL (Complementary Multi-Encoder Vision-Language)**을 제안합니다. 이는 대비 학습 (Contrastive) 을 받은 시각 인코더 (SigLIP2) 와 자기지도 학습 (Self-supervised) 인코더 (DINOv3) 를 결합하여 상호 보완적인 정보를 활용하는 모듈식 퓨전 프레임워크입니다.

핵심 구성 요소:

1. 엔트로피 기반 계층 선택 (Entropy-guided Layer Selection):

   • SigLIP2 와 DINOv3 의 각 레이어에서 **토큰 엔트로피 (Token Entropy)**를 분석합니다.
   • SigLIP2: 모든 레이어 (L0–27) 를 사용하여 풍부한 의미론적 (Semantic) 특징을 포착합니다.
   • DINOv3: 엔트로피가 낮아지는 레이어 (L10–23) 를 선택합니다. 이 레이어들은 강한 공간적 특징 (Spatial features) 과 객체의 경계를 잘 표현합니다.
   • 이를 통해 각 인코더의 강점을 최대화하는 레이어 범위를 자동으로 식별합니다.

2. 직교 정규화 퓨전 (Orthogonality-Regularized Fusion):

   • 여러 레이어의 특징을 단순히 합치면 중복성이 발생합니다. 이를 해결하기 위해 **Orthogonal Layer (OL)**를 도입합니다.
   • 각 선택된 레이어의 출력을 직교 행렬 (Orthogonal Matrix) 을 통해 투영하여, 서로 다른 레이어 간의 특징이 **중복되지 않고 보완적 (Complementary)**이 되도록 유도합니다. 이는 정보의 중복을 줄이고 최적화 안정성을 높입니다.

3. RoPE 강화 크로스 어텐션 (RoPE-enhanced Cross-Attention):

   • 서로 다른 해상도의 토큰 그리드 (SigLIP vs DINO) 를 효율적으로 정렬하기 위해 **RoPE (Rotary Positional Embedding)**를 크로스 어텐션 메커니즘에 통합합니다.
   • 전략: SigLIP 토큰을 Query 로, DINO 토큰을 Key/Value 로 사용하여 공간적 일관성을 유지하면서 특징을 융합합니다.
   • 장점: 시각 토큰을 단순히 연결 (Concatenation) 하여 LLM 의 컨텍스트 길이를 늘리는 대신, 컴팩트한 융합된 시각 토큰으로 변환하여 LLM 에 주입합니다. 이는 계산 효율성을 유지하면서도 정밀한 정렬을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 상호 보완적 다중 인코더 프레임워크: 자기지도 학습 인코더 (DINO) 와 대비 학습 인코더 (SigLIP) 를 통합하여 시각 이해 (Understanding) 와 지상화 (Grounding) 성능을 동시에 향상시켰습니다.
2. 엔트로피 기반 레이어 선택: 인코더의 깊이에 따른 특징의 특성을 분석하여, 의미론적 정보와 공간적 정보를 최적화하는 레이어 범위를 데이터 기반으로 선택하는 기준을 제시했습니다.
3. 효율적인 융합 메커니즘:
   • 직교 정규화: 다중 인코더 간의 중복 정보를 제거합니다.
   • RoPE 기반 어텐션: 이질적인 시각 특징을 효율적으로 정렬하고 LLM 의 부하를 증가시키지 않습니다.
4. 성능 입증: 다양한 벤치마크에서 기존 단일 인코더 모델 및 최신 VLM 들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: PixMo (차트, 도표, 테이블, 카운팅, 포인팅), RefCOCO (객체 지시) 등 다양한 작업에서 평가되었습니다.
• 성능 향상:
  • 시각 이해 (Understanding): 평균 4.9% 향상.
  • Grounding (지상화): 평균 5.4% 향상.
  • RefCOCO: 검증 세트에서 92.57%, TestA 에서 95.36% 의 정확도를 기록하여 기존 최상위 모델 (SOTA) 을 능가했습니다.
  • PixMo 포인팅 (Pointing): @3px/5px 기준에서 각각 58.56% / 75.94% 의 정확도를 달성하여 정밀한 좌표 예측 능력을 입증했습니다.
• 효율성:
  • 기존 특징 연결 방식 (COMM 등) 은 샘플당 약 2.2 초의 추론 시간이 소요되지만, CoME-VL 은 1.52 초로 효율성을 유지하면서도 성능을 크게 개선했습니다.
  • Molmo 베이스라인 (1.26 초) 대비 추론 시간이 소폭 증가했으나, 성능 향상에 비해 매우 합리적인 수준입니다.

5. 의의 및 결론 (Significance)

• 시각 표현의 패러다임 전환: 단일 인코더에 의존하던 기존 VLM 의 한계를 극복하고, 다중 인코더의 상호 보완성을 체계적으로 활용하는 새로운 방향을 제시했습니다.
• Grounding 능력 강화: 단순한 이미지 설명을 넘어, 객체의 정확한 위치를 파악하고 공간적 관계를 이해하는 Grounding 작업에서 획기적인 개선을 이루었습니다. 이는 로봇 공학, 의료 영상 분석, 정밀한 시각 질의응답 등 실제 응용 분야에 필수적입니다.
• 효율성과 성능의 균형: 복잡한 다중 인코더 구조를 도입했음에도 불구하고, 직교 정규화와 RoPE 기반 어텐션을 통해 LLM 의 계산 부하를 최소화하여 실용적인 모델을 구축했습니다.

요약하자면, CoME-VL 은 서로 다른 특성을 가진 두 개의 시각 인코더를 지능적으로 결합하고, 중복을 제거하며 공간적 정렬을 최적화함으로써, 기존 VLM 들이 겪던 '정밀한 위치 파악'과 '세밀한 이해'의 한계를 성공적으로 극복한 모델입니다.