기술 요약: CAFT – 이미지 및 긴 캡션 내 숲과 나무 정렬

문제 정의

CLIP 과 같은 비전 - 언어 모델 (VLM) 은 강력한 범용 이미지 - 텍스트 이해 능력을 입증했으나, 상세하고 긴 캡션에 묘사된 세밀한 시각적 개체와 공간적 관계를 처리하는 데는 어려움을 겪습니다. 기존 모델들은 종종 (예: 빨간 버스) 과 같은 지배적인 장면 단서에 의존하면서 (예: 특정 노선 번호나 주변 맥락) 과 같은 구별 가능한 국부적 세부 사항을 간과합니다. 이 한계는 시각적으로 유사한 후보들 중 올바른 이미지를 식별하기 위해 "무엇이 어디에 나타나는지"를 파악하고 이러한 국부적 증거들을 일관된 전체 장면 이해로 구성해야 하는 긴 캡션 기반 이미지 - 텍스트 검색에서 결정적입니다.

기존 접근법들은 이를 해결하기 위해 다음과 같은 시도를 해왔습니다:

1. 문맥 길이 확장: Long-CLIP 과 같은 모델들은 토큰 제한을 확장하지만, 종종 첫 번째 문장을 단서로 삼는 대신 세밀한 세부 사항을 포착하는 데 실패합니다.
2. 긴 캡션과의 전역 정렬: 합성 긴 캡션을 사용하는 방법들은 여전히 전역 이미지 - 텍스트 정렬에 의존하여 특정 개체를 기반 (grounding) 하는 데 필요한 귀납적 편향을 제한적으로 제공합니다.
3. 국부적 감독: 경계 상자 (bounding boxes) 와 같은 특권적 영역 수준 데이터를 사용하는 접근법들은 국부적 기반을 개선하지만, 종종 여러 국부적 세부 사항들을 일관된 전역 장면 표현으로 명시적으로 구성하도록 장려하지는 못합니다.

방법론: CAFT

저자들은 **CAFT(Cross-domain Alignment of Forests and Trees, 교차 영역 숲과 나무 정렬)**를 제안합니다. 이는 계층적 학습 원리에 기반한 비전 - 언어 모델입니다. 인간의 지각에서 영감을 받은 CAFT 는 전체 장면 이해가 전역 표현 ("숲") 을 형성하기 전에 기반을 둔 부분 수준 의미 ("나무") 로부터 구축되어야 한다고 주장합니다.

1. 계층적 아키텍처

CAFT 는 부분 수준 구성 요소를 명시적으로 표현하고 점진적으로 구성하기 위해 세부에서 전체로(Fine-to-Coarse) 이미지 인코더와 부분 - 전체 텍스트 인코더를 사용합니다.

• 세부에서 전체로 이미지 인코더:

  • 균일한 그리드 패치 대신 초픽셀 토큰을 사용하여 객체 경계를 더 잘 보존합니다.
  • ViT 블록과 교차하는 그래프 풀링을 통해 점진적 토큰 그룹화를 구현합니다. 이를 통해 초기 196 개의 초픽셀에서 더 거친 세그먼트 토큰 (64, 32, 16 개) 으로 시각 토큰을 축소합니다.
  • 중간 특징(세부 세그먼트) 은 객체 수준의 세부 사항을 포착하고, 최종 [CLS] 토큰은 장면 수준의 의미론을 포착합니다.

• 부분 - 전체 텍스트 인코더:

  • 긴 캡션은 1~3 문장 단위의 **서브 캡션 (조각)**으로 분할되어 "부분 텍스트"로 간주됩니다.
  • 부분 텍스트 Transformer는 각 조각을 독립적으로 인코딩합니다.
  • 전체 텍스트 Transformer는 경량 어댑터를 통해 이러한 부분 텍스트 임베딩을 집계하여 전체 캡션 표현으로 만듭니다.

2. 계층적 정렬 목적

CAFT 는 하향식 계층 내에서 일치하는 세분성 수준에서 이미지와 텍스트를 정렬합니다:

• 부분 수준 정렬 (중간 레이어): 로컬 시각 특징 (세부 세그먼트) 은 서브 캡션 임베딩과 정렬됩니다. 이는 명시적인 경계 상자 주석이 필요 없이 어텐션 풀링을 사용하여 텍스트 기반 시각 특징을 생성함으로써 달성됩니다.
• 전체 수준 정렬 (최종 레이어): 전역 이미지 표현 ([CLS]) 은 전체 캡션 임베딩과 정렬됩니다.
• 손실 함수: 모델은 작은 배치 크기와 다중 양수 (positives) 를 지원하며 더 안정적인 시그모이드 손실을 부분 수준 및 전체 수준 정렬 모두에 결합하여 사용합니다.

3. 추론

추론 시 정렬 점수는 전체 수준 및 부분 수준 유사도의 가중 합으로 계산되어, 모델이 전역 장면 의미론과 국부적 증거 모두를 활용할 수 있도록 합니다.

주요 기여

1. 계층적 학습 원리: 본 논문은 전역 및 로컬 목적을 병렬로 또는 동일한 표현 수준에서 학습하는 대신, 전역 장면 표현이 기반을 둔 부분 수준 의미론으로 구성되는 원리를 제안합니다.
2. CAFT 모델: 세부에서 전체로 이미지 인코더, 부분 - 전체 텍스트 인코더, 그리고 계층적 교차 영역 정렬을 통해 이 원리를 구현하는 새로운 아키텍처입니다.
3. 최첨단 성능: CAFT 는 경계 상자 (bounding boxes) 와 같은 특권적 영역 수준 주석을 사용하지 않고도 여섯 가지 긴 캡션 검색 벤치마크 (DCI, DOCCI, ShareGPT4V, Urban-1k, IIW) 에서 최첨단 (SOTA) 결과를 달성했습니다.
4. 발현된 시각적 기반: 이 모델은 제로샷 참조 이미지 분할 작업에서 GroupViT 및 MaskCLIP 과 같은 방법들을 능가하는 강력한 시각적 기반 능력을 자연스럽게 학습합니다.

실험 결과

• 검색 성능: 3 천만 개의 이미지 - 텍스트 쌍으로 훈련된 CAFT 는 여섯 가지 긴 캡션 벤치마크 전반에 걸쳐 이전 방법들보다 우수한 성능을 보입니다. 예를 들어, IIW 데이터셋에서 이전 최첨단 모델 (FLAIR 등) 대비 Recall@1(R@1) 을 최대 **5.4%**까지 향상시켰습니다.
• 확장 행동: CAFT 는 3 백만 개에서 3 천만 개의 훈련 쌍으로 확장될 때 강력한 확장 행동을 보이며, 유사한 확장 기울기를 가진 경쟁사들을 일관되게 능가하여 높은 데이터 효율성을 나타냅니다.
• 제로샷 기반: 제로샷 참조 이미지 분할 (RefCOCO, RefCOCO+, GRef) 에서 CAFT 는 마스크 감독 없이 훈련된 모델 중 가장 높은 mIoU 를 달성하여 GroupViT 와 MaskCLIP 을 크게 능가합니다.
• 짧은 텍스트 유지: 긴 캡션에 최적화되었음에도 불구하고, CAFT 는 긴 텍스트 훈련이 짧은 텍스트 성능을 저하시키는 일반적인 트레이드오프를 피하면서 MSCOCO, Flickr30k 와 같은 표준 짧은 텍스트 검색 벤치마크에서 경쟁력 있는 성능을 유지합니다.
• 결손 연구 (Ablation Studies):
  • 계층적 정렬을 제거하고 (전체 수준 손실만 사용) 전역 이해를 효과적으로 구성하기 위해 부분 수준 감독이 중간 레이어에 배치되어야 함을 확인하는 성능 저하가 발생했습니다.
  • 세부에서 전체로 이미지 인코더와 부분 - 전체 텍스트 인코더는 계층적 정렬과 결합될 때 상호 유익합니다.

중요성 및 주장

본 논문은 계층적 교차 영역 정렬이 긴 캡션으로부터 비지도 시각 기반 이해를 달성하는 핵심이라고 주장합니다. "무엇이 어디에 나타나는지 (나무)"를 먼저 식별한 다음 이를 "전체 장면 (숲)"으로 구성하도록 학습 과정을 구조화함으로써, CAFT 는 모델이 지배적인 단서에 의존하고 세밀한 세부 사항을 간과하는 경향을 완화합니다.

저자들은 이 접근법이 다음과 같은 점을 강조합니다:

• 전역 전용 또는 평탄한 정렬 전략의 실패 모드를 피합니다.
• 대규모 이미지 - 텍스트 및 텍스트 - 이미지 검색을 모두 개선합니다.
• 명시적 분할 감독 없이 학습된 표현의 자연스러운 부산물로서 정확한 제로샷 참조 분할을 산출합니다.
• 분할 - 정복 전략으로 인해 비교 가능한 긴 텍스트 CLIP 변형들보다 적은 GFLOPs 를 요구하여 계산 효율적입니다.

이 연구는 견고하고 세밀한 비전 - 언어 이해를 위한 근본적인 요구 사항으로, 의미론적 규모 전반에 걸쳐 시각적 및 텍스트 구조를 정렬하는 것이 필수적임을 시사합니다.