기술 요약: 지칭 표현 계수(Referring Expression Counting)를 위한 C-REX

문제 정의

지칭 표현 계수(Referring Expression Counting, REC)는 미세한 텍스트 설명(예: "오토바이를 타는 사람" vs "걷고 있는 사람")을 바탕으로 이미지 내 특정 객체 부분 집합을 계수하는 것을 요구합니다. 핵심 과제는 미세한 맥락적 또는 속성 수준의 단서에 의해서만 구별되는 시각적으로 유사한 객체들을 구별해내는 것입니다.

기존의 최첨단 REC 방법들은 이를 **이미지-텍스트 대조 학습(image-text contrastive learning, CL)**을 통해 해결합니다. 이러한 접근 방식은 모델이 양성(positive) 텍스트 프롬프트와는 시각적 토큰을 정렬시키고, 음성(negative) 텍스트 프로ンプ트와는 멀어지도록 훈련합니다. 그러나 저자들은 이 전략에서 두 가지 결정적인 한계를 식별했습니다:

1. 음성 샘플의 부족: 단일 이미지에 대해 사용 가능한 음성 지칭 표현의 수는 제한적이지만(통상 5개 미만), 대조 학습은 이론적으로 견고한 표현을 학습하기 위해 다양하고 큰 배치(batch)의 음성 샘플을 필요로 합니다.
2. 임베딩 불일치(Embedding Misalignment): 이미지-텍스트 CL의 효과는 이미지와 텍스트 임베딩 공간 사이의 정렬에 크게 의존합니다. 저자들은 이러한 정렬이 종종 불완전하며, 이로 인해 시각적 임베딩이 의미론적으로는 구별되지만 시각적으로는 유사한 객체들을 뒤섞어 놓아 미세한 식별을 방해한다고 주장합니다.

방법론: C-REX

이러한 한계를 극복하기 위해, 저자들은 대조 목적 함수(contrastive objective)를 위해 텍스트 임베딩에 대한 의존성을 제거하고, 대조 학습 전체를 **시각적 임베딩 공간(visual embedding space)**으로 전환하는 프레임워크인 **C-REX(Contrastive Learning for Referring Expression Counting)**를 제안합니다.

핵심 메커즘

C-REX는 이미지 토큰을 텍스트 토큰과 대조하는 대신, 동일한 이미지 내의 다른 이미지 토큰과 대조합니다.

1. 샘플 정의: 주어진 이미지와 지칭 표현(RE)에 대해 모델은 객체의 위치를 예측합니다. **이분 매칭(Bipartite Matching)**을 사용하여 예측된 토큰을 정답(ground-truth) 지점과 매칭합니다.
   • 양성 샘플 ($I^+$): 특정 RE에 대응하는 정답 객체와 매칭된 이미지 토큰들.
   • 음성 샘플 ($I^-$): 이미지 내의 다른 모든 이미지 토큰들 (동일한 클래스이지만 속성이 다른 객체, 다른 클래스, 또는 배경 토큰 포함).
2. 손실 함수 수정: 저자들은 표준 지도 대조 손실(Supervised Contrastive Loss) [35]을 변형합니다. 핵심적인 수정 사항은 양성 샘플만을 앵커(anchor)로 사용한다는 점입니다.
   • 표준 지도 CL은 종-사례(same class)의 모든 샘플을 함께 모으려고 합니다. 그러나 C-REX에서 음성 집합($I^-$)은 이질적입니다(자동차, 보행자, 배경 등을 포함). 이러한 다양한 음성 샘플들을 클러스터링하는 것은 역효과를 낼 수 있습니다.
   • 따라서, 손실 함수는 양성 토큰들을 서로 가깝게 끌어당기는 동시에, 모든 음성 토큰들로부터 멀리 밀어내도록 설계되었습니다(음성들이 서로 클러스터링되도록 강제하지 않음).
   • 목적 함수는 다음과 같이 정의됩니다:
     $$\mathcal{L}^*_{\text{sup}} = \sum_{i \in I^+} -\log \left( \frac{1}{|I^+|-1} \sum_{p \in I^+ - \{i\}} \frac{\exp(z_i \cdot z_p / \tau)}{\sum_{\alpha \in I - \{i\}} \exp(z_i \cdot z_\alpha / \tau)} \right)$$
3. 통합: C-REX는 플러그인 모듈로서 작동합니다. 이는 기존 REC 아키텍처(GroundingREC, CAD-GD)의 이미지-텍스트 대조 손실을 대체하거나, 탐지 기반 베이스라인(GroundingDINO)의 표준 계수 손실과 함께 추가됩니다. 텍스트 입력은 여전히 교차 주의(cross-attention)를 통해 시각적 백본을 조건화하는 데 사용되지만, 식별을 위한 감독 신호는 오직 시각적 공간에서 옵니다.

클래스 불가지론적 계수(Class-Agnostic Counting)로의 확장

이 프레임워크는 특정 RE가 아닌 타겟 클래스를 기준으로 양성을 정의함으로써 클래스 불가지론적 계수를 위해 적응되었습니다. (클래스 수준의 구별은 이미 학습하기 쉽기 때문에 REC에서의 개선만큼 두드러지지는 않지만) 여전히 성능 향상을 가져옵니다.

주요 기여

1. 이미지 공간 CL로의 전환: 본 논문은 REC를 위해 대조 학습을 이미지-텍스트 공간이 아닌 이미지 임베딩 공간 전체에서 수행하는 것이 더 우수하며, 더 안정적인 신호를 제공하고 정렬 문제를 피할 수 있음을 입증합니다.
2. 확장 가능한 음성 샘플링: 매칭되지 않은 시각적 토큰을 음성 샘플로 활용함으로써, C-REX는 음성 샘플의 풀을 이미지당 몇 개의 텍스트 프롬프트에서 수백 개의 시각적 토큰으로 늘려 감독의 안정성을 크게 향상시킵니다.
3. 플러그 앤 플레이(Plug-and-Play) 프레임워크: C-REX는 구조적 변경 없이 기존 REC 모델에 원활하게 통합될 수 있도록 아키텍처에 구애받지 않게 설계되었습니다.
4. 최첨단 성능 달성: 이 방법은 다양한 백본과 아키텍처를 사용하여 REC-8K 데이터셋에서 새로운 SOTA(State-of-the-Art) 결과를 달성했습니다.

실험 결과

저자들은 세 가지 아키텍처(GroundingREC, CAD-GD, GroundingDINO)를 사용하여 REC-8K 및 FSC-147 데이터셋에서 C-REX를 평가했습니다.

• 성능 향상: REC-8K 데이터셋에서 C-REX는 베이스라인 대비 최대 평균 절대 오차(MAE) 28% (GroundingREC, Swin-T 백본의 검증 세트에서 관찰됨) 및 평균 제곱근 오차(RMSE) 24.5% (GroundingDINO, Swin-T 백본의 테스트 세트에서 관찰됨)의 성능 향상을 보였습니다.
• 일관성: 모든 객체 밀도 범위(0–20, 21–50, 51–100, 100+)에서 개선이 관찰되었으며, 특히 미세한 식별 작업(예: "파란색 자동차"와 "검은색 자동차" 또는 "자전거를 타는 사람"과 "오토바이를 타는 사람"의 구별)에서 큰 이점이 있었습니다.
• 절제 연구(Ablation Studies):
  • 이미지 공간 vs. 이미지-텍스트: 순수 이미지 공간 CL이 이미지-텍스트 CL 및 두 가지의 결합 모두보다 우수한 성능을 보였으며, 이는 이미지-텍스트 신호가 이미지-공간 신호가 최적화될 때 하위 수준이거나 중복될 수 있음을 시사합니다.
  • 양성 선택: 이분 매칭을 사용하여 양성을 선택하는 방식이 텍스트 프롬프트와의 토큰 유사성에 기반한 전략보다 우수했습니다.
  • 손실 함수 수정: (양성만을 앵커로 사용하는) 수정된 손실 함수가 표준 지도 대조 손실 공식보다 현저히 뛰어난 성능을 보였습니다.
• 강건성: C-REX는 베이스라인에 비해 바꾸어 말하기(paraphrased)된 지칭 표현에 대해 개선된 강건성을 보여주었습니다.
• VLM과의 비교: C-REX를 탑재한 특화된 REC 모델은 제로샷(zero-shot) 및 퓨샷(few-shot) 설정에서 범용 시각-언어 모델(Molmo2-4B)을 크게 능가하였으며, 이는 계수를 위한 태스크 특화 훈련의 필요성을 강조합니다.

의의 및 주장

본 논문은 REC를 위한 대조 학습의 "올바른 임베딩 공간"은 이미지-텍스트 공간이 아니라 이미지 임베딩 공간이라고 주장합니다. 대조 목적 함수를 텍스트 모달리티로부터 분리함으로써, 모델은 더 풍부하고 안정적인 미세 시각 표현을 학습합니다. 저자들은 이 접근 방식이 음성 샘플의 부족과 교차 모달 정렬의 불안정성 문제를 해결하여, 오픈 월드 계수 시나리오에서 우수한 일반화 능력을 제공한다고 강조합니다. 이 프레임-워크는 미세한 식별이 필요한 클래스 불가지론적 계수와 같은 다른 계수 작업의 성능을 높일 수 있는 다재다능한 도구로 제시됩니다.