Boosting Quantitive and Spatial Awareness for Zero-Shot Object Counting

1. 문제 정의 (Problem)

Zero-Shot Object Counting (ZSOC, 제로샷 객체 카운팅) 은 시각적 예시 (visual exemplars) 없이 텍스트 설명만으로 임의의 카테고리 객체를 세는 것을 목표로 합니다. 기존 방법론들은 다음과 같은 한계를 가지고 있었습니다:

• 세밀한 수량 인식 부족 (Lack of Fine-grained Quantity Awareness): 기존 텍스트 프롬프트 기반 방법들은 객체의 '카테고리'는 잘 인식하지만, 객체의 '개수'에 대한 미세한 차이를 구별하는 능력이 부족합니다. 텍스트 프롬프트가 개수에 대한 감독 신호를 제공하지 않아, 모델은 객체가 무엇인지만 배우고 몇 개인지는 학습하지 못합니다.
• 공간적 무감각성 (Spatial Insensitivity): 기존 방법들은 특징 공간의 왜곡 (feature space distortion) 으로 인해 과적합 (overfitting) 이 발생하거나, 세밀한 공간 구조를 무시하는 거친 집계 (coarse aggregation) 메커니즘을 사용하여 밀집된 환경에서 정확도가 떨어집니다.
• 적응의 딜레마: 강력한 사전 학습된 비전 - 언어 모델 (VLM) 을 카운팅 작업에 적응시킬 때, 인코더를 미세 조정 (fine-tuning) 하면 일반화 능력이 떨어지고, 고정 (freeze) 시키면 카운팅 특화 요구사항을 충족하지 못합니다.

2. 제안 방법론 (Methodology: QICA)

저자들은 QICA (Quantity-Aware Synergistic Prompting and Cost Aggregation) 라는 새로운 프레임워크를 제안합니다. 이는 크게 세 가지 핵심 구성 요소로 이루어져 있습니다.

가. 시너지 프롬프팅 전략 (Synergistic Prompting Strategy, SPS)

• 개념: 텍스트와 비전 인코더를 수치 조건 (numerical conditioning) 을 가진 학습 가능한 프롬프트로 동시에 적응시킵니다.
• 작동 원리:
  • 수치 임베딩: 정수 개수 값을 연속적인 임베딩으로 변환하여 텍스트 프롬프트에 주입합니다.
  • 결합 함수 (Coupling Function): 텍스트 프롬프트를 비전 프롬프트로 매핑하는 결합 함수 ($\Phi$) 를 도입하여 양방향 그라디언트 흐름을 가능하게 합니다. 이는 텍스트와 비전 인코더가 개수 이해를 위해 공동으로 적응하도록 합니다.
  • 학습/추론 일관성: 학습 시에는 실제 개수와 반사실적 (counterfactual) 개수를 포함한 프롬프트를 사용하여 미세한 수량 구분을 학습시킵니다. 추론 시에는 카테고리 정보만 포함된 프롬프트를 사용하되, 학습 과정에서 얻은 수량 인식 능력을 비전 특징에 암묵적으로 인코딩하여 활용합니다.

나. 비용 집계 디코더 (Cost Aggregation Decoder, CAD)

• 개념: 중간 특징이 아닌 비전 - 텍스트 유사도 맵 (Vision-Text Similarity Maps) 에 직접 작동하여 공간적 무감각성을 해결합니다.
• 작동 원리:
  • 유사도 맵 생성: 조밀한 비전 특징과 카테고리 전용 텍스트 임베딩 간의 코사인 유사도를 계산합니다.
  • 공간 집계: Swin Transformer 블록을 사용하여 유사도 맵을 공간적으로 집계합니다. 이를 통해 고립된 활성화는 억제하고 실제 객체에 해당하는 연결된 영역을 강화하여 정밀한 밀도 예측을 가능하게 합니다.
  • 장점: 사전 학습된 특징 공간의 무결성을 유지하면서 강력한 미세 조정을 가능하게 하여, 과적합을 방지하고 제로샷 일반화 능력을 보존합니다.

다. 다단계 수량 정렬 손실 (Multi-level Quantity Alignment Loss, $L_{MQA}$)

• 개념: 인코더와 디코더 단계 전반에 걸쳐 수치적 일관성을 강제합니다.
• 작동 원리:
  • 인코더 레벨: 실제 개수 프롬프트와 반사실적 프롬프트 간의 유사도 순서 (ranking) 를 강제하여, 시각적 특징이 텍스트의 수치 정보와 일치하도록 학습시킵니다.
  • 디코더 레벨: 예측된 밀도 맵의 합이 해당 가설의 개수와 일치하도록 보조 손실을 적용합니다.
  • 목적: 모델이 단순히 카테고리를 인식하는 것을 넘어, 객체의 개수를 정량적으로 이해하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. SPS 도입: 명시적인 수치 조건화와 양방향 그라디언트 결합을 통해 비전 및 언어 인코더의 효과적인 공동 적응을 실현하고, 미세한 수량 인식을 부여했습니다.
2. CAD 도입: 유사도 맵을 직접 조작하여 공간적 무감각성을 해결하고, 특징 공간 왜곡 없이 강력한 미세 조정을 가능하게 했습니다.
3. $L_{MQA}$ 도입: 순서 제약 (ranking constraints) 과 보조 감독을 통해 인코더와 디코더 전 단계에서 엄격한 수치 일관성을 강제했습니다.
4. 성능 입증: FSC-147, CARPK, ShanghaiTech-A 등 다양한 벤치마크에서 기존 SOTA 방법들을 능가하는 성능과 뛰어난 제로샷 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• FSC-147 (주요 벤치마크):
  • ViT-L/14 백본을 사용한 QICA 는 테스트 세트에서 MAE 12.41, RMSE 97.28을 기록했습니다.
  • 기존 텍스트 프롬프트 기반 방법 (CLIP-Count, CounTX 등) 보다 MAE 기준 약 25~30% 향상된 성능을 보였습니다.
  • Few-shot 방법론 (CountGD 등) 과도 경쟁력 있는 성능을 보였습니다.
• CARPK (차량 카운팅, 교차 도메인):
  • 추가 미세 조정 없이도 MAE 6.07을 기록하여, 기존 텍스트 기반 방법들보다 우수한 일반화 능력을 입증했습니다.
• ShanghaiTech-A (밀집 군중 카운팅):
  • 밀도가 극도로 높은 환경에서도 MAE 140.7을 기록하여, 오픈셋 (open-set) 방법론 중 SOTA 를 달성했습니다.
• 효율성:
  • 학습 가능한 파라미터가 18.5M~19.7M으로 기존 방법 (25M~170M) 보다 훨씬 경량화되었으며, 추론 속도도 빠릅니다.

5. 의의 및 결론 (Significance)

이 논문은 제로샷 객체 카운팅 분야에서 수량 인식 (Quantity Awareness) 과 공간적 정밀도 (Spatial Precision) 라는 두 가지 핵심 과제를 동시에 해결했습니다.

• 방법론적 혁신: 단순히 텍스트를 입력받는 것을 넘어, 텍스트의 수치 정보를 비전 특징 학습에 직접적으로 통합하고 (SPS), 유사도 맵 기반의 공간 집계를 통해 (CAD) 모델의 일반화 능력을 극대화했습니다.
• 실용성: 시각적 예시가 필요 없는 텍스트 기반 카운팅의 실용성을 높였으며, 다양한 도메인 (차량, 군중, 자연물 등) 에서 강력한 제로샷 성능을 보여줍니다.
• 한계 및 향후 과제: 현재는 이산적인 개수 가설에 의존하며 단일 카테고리 카운팅에 국한되어 있습니다. 향후 연속적인 수량 표현과 다중 카테고리 동시 카운팅으로 확장할 계획입니다.

요약하자면, QICA는 텍스트 프롬프트 기반의 객체 카운팅이 겪어온 '개수 blindness(수 Blindness)'와 '공간적 무감각성'을 해결하여, 시각 - 언어 모델의 잠재력을 카운팅 작업에 효과적으로 적용한 획기적인 프레임워크입니다.