Does it Really Count? Assessing Semantic Grounding in Text-Guided Class-Agnostic Counting

기술적 요약: 정말로 의미 있는가? 텍스트 기반 클래스 무관 카운팅의 의미적 기반 평가

문제 제기
오픈 월드 텍스트 기반 클래스 무관 카운팅 (CAC) 은 특정 카테고리에 대한 재학습 없이 자연어 프롬프트를 기반으로 임의의 객체 인스턴스를 카운팅하는 것을 목표로 합니다. 현재 최첨단 (SOTA) 방법들은 표준 카운팅 지표 (예: MAE, RMSE) 에서 강력한 성능을 달성하지만, 본 논문은 평가 프로토콜의 결정적 격차를 지적합니다: 즉, 모델이 텍스트 프롬프트를 시각적 장면 내에서 올바르게 기반 (grounding) 하는지 평가하지 못한다는 점입니다. 기존 벤치마크는 주로 단일 카테고리 이미지와 카운팅 정확도만을 측정하는 지표에 의존하여, 존재하는 클래스와 부재하는 클래스를 구분하거나 다중 카테고리 장면에서 방해 요소 (distractors) 를 무시하는 모델의 능력을 간과합니다. 그 결과, 모델들은 존재하지 않는 객체에 대해 "허위" 카운트를 생성하거나 다른 카테고리가 공존할 때 목표 클래스를 분리해 내지 못할 수 있으며, 이는 텍스트 의미와 시각적 객체 표현 간의 불일치를 나타냅니다.

방법론
이러한 한계를 해결하기 위해 저자들은 새로운 테스트 스위트와 새로운 데이터셋으로 구성된 포괄적인 평가 프레임워크를 제안합니다:

1. PrACo++(프롬프트 인지 카운팅++) 테스트 스위트:
   이 스위트는 의미적 기반과 견고성을 탐지하도록 설계된 두 가지 전용 평가 프로토콜을 도입합니다:

   • 부정 레이블 테스트: 이미지에서 완전히 부재하는 객체 클래스에 대한 프롬프트를 거부하는 모델의 능력을 평가합니다. 목표는 시각적 중요도 (saliency) 에 기반하여 카운트를 착각 (hallucinate) 하는 대신 부재하는 클래스에 대해 0 개의 카운트를 출력하는지 확인하는 것입니다.
     • 지표: 부정 예측의 정규화 평균 (NMN) 은 전체 장면 밀도에 비해 부재하는 클래스를 과다 카운팅하는 경향을 측정합니다. 양성 클래스 카운트 근접성 (PCCN) 은 모델이 부재하는 클래스에 대한 오류 예측보다 올바른 클래스에 대한 예측이 더 자주 정답에 가까운지 정량화합니다.
   • 방해 요소 테스트: 목표 클래스를 카운팅하면서 공존하는 "방해 요소" 클래스를 무시해야 하는 다중 카테고리 장면에서 모델의 회복 탄력성을 평가합니다.
     • 지표: 저자들은 카운팅 정밀도 (CntP), 카운팅 재현율 (CntR), 그리고 CntF1을 도입합니다. 이는 이미지를 공간적 패치 (그리드 기반) 로 분할하고 이러한 영역 내에서 밀도 맵을 통합하여 참 양성, 거짓 양성, 거짓 음성을 계산함으로써 도출됩니다. 이를 통해 전역 지표가 놓치는 오할당 오류 (예: 방해 요소를 목표 클래스로 카운팅하는 경우) 를 탐지할 수 있습니다.

2. MUCCA(다중 카테고리 클래스 무관 카운팅) 데이터셋:
   저자들은 장면당 2 개에서 7 개까지의 범위를 갖는 여러 개의 주석 달린 객체 카테고리를 포함하도록 특별히 선별된 200 장의 실세계 이미지로 구성된 새로운 데이터셋 MUCCA 를 소개합니다. 일반적으로 단일 카테고리 이미지를 특징으로 하는 FSC-147 과 같은 기존 벤치마크와 달리, MUCCA 는 방해 요소 테스트를 평가하고 현실적인 재고 관리 또는 감시 시나리오를 시뮬레이션하는 데 필요한 복잡성을 제공합니다.

실험적 평가
저자들은 표준 FSC-147 데이터셋 (방해 요소 테스트를 위해 모자이크 기반 구현 사용) 과 새로운 MUCCA 데이터셋 모두에서 10 가지 최첨단 오픈 월드 텍스트 기반 CAC 방법 (ZSC, CounTX, CLIP-Count, VLCounter, TFPOC, DAVE, PseCo, GroundingREC, UPC, CountGD 포함) 을 평가했습니다.

주요 결과

• 의미적 불일치: 표준 MAE/RMSE 지표에서 최상위 성능을 달성했음에도 불구하고, 많은 모델들은 의미적 기반에서 상당한 약점을 보입니다. 부정 레이블 테스트에서 여러 방법들 (예: ZSC, CLIP-Count, VLCounter) 은 NMN 값이 1 에 가깝거나 1 보다 큰 값을 생성했는데, 이는 부재하는 클래스에 대한 예측이 존재하는 클래스의 정답과 비슷하거나 더 높은 경우가 많음을 나타냅니다.
• 방해 요소 민감성: 다중 카테고리 시나리오에서 모델들은 목표 클래스를 분리해 내는 데 어려움을 겪습니다. GroundingREC 와 DAVE 는 일반적으로 방해 요소 테스트에서 다른 모델들보다 우수한 성과를 보였지만, 최상위 성능을 보이는 모델들조차 단일 클래스 성능에 비해 회복 탄력성이 감소한 것으로 나타났습니다.
• 의미적 유사성 영향: 정량적 분석은 프롬프트와 목표 클래스 간의 의미적 유사성 (CLIP 임베딩을 통해 측정) 과 카운팅 오류 사이에 상관관계가 있음을 밝혔습니다. CLIP-Count 와 CounTX 와 같은 모델들은 의미적 유사성에 더 강한 의존성을 보였으며, 부정 프롬프트가 양성 클래스와 의미적으로 가까워질수록 오류가 증가했습니다.
• 데이터셋 영향: 전반적으로 MUCCA 데이터셋에서의 성능은 FSC-147 에 비해 저하되어 다중 카테고리 카운팅의 어려움을 강조했습니다. GroundingREC 는 두 데이터셋과 모든 지표에서 가장 견고한 방법으로 부각되었습니다.

의의 및 주장
본 논문은 현재 평가 프로토콜이 실세계 응용 분야에서 텍스트 기반 CAC 의 신뢰성을 평가하기에 부족하다고 주장합니다. 높은 카운팅 정확도가 올바른 의미 이해와 동일하지 않음을 입증함으로써, 저자들은 벤치마킹의 패러다임 전환을 요구합니다. PrACo++ 와 MUCCA 라는 기여는 카운트의 "착각"과 방해 요소 처리 불가능성을 드러내는 데 필수적인 도구로 제시되며, 이를 통해 향후 연구가 더 의미적으로 기반을 둔 아키텍처와 학습 절차로 나아가도록 안내합니다. 이 작업은 더 견고한 테스트 스위트, 실세계 다중 카테고리 데이터셋, 그리고 실패 모드에 대한 심층 분석을 도입함으로써 이전 컨퍼런스 논문을 확장한 것입니다.