💻 computer science

PPSNet: Perceptual Prior Similarity-guided Network for Class-agnostic Counting

본 논문은 추출 및 매칭(Extract-and-Match) 패러다임을 이론적으로 검증하고, 규모 분포를 정교화하기 위한 지각적 사전 구축 모듈(Perceptual Prior Construction Module)과 특징 매칭을 강화하기 위한 유사도 기반 가중치 모듈(Similarity-guided Weighting Module)을 채택하여 바운딩 박스 기반 시각적 예시의 한계를 해결함으로써 시각적, 텍스트 및 제로샷 프롬프팅 시나리오 전반에서 우수한 성능을 달성하는 새로운 클래스 불가지론적 카운팅 프레임워크인 PPSNet을 소개한다.

원저자: Shengwei Jia, Junhui Liu, Jiahao Wang, Yongqiang Cui, Shihui Zhang

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shengwei Jia, Junhui Liu, Jiahao Wang, Yongqiang Cui, Shihui Zhang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적이는 방 안에서 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신의 임무는 빨간 모자를 쓴 사람이 몇 명인지 세는 것입니다. 옛날에는 파란 모자를 세고 싶다면 파란색을 찾아내는 법만 아는 새로운 탐정 팀을 통째로 고용해야 했습니다. 하지만 단 하나의 예시만 보여줌으로써 어떤 종류의 모자든 셀 수 있도록 한 명의 탐정에게 가르칠 수 있다면 어떨까요? 이것이 바로 컴퓨터 비전의 한 분야인 '클래스 불가지론적 카운팅(class-agnostic counting)'의 세계입니다. 이는 기계가 특정 유형에 대한 별도의 교육 매뉴얼 없이도 새, 자동차, 또는 쿠키와 같이 어떤 종류의 물체든 셀 수 있도록 학습하는 방식입니다.

이를 위해 탐정은 보통 무엇을 찾아야 할지 알려주는 작은 힌트인 '프롬프트(prompt)'가 필요합니다. 때로는 "갈매기를 세어라"라는 문장 형태의 힌트가 주어지기도 하고, 때로는 기계가 스스로 추측하기도 합니다. 하지만 지금까지 가장 정확한 방법은 '시각 유도형(vision-guided)' 카운팅이었습니다. 즉, 컴퓨터에게 원하는 물체의 아주 작은 사진들(exemplars)을 보여주는 방식인데, 대개 이 사진들은 정사각형 상자 안에 그려져 있습니다. 마치 탐정에게 갈매기 사진을 건네주며 "이것과 똑같이 생긴 사람들을 모두 찾아라"라고 말하는 것과 같습니다. 문제는 이 정사각형 상자가 다소 서투르다는 점입니다. 상자는 종종 새와 함께 바다나 하늘의 일부까지 덩어리째 잡아버립니다. 컴퓨터가 사고를 심화할수록, 이 추가적인 배경 소음 때문에 혼란에 빠지게 됩니다. 즉, 물을 새의 일부라고 생각하게 되어 잘못된 숫자를 세게 되는 것입니다.

이 논문은 이러한 서투른 실수를 해결하는 PPSNet(Perceptual Prior Similarity-guided Network)이라는 새로운 탐정 팀을 소개합니다. 연구진은 기존의 방식, 즉 컴퓨터가 사진과 예시를 각각 따로 공부한 다음 나중에 서로 맞추려고 시도하는 것이 마치 한 손에는 퍼즐 조각을 들고 다른 손에는 완성된 그림을 든 채, 두 손을 결코 맞닿게 하지 않고 퍼즐을 풀려는 것과 같다고 주장합니다. 그들은 컴퓨터가 처음부터 사진과 예시를 '함께' 바라보며, 즉각적으로 서로 소통하고 이해도를 정교하게 다듬을 수 있는 새로운 방식을 제안합니다.

하지만 PPSNet은 단순히 '어떻게' 보느냐를 바꾸는 것이 아니라, '무엇을' 보느냐를 바꿉니다. 연구진은 예시를 가져오는 데 사용되는 정사각형 상자가 너무 지저분하다는 점을 발견했습니다. 그래서 그들은 **지각적 사전 구축 모듈(Perceptual Prior Construction Module)**이라는 특별한 도구를 만들었습니다. 만약 당신이 탐정에게 흐릿하게 늘어진 새 사진을 건네주는 대신, 그 지저분한 상자 안에서 정확히 어디가 새이고 어디서부터 바다가 시작되는지를 보여주는 '열지도(heat map)' 형태의 정신적 지도를 함께 준다고 상상해 보세요. 이 지도는 컴퓨터에게 "물은 무시하고 새에 집중해"라고 말해줍니다. 이는 배경 소음 때문에 컴퓨터가 주의가 분산되는 것을 막아줍니다.

나아가, 연구진은 **유사도 기반 가중치 모듈(Similarity-guided Weighting Module)**을 추가했습니다. 이것은 마치 스포트라이트와 같습니다. 컴퓨터가 큰 사진 속에서 예시와 닮은 지점을 찾으면, 이 모듈은 그 지점의 밝기를 높이고 나머지 부분은 어둡게 만듭니다. 이는 마치 탐정이 "아하! 이것이 내가 보여준 새와 똑같이 생겼군!"이라고 말하며 방 안의 나머지 부분은 무시하는 것과 같습니다. 또한 그들은 이 '스포트라이트'가 인간이 사물을 구별하기 위해 비교하며 배우는 방식과 유사한 기술을 사용하여, 컴퓨터가 물체와 배경 사이의 차이점에 주목하도록 훈련할 때 가장 효과적이라는 것을 증명했습니다.

결과는 인상적입니다. 주차장에서 군중이 모인 곳에 이르기까지 수천 장의 이미지를 포함하는 방대한 데이터셋으로 테스트했을 때, PPSNet은 이전의 어떤 방식보다 실수가 적었습니다. 예를 들어, 6,135장의 이미지로 구성된 테스트 세트에서 이 새로운 방식은 이전의 최고 기록과 비교하여 평균 카운팅 오차를 크게 줄였습니다. 심지가 연구진이 시각적 예시를 완전히 제거하여 텍le 설명만으로 혹은 아무런 힌트 없이 컴퓨터가 숫자를 세도록 했을 때도 성능을 발휘했지만, 몇 가지 예시를 볼 수 있을 때 여전히 최고의 성능을 보였습니다.

저자들은 자신들의 방법이 큰 진전이지만, 그것이 마법은 아니라는 점을 주의 깊게 언급합니다. 즉, 여전히 컴퓨터가 이미지와 예시를 보는 것에 의존한다는 것입니다. 또한 그들은 예시를 가져오기 위해 정사각형 상자를 사용하는 기존 방식이 불규칙한 모양을 경직된 틀 안에 강제로 끼워 맞춤으로써 중요한 세부 사항을 잃게 만드는 본질적인 결함이 있다고 지적합니다. PPSNet은 단순히 이 구멍을 메우는 것이 아니라, 상자보다 물체의 모양과 분포를 더 잘 이해하는 새로운 토대를 구축합니다. 물체의 위치를 알려주는 '정신적 지도'와 일치하는 부분을 강조하는 '스포트라이트'를 결합함으로써, 이 새로운 네트워크는 컴퓨터가 이전에는 도달할 수 없었던 수준의 정밀도로 세상을 셀 수 있게 도와줍니다.

기술 요약: 클래스 불가지론적 카운팅을 위한 PPSNet

문제 정의
클래스 불가지론적 카운팅(Class-agnostic counting, CAC)은 최소한의 프롬프트 또는 프롬프트 없이 단일 사전 학습된 모델을 사용하여 임의의 클래스에 속하는 객체의 수를 추정하는 것을 목표로 한다. 시각 가이드 예시 카운팅(바운딩 박스를 사용하여 타겟 예시를 선택)은 현재 가장 높은 정확도를 제공하지만, 표준적인 "추출 후 매칭(Extract-then-Match)" 패러다임과 바운딩 박스 사용에서 기인하는 두 가지 결정적인 한계를 갖는다:

배경 노이즈 의사 활성화(Background Noise Pseudo-activation): 바운딩 박스는 기하학적 제약으로 인해 필연적으로 배경 영역을 포함한다. 네트워크 깊이가 깊어짐에 따라, 이러한 배경 노이즈는 특징 추출 과정에서 점진적으로 활성화되어 시각적 예시와 쿼리 이미지 간의 잘못된 매칭을 유도한다.
스케일 정보 손실: 예시를 고정된 크기의 네트워크에 입력하기 위해, 기존 방법들은 예시를 균일한 차원으로 크기를 조정(resize)한다. 이 작업은 가늘고 긴 객체의 종횡비를 왜곡하여, 고유한 스케일 및 구조적 정보의 손실을 초래한다.
양방향 상호작용의 부재: 지배적인 "추출 후 매칭" 패러다임은 쿼리 이미지와 예시의 특징을 독립적으로 추출한 후 매칭한다. 이는 추출 단계에서 쿼리 특징과 예시 특징 간의 양방향 상호작용을 간과하며, 결과적으로 쿼리 특징이 타겟 인지 능력이 부족하고 배경 간섭에 취약하게 만든다.

방법론
저자들은 **PPSNet (Perceptual Prior Similarity-guided Network)**을 제안하며, 이는 추출 및 매칭(Extract-and-Match) 패러다임을 채택한다. "추출 후 매칭"과 달리, 이 접근 방식은 입력 단계에서 쿼리와 예시 토큰을 결합하여 셀프 어텐션(self-attention)을 통한 공동 특징 추출 및 유사도 모델링을 허용한다. 이를 통해 진정한 양방향 정보 흐름이 가능해지며, 초기 레이어부터 예시 정보를 통해 쿼리 특징이 업데이트되어 타겟 인지 능력이 향가된다.

PPSNet은 바운딩 박스 기반 프롬프트의 특정 한계를 해결하기 위해 두 가지 핵심 모듈을 통합한다:

지각적 사전 분포 구축 모듈 (PPCM):
- 목표: 바운딩 박스 내 시각적 예시의 분포를 특성화하고, 크기 조정 및 배경 노이즈의 영향을 완화한다.
- 메커니즘: PPCM은 크기 조정 전 시각적 예시의 원래 차원을 기반으로 가우시안 사전 분포(Gaussian prior)를 구축한다. 중심으로부터의 픽셀 상대적 변위를 계산하고, 면적 계수(예시 크기에 반비례)를 사용하여 사전 분포의 강도를 조절한다.
- 효과: 이 사전 분포는 예시 이미지와 결합된다. 이는 원래의 종횡도 정보를 암시적으로 인코딩하여(크기 조정으로 인한 기하학적 왜곡 보상), 타겟의 중심 분포를 강조함으로써 특징 추출 중 배경 노이즈의 활성화를 줄인다.
유사도 가이드 가중치 모듈 (SWM):
- 목표: 쿼리와 예시 특징 간의 유사도를 명시적으로 감독하고 타겟 영역의 특징 응답을 강화한다.
- 메커니즘: SWM은 쿼리 특징과 시각적 예시 특징 사이의 코사인 유사도 맵을 계산한다. 지면 진실(ground truth) 밀도 맵을 기반으로 패치 수준의 포그라운드 마스크를 생성하여 대조 학습 손실( $L_{sim}$ )을 통해 이 유사도 맵을 감독한다.
- 효과: 생성된 유사도 맵은 쿼리 특징에 가중치를 부여하는 데 사용된다. 이 과정은 시각적 예시와 의미적으로 일치하는 영역의 쿼리 특징 응답을 증폭시키는 동시에 배경 응답은 억제한다.

최종 목적 함수는 표준 카운팅 손실( $L_{count}$ )과 유사도 손실( $L_{sim}$ )을 결 factor $\lambda$ 에 의해 균형을 맞추어 결합한다.

주요 기여

이론적 분석: 본 논문은 추출 및 매칭 패러다임이 "추출 후 매칭"보다 우월함을 입증하는 이론적 분석을 제공한다. 이는 공동 인코딩이 어떻게 양방향 정보 흐로 가이드의 부재를 극복하여, 순차적 특성 때문에 "추출 후 매칭"이 달성하지 못하는 타겟 인지 능력을 쿼리 특징에 부여하는지 보여준다.
배경 노이즈 해결: 저자들은 바운딩 박스의 기하학적 제약으로 발생하는 "배경 노이즈 의사 활성화" 문제를 식별하고 해결한다. 이들은 지각적 사전 분포를 통해 이 문제를 완화하고 크기 조정 중 발생하는 스케일 정보 손실을 보상하는 최초의 연구로서 PPCM을 제안한다.
새로운 가중치 메커니즘: SWM은 대조 학습을 사용하여 유사도 맵에 대한 패치 수준의 감독을 도입한다. 이를 통해 네트워크가 타겟 영역과 배경을 명시적으로 구분하도록 학습하고, 이 지식을 사용하여 쿼리 특징에 가중치를 부여함으로써 판별력을 높인다.
일반화: 이 프레임워크는 가이드 없는 카운팅(학습 가능한 토큰 사용) 및 텍스트 가이드 카운팅(CLIP 텍스트 임베딩 사용)을 지원하도록 확장되어, 시각 가이드 프롬프트를 넘어선 범용성을 입증한다.

실험 결과
FSC-147, CARPK, COCO 데이터셋에 대해 광범위한 실험이 수행되었다.

FSC-147 (시각 가이드): PPSNet은 최첨단(SOTA) 성능을 달성했다. 단일 예시 설정에서 테스트 세트의 MAE를 11.12, RMSE를 81.17로 낮추었다. 3개 예시 설정에서는 MAE 9.29, RMSE 61.83을 달성하여 이전 최고 모델(RCFNet)과 "추출 후 매칭" 베이스라인(CounTR)을 상당한 차이로 앞질렀다 (예: CounTR 대비 MAE 22.26% 개선).
가이드 없는 및 텍스트 가이드: 가이드 없는 및 텍텍스트 가이드 패러다임으로 적응했을 때도 PPSNet은 GCA-SUN 및 T2ICount와 같은 방법들을 능가하며 최첨단 결과를 달성했다.
교차 데이터셋 일반화: CARPK 데이터셋(파인튜닝 없이)에서 PPSNet은 BMNet+ 및 CounTR을 능가했다. Val-COCO 및 Test-COCO에서도 회귀 기반 카운팅 방법과 객체 탐지 베이스라인(Faster R-CNN, RetinaNet) 모두를 넘어섰다.
어블레이션 연구: PPCM 또는 SWM 중 하나라도 제거하면 성능 저하가 발생하여, 두 모듈의 상호 보완성을 확인했다. 또한 연구를 통해 3개의 시각적 예시가 최적의 성능을 내며, 가이드 없는 카운팅에는 2개의 학습 가능한 토큰이 최적임을 밝혀냈다.

의의 및 주장
본 논문은 PPSNet이 추출 및 매칭 패러다임을 이론적으로 분석하고, 바운딩 박스 기반 프롬프트에서 오랫동안 지속된 배경 노이즈 간섭 문제를 실질적으로 해결함으로써 클래스 불가지론적 카운팅의 중요한 진전을 이루었다고 주장한다. 저자들은 지각적 사전 분포와 유사도 가이드 가중치를 통해 바운딩 박스의 기하학적 제약이 카운팅 정확도에 미치는 무시할 수 없는 영향을 다룬 최초의 연구임을 강조한다. 결과는 타겟 인지 능력을 강화하고 배경 노이즈를 억제함으로써, 모델이 다양한 시나리오와 프롬프트 유형(시각, 텍스트, 없음) 전반에서 우수한 정확도와 일반화 성능을 달성함을 보여준다.

유사한 논문