CountFormer: A Transformer Framework for Learning Visual Repetition and Structure in Class-Agnostic Object Counting

이 논문은 DINOv2 기반의 비지도 시각 표현을 활용하여 객체 범주에 구애받지 않는 시각적 반복과 구조 학습을 통해 객체 수를 추정하는 'CountFormer' 프레임워크를 제안하고, FSC-147 벤치마크에서 경쟁력 있는 성능을 보이며 표현의 질이 표본 없는 객체 수 세기에서 중요한 역할을 함을 입증합니다.

핵심

이 논문은 **"CountFormer"**라는 새로운 인공지능 모델을 소개하는 연구입니다. 이 모델을 아주 쉽고 재미있게 설명해 드릴게요.

🧩 핵심 아이디어: "무엇인지 몰라도 개수를 셀 수 있을까?"

우리가 길을 걷다가 낯선 물체 (예: 이상한 모양의 나뭇잎이나 새로운 장난감) 가 가득 쌓여 있는 것을 보면, 그 물체가 정확히 '무엇'인지 몰라도 눈으로 빠르게 개수를 세곤 합니다. 우리는 물체의 형태와 반복되는 패턴을 보고 "아, 이건 1 개야, 저건 또 1 개야"라고 판단하죠.

하지만 기존 인공지능은 이걸 잘 못합니다.

• 기존 AI: "이건 '고양이'야? 아니, '자동차'야?"라고 분류를 먼저 해야만 개수를 셉니다. 만약 처음 보는 물체가 나오면 당황해서 "이거 렌즈 2 개, 저거 렌즈 2 개... 아! 렌즈 4 개!"라고 잘못 세거나, 뭉개진 물체를 여러 개로 잘못 세는 실수를 합니다.
• CountFormer: "이게 뭐야?"라고 묻지 않습니다. 대신 **"이게 어떻게 생겼고, 어떤 모양으로 반복되나?"**에 집중합니다.

---

🏗️ 이 모델은 어떻게 작동할까요? (비유로 설명)

이 모델은 세 가지 주요 부품을 조합해서 만들었습니다.

1. DINOv2: "눈이 매우 예리한 예술가"

기존 AI 는 물체의 이름 (고양이, 개) 을 외우는 데 집중했다면, 이 모델은 DINOv2라는 초능력을 가진 '눈'을 썼습니다.

• 비유: DINOv2 는 물체의 이름을 몰라도, 물체의 모양, 질감, 구조를 아주 섬세하게 그려낼 수 있는 천재 화가입니다. "이건 렌즈 2 개가 붙어 있는 구조야"라고 구조를 파악하는 데 탁월합니다.

2. 위치 표시 (Positional Embedding): "지도의 좌표"

화가가 그림을 그렸을 때, "왼쪽 위 구석에 그림이 있네"라는 위치 정보가 없으면 혼란스럽습니다.

• 비유: 이 모델은 화가의 그림에 **지도의 좌표 (위도, 경도)**를 붙여줍니다. "이 구조는 여기 있고, 저 구조는 저기에 있어"라고 정확히 위치를 알려주어, AI 가 물체의 부분과 전체를 구분하도록 도와줍니다.

3. 디코더: "밀도 지도를 만드는 지도 제작자"

마지막으로, 이 정보를 받아서 화면 전체에 물체가 얼마나 밀집되어 있는지 **진한 색 (밀도)**으로 칠한 지도를 만듭니다.

• 비유: 지도에서 물체가 많은 곳은 진한 빨간색, 적은 곳은 연한 파란색으로 칠합니다. 그리고 이 지도의 색을 모두 더하면 (적분), 최종 개수가 나옵니다.

---

🎯 이 모델이 해결한 문제: "안경 (Glasses) 의 함정"

논문의 가장 재미있는 예시는 안경입니다.

• 기존 AI: 안경의 '왼쪽 렌즈'와 '오른쪽 렌즈'를 각각 다른 물체로 인식합니다. 안경 1 개를 보고 "렌즈 2 개 + 렌즈 2 개 = 총 4 개!"라고 잘못 세는 실수를 합니다.
• CountFormer: DINOv2 의 구조 파악 능력 덕분에 "아, 이 두 렌즈는 하나의 프레임으로 연결되어 있구나. 이건 안경 1 개야"라고 이해합니다.

📊 결과는 어땠나요?

• 전체 점수: 기존 최고의 모델들과 비슷하거나 약간 뒤처질 수도 있습니다. (왜냐하면 이 모델은 '전체 개수'를 맞추는 것보다 '구조를 올바르게 이해하는 것'에 더 집중했기 때문입니다.)
• 실제 모습: 복잡한 모양의 물체 (안경, 장난감 등) 를 셀 때는 훨씬 더 똑똑하게 행동합니다.
• 한계: 레고 블록처럼 아주 작은 물체가 빽빽하게 쌓인 곳은 아직 어려워합니다. (너무 밀집되어 구분이 안 되기 때문입니다.)

💡 결론: "무엇인지보다 '어떻게 생겼는지'가 중요하다"

이 연구는 **"물체의 이름 (카테고리) 을 알려주지 않아도, AI 가 물체의 구조와 반복 패턴을 이해하면 개수를 잘 셀 수 있다"**는 것을 증명했습니다.

마치 우리가 낯선 외국어를 몰라도, 손짓과 표정 (구조) 을 보고 상대방의 감정을 읽는 것처럼요. CountFormer 는 AI 에게 "이게 뭐야?"라고 묻기 전에, "이게 어떻게 생겼어?"라고 가르치는 새로운 방법을 제시한 것입니다.

이 기술이 발전하면, 미래의 AI 는 우리가 전혀 본 적 없는 새로운 사물이나 복잡한 상황에서도 인간처럼 자연스럽게 개수를 세어줄 수 있을 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 객체 카운팅 모델들은 특정 클래스 (사람, 차량 등) 에 대해 훈련되거나, 테스트 시 예시 패치 (exemplar) 나 텍스트 프롬프트를 필요로 하는 경우가 많습니다. 그러나 예시 없는 (Exemplar-free) 제로샷 (Zero-shot) 환경에서 완전히 새로운 유형의 객체를 카운팅할 때, 기존 모델들은 다음과 같은 한계를 보입니다.

• 구조적 무지 (Structural Ignorance): 객체의 부분 (parts) 과 전체 (whole) 간의 관계를 이해하지 못함. 예를 들어, 안경의 두 렌즈를 각각 별도의 객체로 잘못 인식하여 과다 계수 (overcounting) 하는 오류가 발생함.
• 대칭성 및 반복 구조의 오인식: 대칭적인 구성 요소나 반복되는 하위 구조, 부분 가려짐 (partial occlusion) 이 있는 복잡한 객체에서 성능이 급격히 저하됨.
• 기존 접근법의 부족: CLIP 기반 모델은 의미론적 (semantic) 이해는 뛰어나지만 공간적 구조와 정량적 관계를 간과하며, CounTR 과 같은 트랜스포머 기반 모델도 부분 수준의 과다 계수 문제를 완전히 해결하지 못함.

2. 방법론 (Methodology)

저자들은 새로운 카운팅 아키텍처나 손실 함수를 제안하는 대신, 표준 밀도 회귀 (density-regression) 프레임워크에 **자기지도 학습 기반의 비전 파운데이션 모델 (DINOv2)**을 통합하여 구조적 일관성을 개선하는 것을 목표로 했습니다.

• 아키텍처 개요:

  1. 비전 인코더 (Visual Encoder): 입력 이미지를 처리하기 위해 사전 훈련된 DINOv2를 사용합니다. DINOv2 는 이미지 - 텍스트 쌍이 아닌 시각적 정보만으로 학습되어 의미론적 의미뿐만 아니라 **공간적 구조 (spatial structure)**와 부분 간의 관계를 잘 포착합니다.
  2. 위치 임베딩 융합 (Positional Embedding Fusion): 추출된 DINOv2 토큰 특징에 명시적인 **2 차원 위치 임베딩 (2D positional embeddings)**을 추가합니다. 이는 트랜스포머 특징이 공간적 위치 정보를 잃지 않도록 보장하며, 객체의 기하학적 일관성을 유지합니다.
  3. 디코더 (Decoder): 융합된 특징을 경량화된 합성곱 신경망 (ConvNet) 디코더를 통해 처리하여 연속적인 밀도 맵 (density map) 을 생성합니다.
  4. 카운팅: 생성된 밀도 맵의 픽셀 값을 적분하여 최종 객체 수를 도출합니다.

• 핵심 설계 철학:

  • CounTR 과 유사한 아키텍처를 유지하되, 인코더를 DINOv2 로 교체하고 위치 임베딩을 명시적으로 추가하여 **표현의 질 (representation quality)**이 구조적 일관성에 미치는 영향을 고립적으로 연구합니다.
  • 테스트 시 예시 이미지나 텍스트 프롬프트를 사용하지 않는 엄격한 예시 없는 (Strictly Exemplar-free) 설정을 따릅니다.

3. 주요 기여 (Key Contributions)

1. DINOv2 와 밀도 회귀 프레임워크의 통제된 통합: 손실 함수나 추론 프로토콜을 변경하지 않고, 자기지도 학습 기반 특징이 구조적 강건성에 미치는 영향을 집중적으로 분석할 수 있는 프레임워크를 제시했습니다.
2. 명시적 공간적 그라운딩: 밀도 디코딩 전에 2 차원 위치 임베딩을 융합하여 트랜스포머 토큰 표현에 공간적 맥락을 부여하고, 전체 아키텍처를 경량화했습니다.
3. 정성적 분석 및 민감도 진단: FSC-147 데이터셋에서 표준 MAE/RMSE 수치뿐만 아니라, 구조적으로 복잡한 객체 (예: 안경) 에서의 부분 수준 과다 계수 오류 감소를 정성적으로 입증했습니다. 또한, 극도로 밀집된 장면이 평가 지표에 미치는 영향을 진단 분석했습니다.
4. 실패 모드 및 평가 프로토콜에 대한 통찰: 객체 간 경계가 모호한 고밀도 장면에서의 실패 원인을 규명하고, 소수의 극단적 고밀도 장면이 제곱 오차 (RMSE) 에 미치는 불균형적인 영향을 명확히 했습니다.

4. 실험 결과 (Results)

• 데이터셋: FSC-147 (Few-Shot Counting 147) 데이터셋을 사용했습니다.
• 정량적 성능 (Quantitative Performance):
  • 공식 벤치마크 프로토콜 (모든 이미지 포함) 에서 MAE 19.06, RMSE 118.45를 기록했습니다.
  • CounTR(MAE 14.71) 이나 RCC(MAE 17.12) 와 같은 기존 최첨단 방법들보다 전체적인 평균 오차는 다소 높았으나, 예시 없는 방법들 사이에서 경쟁력 있는 성능을 보였습니다.
• 정성적 성능 (Qualitative Performance):
  • 구조적 일관성 향상: 안경 (glasses) 과 같은 복합 객체에서 CounTX 나 CounTR 이 렌즈를 개별 객체로 잘못 세어 과다 계수하는 반면, CountFormer 는 전체 객체 단위로 활성화되어 정답에 가까운 예측을 수행했습니다.
  • 밀도 맵의 질: 생성된 밀도 맵이 더 매끄러운 공간 분포를 보이며, 점 단위 반응보다는 객체 전체에 대한 그룹화를 잘 수행했습니다.
• 민감도 분석 (Diagnostic Sensitivity Analysis):
  • 데이터셋 내 4 개의 극도로 밀집된 장면 (고밀도 레고 블록 등) 을 제외하고 분석했을 때, MAE 는 13.14 로, RMSE 는 33.05 로 크게 감소했습니다.
  • 이는 소수의 극단적인 고밀도 장면이 RMSE 지표에 불균형적으로 큰 영향을 미친다는 것을 시사하며, 모델의 전반적인 구조적 이해 능력은 실제 수치보다 더 우수할 수 있음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 표현 학습의 중요성: 객체 카운팅, 특히 구조적으로 복잡한 객체의 카운팅에서 **표현의 질 (Representation Quality)**이 구조적 일관성 (Structural Consistency) 을 결정하는 핵심 요소임을 입증했습니다. DINOv2 와 같은 비전 파운데이션 모델은 공간적 관계를 내재적으로 학습하여 부분 - 전체 (Part-Whole) 관계를 더 잘 이해하게 합니다.
• 새로운 연구 방향 제시: 단순히 아키텍처를 복잡하게 만드는 것이 아니라, 기존 프레임워크에 강력한 비전 표현을 통합하는 것이 예시 없는 카운팅의 성능을 향상시킬 수 있음을 보여주었습니다.
• 한계 및 향후 과제: 극도로 밀집된 장면이나 객체 간 경계가 불분명한 경우 (예: 레고 블록) 에는 여전히 과소 계수 (underestimation) 오류가 발생하며, 이는 입력 해상도 (224x224) 와 디코더 용량의 한계 때문입니다. 향후 고해상도 입력 및 멀티스케일 집계 기법 등을 통해 이러한 문제를 해결할 필요가 있습니다.

요약하자면, CountFormer는 새로운 카운팅 알고리즘을 발명하기보다, DINOv2 의 구조 인식 능력을 활용하여 기존 카운팅 모델의 '부분 과다 계수' 문제를 완화하는 데 초점을 맞춘 연구로, 비전 파운데이션 모델이 제로샷 객체 카운팅의 구조적 이해를 어떻게 향상시킬 수 있는지에 대한 중요한 통찰을 제공합니다.