💻 computer science

Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting

이 논문은 이미지 수준의 약한 지도 신호만 사용하여 다양한 객체 클래스를 구분 없이 세는 최초의 MLLM 기반 프레임워크인 WS-COC 를 제안하며, 대화 기반 범위 분할, 상대적 순위 최적화, 그리고 전역 및 국소 예측 융합 전략을 통해 완전 지도 방식의 성능에 근접하거나 이를 초과하는 결과를 달성합니다.

원저자: Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Qijun Chen, Miaojing Shi

게시일 2026-02-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Qijun Chen, Miaojing Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎓 배경: 왜 이 연구가 필요한가요?

과거의 AI 는 사물을 세기 위해 하나하나 점 (Point) 을 찍어주며 가르쳐야 했습니다.

비유: 마치 선생님이 학생에게 "이 사진 속 사람 100 명을 모두 하나씩 손가락으로 가리키며 '1, 2, 3...' 하고 세어봐"라고 시키는 것과 같습니다.
문제: 사람이 빽빽하게 모여 있거나 (밀집된 군중), 비가 오거나 어두운 곳에서는 이 작업을 하는 데 엄청난 시간과 비용이 듭니다.

그래서 연구자들은 "사진 하나만 보여주고 '사람이 몇 명이야?'라고 물으면 답을 알려주는" (약한 감독 학습) 방법을 시도했습니다. 하지만 기존 AI 는 수백 명 이상의 사람이 모여 있는 장면을 보면, 마치 "아, 사람이 많네"라고 대충 추측만 할 뿐, 정확한 숫자를 세지 못해 엉뚱한 답을 내놓았습니다.

🚀 해결책: WS-COC (새로운 AI 선생님)

이 논문은 **MLLM(멀티모달 거대 언어 모델)**이라는 똑똑한 AI 를 이용해, 단순한 사진 설명만으로도 정확한 개수를 세게 만드는 **'WS-COC'**라는 새로운 방법을 제안했습니다.

이 AI 가 어떻게 똑똑해졌는지, 세 가지 비밀 전략으로 설명해 드릴게요.

1. 🗣️ "한 번에 다 세지 마, 단계별로 물어봐!" (나누고 구별하기 대화)

문제: AI 에게 "이 사진에 사과가 몇 개야?"라고 바로 물으면, AI 는 당황해서 대충 숫자를 맞힙니다.
해결: AI 와 대화를 합니다.
- "사과가 100 개 이상이야?" -> "아니요."
- "그럼 50 개 이상이야?" -> "네."
- "그럼 25 개에서 50 개 사이야?" -> "네."
- ...이렇게 범위를 반씩 줄여가며 (Divide-and-Discern) 점점 좁혀갑니다.
비유: 마치 2048 게임이나 추리 게임처럼, "정답은 이쪽이야?"라고 계속 물어보며 범위를 좁혀가는 방식입니다. 이렇게 하면 AI 가 처음부터 큰 숫자를 외울 필요 없이, 쉬운 것부터 어려운 것까지 차근차근 배울 수 있습니다.

2. 🏆 "누가 더 많아? 순서대로 나열해!" (비교하고 순위 매기기)

문제: "정확한 숫자"를 맞추는 건 AI 에게 어렵지만, "어느 사진이 더 많은가?"를 비교하는 건 훨씬 쉽습니다.
해결: AI 에게 네 장의 사진을 보여줍니다.
- "이 네 사진 중 사과 개수가 적은 순서대로 나열해봐."
- AI 는 정확한 숫자를 외우지 않아도, **상대적인 차이 (A 가 B 보다 많다)**를 학습하게 됩니다.
비유: 시험을 볼 때 "정답이 85 점인가?"라고 맞추는 것보다, "A 학생이 B 학생보다 점수가 높은가?"라고 비교하는 게 훨씬 수월한 것과 같습니다. AI 는 이 '비교'를 통해 사물의 양감을 더 잘 이해하게 됩니다.

3. 🔍 "전체를 보고, 조각조각 잘라서 다시 봐!" (전체와局部的인 합치기)

문제: 사람들이 너무 빽빽하게 모여 있으면 (밀집된 장면), AI 는 "아, 너무 많아서 다 못 세겠다"며 숫자를 적게 세는 실수를 자주 합니다.
해결:
1. 먼저 전체 사진을 보고 대략적인 숫자를 세어봅니다.
2. 만약 숫자가 많다면, 사진을 **4 조각 (또는 9 조각)**으로 잘라냅니다.
3. 잘린 조각 하나하나를 따로 세어봅니다.
4. 전체에서 본 숫자와 조각을 합친 숫자를 섞어서 최종 답을 냅니다.
비유: 큰 파티장에 사람이 너무 많으면 전체를 한눈에 보기 어렵죠? 그래서 작은 구역으로 나누어 각 구역의 인원을 세고, 그걸 합쳐서 전체 인구를 추정하는 것과 같습니다. AI 가 "전체적으로 봤을 때"와 "조각조각 봤을 때"의 실수를 서로 보완해주어 정확한 숫자를 찾아냅니다.

🏆 결과: 얼마나 잘했나요?

이 새로운 방법 (WS-COC) 은 **단순한 사진 설명 (약한 감독)**만으로 학습했는데도, 하나하나 점 찍어 가르친 (완전 감독) 최신 AI 들과 맞먹거나 더 좋은 성능을 냈습니다.

특히: 사람이 빽빽하게 모여 있는 장면에서도 실수가 크게 줄었습니다.
장점: 별도의 복잡한 작업 없이, 텍스트 명령어만으로도 어떤 사물이든 (사람, 자동차, 과일 등) 자유롭게 세어낼 수 있습니다.

💡 요약

이 논문은 **"AI 에게 무작정 숫자를 외우게 하지 말고, 대화로 범위를 좁히고, 비교로 순위를 매기며, 사진을 잘게 쪼개서 다시 세게 하면, 빽빽한 장면에서도 AI 가 훨씬 똑똑하게 개수를 셀 수 있다"**는 것을 증명했습니다.

이 기술이 발전하면, 앞으로 교통량 분석, 군중 안전 관리, 재고 관리 등 우리 생활의 다양한 곳에서 AI 가 더 정확하게 사물을 세어 도움을 줄 수 있을 것입니다.

이 논문은 WS-COC (Weakly-Supervised Class-agnostic Object Counting) 라는 새로운 프레임워크를 제안하며, 멀티모달 대형 언어 모델 (MLLM) 을 활용하여 이미지 수준의 약한 지도 학습 (weakly-supervised learning) 만으로 범주 무관한 객체 카운팅을 수행하는 방법을 다룹니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

기존 방법의 한계: 기존 객체 카운팅 방법들은 대부분 개체별 점 (point-level) 주석이 필요한 완전 지도 학습 (fully-supervised) 방식을 사용합니다. 이는 밀집된 장면 (dense scenes) 에서 수백 개의 객체가 겹쳐 있을 때 주석 비용이 매우 비싸고 노동 집약적입니다.
약한 지도 학습의 부족: 이미지 수준의 총 개수 (image-level count) 만을 사용하는 약한 지도 학습 방법들은 존재하지만, 대부분 특정 단일 카테고리 (예: 사람) 에만 국한되어 있습니다.
MLLM 의 초기 성능 한계: 멀티모달 대형 언어 모델 (MLLM) 은 텍스트 프롬프트를 통해 범주 무관 카운팅이 가능하지만, 사전 학습 데이터가 주로 희소 (sparse) 한 객체 분포에 치중되어 있어, 밀집된 장면에서는 객체 수를 크게 과소평가하는 경향이 있습니다.

2. 제안 방법: WS-COC (Methodology)

저자들은 MLLM 을 직접 객체 수를 예측하도록 미세 조정 (fine-tuning) 하는 대신, 세 가지 간단하지만 효과적인 전략을 도입하여 카운팅 패러다임을 부트스트랩 (bootstrap) 합니다.

2.1. 분할 및 식별 대화 튜닝 (Divide-and-Discern Dialogue Tuning, D3T)

개념: 한 번에 정확한 개수를 회귀 (regression) 하는 대신, MLLM 이 개수가 특정 범위에 속하는지 판단하도록 유도하는 다중 라운드 대화 방식을 사용합니다.
작동 원리: 초기 범위 (예: 1~2000) 를 설정하고, 중간값을 기준으로 "이미지에 해당 객체가 1000 개 이상 있나요?"와 같은 질문을 통해 범위를 점진적으로 좁혀갑니다 (이진 탐색 방식). 범위가 충분히 작아지면 최종 개수를 예측하게 합니다.
효과: 어려운 작업 (정확한 개수 예측) 을 쉬운 작업 (범위 판단) 으로 분해하여 MLLM 이 점진적으로 카운팅 능력을 학습하도록 돕습니다.

2.2. 비교 및 순위 최적화 (Compare-and-Rank Count Optimization, CRCO)

개념: 비주얼 (이미지) 과 텍스트 (숫자) 간의 모달리티 간극 (modality gap) 으로 인해 직접적인 개수 예측이 어렵다는 점에 착안하여, 여러 이미지의 상대적 개수 순위를 예측하도록 훈련합니다.
작동 원리: 동일한 카테고리 내에서 개수 분포가 다양한 이미지 4 장을 샘플링하여, MLLM 에게 개수 순서대로 정렬하도록 지시합니다.
효과: 절대적인 숫자 매핑보다 상대적 크기 비교가 MLLM 에게 더 직관적이고 학습하기 용이함을 활용합니다.

2.3. 글로벌 및 로컬 카운팅 향상 (Global-and-Local Counting Enhancement, GLCE)

개념: 추론 (inference) 단계에서 밀집된 장면의 카운팅 편향을 완화하기 위해 제안되었습니다.
작동 원리:
1. 전체 이미지에 대한 글로벌 개수 ( $c_g$ ) 를 예측합니다.
2. 개수가 임계값 (예: 100) 을 초과하면 밀집 장면으로 간주하고, 이미지를 $L \times L$ (기본값 2x2) 개의 서브 이미지로 분할합니다.
3. 각 서브 이미지에 대해 MLLM 에게 로컬 개수 ( $c_l$ ) 를 예측하게 하고 이를 합산합니다.
4. 융합: 글로벌 예측은 과소평가 경향이, 로컬 예측은 경계면 효과로 인해 과대평가 경향이 있으므로, 두 값을 평균내어 최종 개수를 도출합니다.

3. 주요 기여 (Key Contributions)

최초의 MLLM 기반 약한 지도 범주 무관 카운팅 프레임워크: 이미지 수준의 주석만으로 다양한 객체 카테고리를 카운팅할 수 있는 첫 번째 방법론을 제시했습니다.
효율적인 부트스트랩 전략: MLLM 의 모달리티 간극과 밀집 장면에서의 성능 저하를 해결하기 위한 D3T, CRCO, GLCE 세 가지 전략을 제안했습니다.
비용 효율성: 점 (point-level) 주석이 필요 없는 약한 지도 학습 방식을 사용하여 주석 비용을 획기적으로 줄였습니다.

4. 실험 결과 (Results)

데이터셋: FSC-147, CARPK, PUCPR+, ShanghaiTech 등 4 개의 주요 벤치마크에서 평가되었습니다.
성능:
- 제안된 WS-COC 는 많은 최신 완전 지도 학습 (fully-supervised) 방법들 (예: T2ICount, CountGD) 과 경쟁력 있거나 더 나은 성능을 보였습니다.
- 특히 밀집 장면 (100 개 이상) 에서 MLLM-Zero(제어 그룹) 의 MAE(평균 절대 오차) 가 149.69 에서 WS-COC 는 54.37 로 크게 개선되었습니다.
- 기존 약한 지도 학습 방법 (GCNet 등) 보다도 MAE 와 RMSE 에서 현저히 우수한 성능을 기록했습니다.
일반화 능력: FSC-147 에서 학습된 모델을 다른 데이터셋 (CARPK, ShanghaiTech 등) 에 적용했을 때도 뛰어난 일반화 성능을 입증했습니다.
비용: LoRA 기반 미세 조정을 사용하여 훈련 시간을 단축했으며 (약 3.44 시간), 추론 비용도 합리적인 수준입니다.

5. 의의 (Significance)

이 연구는 멀티모달 대형 언어 모델의 잠재력을 활용하여, 고비용의 정밀 주석 없이도 복잡한 장면에서의 객체 카운팅을 해결할 수 있는 새로운 방향을 제시했습니다. 특히 범주 무관 (class-agnostic) 성을 유지하면서 약한 지도 학습으로 높은 정확도를 달성했다는 점은 실제 산업 응용 (교통 모니터링, 인구 통계, 재고 관리 등) 에 매우 중요한 의의를 가집니다. 또한, MLLM 이 밀집된 객체를 인식하는 데 있어 직관적인 대화와 비교 추론이 효과적임을 보여주어, 향후 MLLM 기반 시각 작업 연구에 중요한 통찰을 제공합니다.