💻 computer science

CoDi -- an exemplar-conditioned diffusion model for low-shot counting

이 논문은 정밀한 국지화를 위해 고품질 밀도 지도를 생성하는 특화된 컨디셔닝 모듈을 통해 조밀하고 작은 객체 영역에서의 과제를 효과적으로 해결함으로써, 로우샷(low-shot) 객체 계수 작업에서 기존의 최첨단 방법들을 크게 능가하는 새로운 예시 조건부 잠재 확산 모델인 CoDi를 소개한다.

원저자: Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

게시일 2026-07-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

해변의 모래알 하나하나를 세거나, 붐비는 밤하늘의 작은 별들을 하나하나 세려고 한다고 상상해 보십시오. 만약 전체적인 모습만 본다면 그것은 그저 흐릿한 덩어리일 뿐입니다. 만약 돋보기를 들고 하나씩 세려고 시도한다면, 몇 개를 놓치거나 같은 것을 두 번 셀 수도 있습니다. 이것이 컴퓨터가 이미지 속의 사물을 '세는' 작업, 즉 객체 카운팅(object counting)이라 불리는 작업을 수행할 때 겪는 일상적인 고충입니다. 오랫동안 컴퓨터에는 이를 수행하는 두 가지 주요 방법이 있었습니다. 첫 번째 방식은 모래 위에 물을 붓는 것과 같았습니다. 그들은 '밀도 맵(density map)'을 만들었는데, 이는 높이가 그곳에 얼마나 많은 것이 있는지를 나타내는 매끄러운 언덕 형태였습니다. 이 방식은 대략적인 총량을 파악하는 데는 좋았지만, 각 모래알이 정확히 어디에 있는지를 알려주는 데는 형편없었습니다. 두 번째 방식은 레이저 포인터를 사용하여 모든 별에 표식을 남기는 것과 같았습니다. 이 방식은 위치를 찾는 데는 매우 뛰어났지만, 별들이 너무 밀집되어 있으면 컴퓨터가 혼란을 느끼고 사용할 수 있는 '포인터'가 바닥나면서 무언가를 놓치거나 루프에 빠지게 됩니다.

이제 단순히 흐릿한 언덕을 그리거나 제한된 수의 레이저 포인터를 사용하는 것이 아니라, 새로운 종류의 예술가를 상상해 보십시오. 이 예술가는 정지 화면의 노이즈(마치 신호가 없는 TV 화면처럼)로 가득 찬 캔버스에서 시작하여, 단계별로 노이즈를 제거하며 모든 객체의 위치를 보여주는 완벽하고 선명한 그림을 드러냅니다. 이것이 CoDi(Counting by Diffusion)라고 불리는 새로운 방법의 핵심 아이디어입니다. 이 논문의 저자인 Grega Šuštar와 그의 팀은 이미지를 생성하는 데 유명한 AI 유형인 '확산 모델(diffusion model)'을 사용하여 카운팅 문제를 해결하는 시스템을 구축했습니다. CoDi는 숫자를 추측하거나 상자를 그리는 대신, 빈 캔버스의 노이즈를 제거하여 각 객체를 나타내는 작고 뚜렷한 점들을 튀어나오게 하는 법을 학습합니다. 이 마법 같은 기술의 비결은, 단 한두 개의 예시만 보여주거나 혹은 예시를 전혀 주지 않더라도 이 작업을 수행할 수 있다는 점에 있습니다. 마치 친구에게 특정 종류의 버섯 사진 한 장을 보여주며 숲속에서 그 버섯들을 모두 찾아보라고 부탁하는 것과 같습니다. CoDi는 단순히 총량을 추측하는 것이 아니라, 가장 붐비는 숲속에서도 각 버섯이 있는 정확한 지점을 가리킵니다.

문제점: "붐비는 방"의 딜레마

사진 속의 사물을 세는 것은 사물들이 흩어져 있을 때는 쉽습니다. 하지만 벌떼, 포도 더미, 또는 인파가 몰린 군중의 사진이라면 어떻게 될까요? 바로 이 지점에서 기존 방식들은 한계에 부딪힙니다.

'밀도' 방식은 군중의 '열기' 높이를 측정하여 군중을 세는 것과 같습니다. 군중이 밀집되면 열기가 높아지고, 컴퓨터는 그곳에 많은 사람이 있다는 것을 알게 됩니다. 하지만 그 열기 맵을 통해 누가 어디에 있는지는 말해주지 못합니다. 만약 그 열기 맵에서 가장 높은 정점을 찾으려 한다면, 열기가 서로 뭉쳐 있기 때문에 종종 오류가 발생하게 됩니다.

'탐지(detection)' 방식은 제한된 수의 무전기를 가진 보안 요원과 같습니다. 보안 요원은 특정 사람들을 가리킬 수 있지만, 사람이 너무 많으면(무전기 수보다 많으면) 요원은 군중을 작은 그룹으로 나누고 각각 따로 센 다음 그 답들을 다시 합치려고 시도해야 합니다. 이 과정은 느리고 번거로우며, 종종 같은 사람을 두 번 세거나 누군가를 완전히 놓치는 결과를 초래합니다.

해결책: CoDi의 "마법 같은 노이즈"

저자들은 CoDi를 "정지 화면을 청소하는 게임"처럼 취급하는 시스템으로 제안합니다.

작동 방식은 다음과 같습니다:

시작 지점: 신호가 없는 TV 화면을 상상해 보십시오. 이것이 CoDi의 시작점입니다. 아직 어디에 객체가 있는지 알지 못합니다.
"예시(Exemplar)" 단서: 사과를 세고 싶다면, 컴퓨터에 사과 사진 몇 장을 보여줍니다(이를 '예시'라고 합니다). CoDi는 매우 똑똑한 필터 역할을 하는 특수한 '조건화 모듈(conditioning module)'을 가지고 있습니다. 이 모듈은 당신의 사과 예시들을 살펴보고 이렇게 말합니다. "좋아, 나는 이것들과 정확히 똑같이 생긴 것들을 찾아내고, 나머지는 무시해야겠어."
노이즈 제거의 춤: CoDi는 TV 화면에서 노이즈를 제거하기 시작하지만, 매우 구체적인 방식으로 수행합니다. 단순히 추측하는 것이 아니라 점진적으로 이미지를 정교하게 다듬습니다. 매 단계마다 흐릿한 노이즈는 점점 더 선명한 점들로 변해갑니다.
결과: 이 과정이 끝나면, 화면은 흐릿한 언덕이나 지저도한 목록이 아닙니다. 그것은 작고 날카로운 정점들이 있는 깨끗한 지도입니다. 각 정점은 하나의 객체를 나타내는 완벽한 점입니다. 컴퓨터는 그저 이 점들을 세기만 하면 됩니다.

비결은 CoDi가 이 점들을 평균 내는 것이 아니라, 하나씩 생성하는 법을 배운다는 것입니다. 이는 객체들이 서로 맞닿아 있는 매우 붐비는 장면에서도 CoDi가 이들을 분리하여 정확하게 셀 수 있음을 의미합니다.

성과: 최고를 넘어서다

연구팀은 FSC147(147가지의 서로 다른 객체 유형 포함)과 MCAC(다중 클래스 카운팅 데이터셋)를 포함한 매우 어려운 데이터셋으로 CoDi를 테스트했습니다. 결과는 인상적이었습니다:

퓨샷 카운팅(Few-Shot Counting): 단 몇 개의 예시(예: 대상 객체의 이미지 3장)가 주어졌을 때, CoDi는 정확도(평균 절대 오차, MAE) 측면에서 기존 최신 방식들을 15% 차이로 앞질렀습니다.
원샷 카운팅(One-Shot Counting): 단 하나의 예시만 주어졌을 때도 CoDi는 여전히 최고였으며, 이전의 최고 방식을 13% 앞질렀습니다.
예시 없음 (Reference-less): 예시를 전혀 받지 않고 이미지에서 가장 흔한 객체를 세라고 했을 때도, CoDi는 기존의 최선책들을 10% 상회하는 성능을 보였습니다.
다중 클래스 도전 (The Multi-Class Challenge): 사과, 오렌지, 바나나가 한데 섞여 있을 수 있는 MCAC 데이터셋에서 CoDi는 경쟁자들을 압도하며 무려 **38%**라는 엄청난 차이로 기존 최고 방식을 격파했습니다.

이것이 중요한 이유

이 논문은 거대한 군중을 세기 위해 반드시 방대한 양의 사전 학습된 '포인터'가 필요하다는 생각을 명시적으로 반박합니다. 저자들은 이미지를 타일링(이미지를 조각으로 자르는 것)하는 방식이 속도를 늦추고 오류를 유발하는 투박한 임시방편임을 보여주었습니다. CoDi는 이미지를 잘라낼 필요 없이, 전체를 한 번에 처리하면서도 완벽한 결과를 얻을 수 있음을 증명했습니다.

또한 CoDi가 얼마나 견고한지도 보여주었습니다. 예시가 약간 지저도하거나 객체가 아주 작더라도 Co디는 잘 작동합니다. 실제로 저자들은 CoDi가 매우 안정적이어서, 동일한 이미지를 20번 실행하더라도 카운트 변화가 평균 1% 미만이라는 것을 발견했습니다.

한계와 미래

CoDi가 큰 진전을 이루었지만, 저자들은 어려움을 겪는 부분에 대해서도 솔직하게 밝히고 있습니다. 매우 길고 가는 물체(예: 세워져 있는 책들의 줄)나 객체들이 매우 기묘한 방식으로 겹쳐 있는 경우에 가끔 어려움을 겪습니다. 또한, Co-Di가 객체의 중심을 찾는 데는 뛰어나지만, 아직 객체 전체를 감싸는 상자를 그리지는 못한다는 점도 언급했습니다(물론 이에 대해 연구할 계획이라고 밝혔습니다).

요약하자면, CoDi는 카운팅을 '숫자를 추측하는 것'이 아니라 '노이즈를 청소하는 과정'으로 취급함으로써, 컴퓨터가 인간처럼 군중을 볼 수 있다는 것을 시사합니다. 즉, 군중을 흐릿한 덩어리가 아니라 구별 가능한 개별 존재들의 집합으로 보는 것입니다. 이것은 한 번에 하나의 점씩, 세상을 바라보는 새로운 방식입니다.

기술 요약: CoDi – 저샷 카운팅을 위한 예시 조건부 확산 모델 (An Exemplar-Conditioned Diffusion Model for Low-Shot Counting)

1. 문제 정의

본 논문은 몇 개의 주석이 달린 예시(exemplars)를 사용하거나(few-shot/one-shot), 예시가 전혀 없는(reference-less) 상황에서 이미지 내 미보았던 카테고리의 객체 수를 추정하는 저샷 객체 카운팅(low-shot object counting) 문제를 다룹니다.

현대적인 방법론들이 발전해 왔음에도 불구하고, 다음과 같은 작은 객체가 포함된 밀집 영역에서 상당한 어려움에 직면해 있습니다:

밀도 기반 카운터(Density-based counters) (예: LOCA, CounTR)는 회귀된 밀도 맵(density map)을 합산하여 수를 추정합니다. 그러나 이러한 맵은 개별 객체에 대한 명확한 단일 모드(single mode)를 표현하지 못하는 경우가 많아, 비최대 억제(NMS)를 적용할 때 위치 추정 능력이 떨어지고 허위 양성(false positives)이 발생합니다.
탐지 기반 카운터(Detection-based counters) (예: CountGD, GeCo)는 바운딩 박스나 중심점을 예측합니다. 이러한 방식은 대개 고정된 수의 사전 학습된 쿼리를 사용하는 트랜스포머 아키텍처 기반입니다. 밀집된 장면에서는 객체 수가 이 용량을 초과하는 경우가 빈번하며, 이로 인해 계산 비용이 많이 드는 타일링(tiling)(이미지를 크롭으로 분할)과 복잡한 경계 조정 후처리가 강제됩니다. 또한, 노이즈가 있는 그라운드 트루스 중심점에 대해 학습된 회귀 기반 모델은 정확한 피크 카 counting에 부적합한 흐릿한 맵을 생성할 수 있습니다.

2. 방법론: CoDi

저자들은 고품질의 선명한 객체 위치 맵을 생성하도록 설계된 최초의 잠재 확산 기반 저샷 카운터인 CoDi(Counting by Diffusion)를 제안합니다.

핵심 아키텍처

CoDi는 객체 위치 맵을 반복적으로 정교화하기 위해 **조건부 잠재 확산 모델(Conditioned Latent Diffusion Model, LDM)**을 활용합니다.

입력 표현:
- 입력 이미지 $I$ 는 사전 학습된 AM-RADIO 백본을 사용하여 잠재 표현 $z_I$ 로 인코딩됩니다.
- 타겟 객체 위치 맵 $L$ 은 그라운드 트루스 중심점 위에 정규화된 가우시안을 배치하여 구축됩니다. 이 맵은 사전 학습된 VAE를 통해 잠재 공간 $z_0$ 로 투영됩니다.
- 순방향 확산 과정 동안, $z_0$ 에 노이즈를 추가하여 노이시한 잠재 변수 시퀀스 $z_t$ 를 생성합니다.
디노이징 네트워크:
- 표준 UNet(3단계)이 확산 과정을 역전시켜, 깨끗한 잠재 맵을 복구하기 위해 노이즈 또는 속도 벡터( $v_t$ )를 예측하도록 학습됩니다.
- UNet의 입력은 이미지 잠재 변수 $z_I$ 와 현재의 노이시한 위치 잠재 변수 $z_t$ 의 결합(concatenation)입니다.
예시 기반 조건화 (Exemplar-Based Conditioning, EC):
- 이것이 핵심 혁신입니다. 테스트 시점에 모델을 타겟 객체 카테고리에 특화시키기 위해, 네트워크는 사용자가 제공한 예시 바운딩 박스에 의해 조건화됩니다.
- 적응형 프로토타입 추출(Adaptive Prototype Extraction): 정적인 조건화와 달리, CoDi는 각 확산 타임스텝마다 (현재 UNet 특징에 대한 RoI-Align을 통해) **외형 프로토타입(appearance prototypes)**과 (박스 크기에 대한 MLP를 통해) **형태 프로토타입(shape prototypes)**을 추출합니다.
- 변조(Modulation): 추출된 프로토타입은 트랜스포머 어텐션 레이어를 통해 UNet의 첫 번째와 마지막 레이어에 주입됩니다. UNet 특징은 쿼리(query) 역할을 하고, 타임스텝별 프로토타입은 키(key)와 값(value) 역할을 합니다. 이를 통해 네트워크는 위치 맵을 정교화하는 디노이징 과정 동안 타겟 객체에 대한 이해를 지속적으로 적응시킬 수 있습니다.
추론(Inference):
- 무작위 가우시안 노이즈에서 시작하여, 네트워크는 $T$ 번의 디노이징 단계(예: $T=25$ )를 수행합니다.
- 최종 잠재 맵은 VAE에 의해 고해상도 위치 맵 $\tilde{L}$ 로 디코딩됩니다.
- 객체 중심은 임계값을 초과하는 $3\times3$ 이웃 내의 지역 최댓값(local maxima)으로 탐지되며, 총 개수는 탐지된 피크의 수입니다.

레퍼런스리스 적응 (Reference-Less Adaptation)

예시가 없는 시나리오를 위해, 저자들은 **학습 가능한 레퍼런스리스 쿼리(trainable reference-less queries)**를 도입했습니다. 이 쿼리들은 레이어 특징에 어텐션을 수행함으로써 프로토타입으로 변환되며, 이를 통해 모델이 특정 시각적 프롬프트 없이 주요 클래스를 카운팅할 수 있게 합니다. 이는 나머지 네트워크를 동결한 채 쿼리 파라미터만 미세 조정(fine-tuning)하면 됩니다.

3. 주요 기여

최초의 잠재 확산 기반 저샷 카운터: CoDi는 저샷 카운팅에 잠재 확산을 적용한 최초의 방법으로, 단일 인스턴스 예측을 생성함으로써 회귀 기반 모델의 주석 노이즈 평균화 문제를 회피합니다.
예시 기반 조건화 모듈: 디퓨전 과정 중에 객체 프로토타입을 동적으로 추출하고 조정하는 새로운 메커니즘을 제공합니다. 이는 위치 맵에서 좁고 분리된 피크를 생성하여, 타일링 없이도 NMS를 통한 정확한 위치 추정을 가능하게 합니다.
통합된 저샷 스펙트럼: CoDi는 단일 프레임워크 내에서 few-shot, one-shot, reference-less 시나리오를 모두 아우르는 최초의 확산 기반 카운터입니다.
효율성: 잠재 공간에서 작동하고 쿼리 기반 탐지기(CountGD 등)에 필요한 적응형 타일링을 피함으로써, CoDi는 특히 많은 작은 객체가 있는 이미지에서 더 계산적으로 안정적인 추론 프로세스를 제공합니다.

4. 실험 결과

논문은 FSC147(few-shot) 및 MCAC(multi-class) 벤치마크에서 CoDi를 평가합니다.

Few-Shot (FSC147): CoDi는 테스트 세트에서 SOTA 밀도 기반 카운터(CountDiff)보다 MAE 38%, RMSE 42% 우수한 성능을 보였습니다. 위치 기반 SOTA(CountGD)와 비교했을 때, CoDi는 MAE를 15%, RMSE를 29% 개선했습니다.
One-Shot: CoDi는 GeCo보다 MAE 13%, RMSE 49% 우수한 성능을 보이며 새로운 SOTA를 달성하여, 단 하나의 예시만으로도 강력한 견고성을 입증했습니다.
Reference-Less: CoDi는 텍스트가 없는 최상위 SOTA(GeCo)보다 MAE 10% 높은 성능을 보였습니다. 텍스트 프롬프트를 사용하는 제로샷 방법(예: CountSE)에는 뒤처지지만, 텍스트에 의존하지 않고도 경쟁력 있는 성능을 유지합니다.
Multi-Class (MCAC): CoDi는 최상위 방법(GeCo2)보다 MAE 38% 앞서며 새로운 SOTA를 기록했습니다.
위치 추정 품질: CoDI는 테스트 세트에서 CountGD 대비 더 높은 재현율(0.88 vs 0.81)과 F1 점수(0.92 vs 0.87)를 달성했으며, 그라운드 트루스로부터의 평균 탐지 거리는 8.79 픽셀이었습니다.
효율성: CoDi는 타일링으로 인해 밀집된 이미지에서 실행 시간이 크게 저하되는 CountGD와 달리, 낮은 분산을 가진 안정적인 추론 시간(~1.1s/image)을 보여줍니다. 또한 GeCo보다 적은 파라미터를 사용하며 VRAM 소모도 적습니다.

5. 의의 및 주장

저자들은 Co-Di가 카운팅 작업을 회귀나 탐지가 아닌 **생성 문제(generation problem)**로 재정의함으로써 저샷 카운팅의 중요한 변화를 나타낸다고 주장합니다.

밀도에 대한 견고성: CoDi의 주요 의의는 기존 방법들이 쿼리 제한이나 흐릿한 밀도 맵으로 인해 실패하는 작은 객체의 밀집 영역을 처리하는 능력에 있습니다. 확산 과정은 자연스럽게 NMS에 적합한 "선명한(crisp)" 피크를 생성합니다.
타일링 제거: 쿼리 기반 트랜스포머 탐지기의 고정된 쿼리 용량 제한을 피함으로써, CoDi는 계산 집약적인 타일링과 경계 조정의 필요성을 제거합니다.
적응성: 예시 조건화 모듈을 통해 최소한의 데이터로 미보았던 카테고리로 일반화할 수 있으며, reference-less 적응을 통해 전체 네트워크를 재학습하지 않고도 주요 클래스 카운팅으로 확장할 수 있습니다.

결론적으로 Co-Di는 저샷 카운팅 스펙트럼 전반에서 새로운 SOTA를 달성하며, 높은 정확도, 정밀한 위치 추정, 그리고 계산적 안정성의 균형을 제공합니다. 향후 연구로는 이를 바운딩 박스 예측 및 극단적인 종횡비를 가진 객체 처리로 확장하는 것이 언급되었습니다.