기술 요약: MixCount 데이터셋

문제 정의

10 년 이상의 연구에도 불구하고, 최첨단 시각적 객체 카운팅 모델은 혼합 객체 환경에서 체계적으로 실패합니다. 이는 산업 검사 및 제품 분류와 같은 실제 응용 분야에서 지배적인 시나리오입니다. 현재 모델들은 시각적으로 유사한 객체들을 구별하거나, 자기 유사성 구성 요소를 단일 개체로 식별하거나, 반복적인 배경 패턴을 무시하는 데 어려움을 겪습니다.

저자들은 이러한 성능 격차의 주된 원인을 기존 훈련 및 평가 데이터의 한계에서 찾습니다:

1. 실제 데이터셋(예: FSC-147, PairTally)은 주석 달기가 prohibitively 비싸고, 라벨링 노이즈를 겪으며, 종종 여러 객체 유형이 동시에 주석 달린 이미지를 부족하게 포함합니다.
2. 기존 합성 데이터셋(예: MCAC, SITUATE)은 다양성과 사진적 사실성이 부족하여 훈련 샘플과 실제 이미지 간의 상당한 도메인 격차를 만듭니다.
3. 확산 기반 생성은 제어된 정밀한 수의 객체로 이미지를 합성할 수 없는 능력 부족으로 인해 카운팅 작업에는 비효율적입니다.

방법론

이 데이터 격차를 해소하기 위해 저자들은 대규모, 사진적 사실성이 있는 데이터셋인 MixCount와 이에 상응하는 자동 데이터 생성 파이프라인을 소개합니다.

데이터 생성 파이프라인

이 파이프라인은 실제 캡처와 블렌더 (Blender) 의 물리 기반 렌더링 (PBR) 을 결합하여 훈련 샘플을 합성합니다. 주요 구성 요소는 다음과 같습니다:

• 애셋: 객체들은 고품질 실제 3D 캡처 데이터셋인 디지털 트윈 카탈로그 (DTC) 에서 샘플링됩니다.
• 장면 구성: 시스템은 장면당 2~4 개의 객체 클래스를 샘플링하여 장면을 절차적으로 생성합니다. 객체들은 약간의 크기 수정자가 적용된 무작위 3D 위치에 생성되어 클래스 내에서는 시각적 유사성을 보장하지만 인스턴스 간에는 구별되도록 합니다.
• 물리 시뮬레이션: 객체들은 강체 역학을 사용하여 접촉과 부분 가림이 있는 현실적인 장면을 자연스럽게 형성하도록 시뮬레이션됩니다.
• 가시성 필터링: 이전 합성 데이터셋과 달리 MixCount 는 객체 가시성을 명시적으로 측정합니다. 가려진 마스크와 가려지지 않은 마스크를 모두 렌더링하여 가시성 비율 ($v_i$) 을 계산합니다. 가시성 임계값 ($v_t$) 이하로 떨어지는 객체가 있는 장면은 거부되어, 모든 카운팅된 객체가 보이는 픽셀 단위의 정확한 정답 (ground truth) 을 보장합니다.
• 환경 및 조명: 이 파이프라인은 복잡한 조명과 카운팅 모델을 도전하는 반복적인 질감을 생성하기 위해 실제 환경 맵 (LavalIndoor 및 Polyhaven 에서 가져옴) 과 PBR 재료를 사용합니다. 장면 복잡성을 높이기 위해 방해 객체 (distractor objects) 가 추가됩니다.
• 프롬프트 및 주석:
  • 텍스트: 각 객체는 고유 식별자를 보장하는 LLM(Gemini 2.5) 에 의해 생성된 세 가지 수준의 텍스트 설명 (짧음, 간결함, 상세함) 으로 주석됩니다.
  • 예시: 데이터셋은 이미지 내의 내부 예시 (바운딩 박스) 와 흰색 배경의 외부 예시 (정규화된 뷰) 를 모두 제공합니다. 내부 예시에는 가시성/크기 점수가 할당됩니다.
  • 밀집 정답: 주석에는 바운딩 박스 (COCO 형식), 인스턴스 및 클래스 분할 마스크, 깊이 맵, 그리고 법선 맵이 포함됩니다.

MixCount 데이터셋

공개된 데이터셋에는 약 400 만 개의 객체를 카운팅해야 하는 58,000 개의 이미지가 포함되어 있습니다.

• 규모 및 다양성: 다양한 카테고리에 걸친 1,522 개의 서로 다른 객체 클래스를 특징으로 합니다.
• 구성: 평균적으로 장면에는 2~4 개의 서로 다른 클래스에서 온 68 개의 객체가 포함됩니다.
• 분할: 데이터셋은 훈련 (56,000), 검증 (1,000), 테스트 (1,000) 세트로 나뉩니다. 중요하게도, 객체 클래스는 테스트 세트의 어떤 객체도 훈련 세트에 나타나지 않도록 분할되어 일반화에 대한 엄격한 평가를 보장합니다.

주요 기여

1. MixCount 데이터셋: 오픈 보카불러리, 혼합 객체 카운팅 모델의 훈련 및 벤치마킹을 위해 특별히 설계된 최초의 대규모, 사진적 사실성이 있으며 다양한 합성 데이터셋.
2. 데이터 생성 프레임워크: 3D 애셋을 교체함으로써 특정 응용 분야 (예: 산업 검사) 에 맞게 조정될 수 있는 사실상 무한한 픽셀 단위 정답 라벨 데이터를 합성하는 완전 자동화된 파이프라인.
3. 엄격한 벤치마킹: MixCount 테스트 세트에 대한 최첨단 모델 (CountSE, CountGD, CountGD++) 의 포괄적인 평가로, 혼합 객체 환경에서 심각한 성능 저하를 노출시킴.

결과

저자들은 두 가지 주요 실험을 통해 MixCount 의 유용성을 평가했습니다:

1. 훈련 가치 (실제 데이터로의 전이)

MixCount 로 최첨단 모델을 훈련하면 실제 벤치마크에서 성능이 크게 향상되었습니다:

• FSC-147: MixCount 로 훈련하면 평균 절대 오차 (MAE) 가 20.14% 감소했습니다.
• PairTally: MixCount 로 훈련하면 MAE 가 18.3% 감소했습니다.
  저자들은 훈련 세트에 소수의 MixCount 이미지 (1,000 개) 만 추가해도 상당한 이득을 얻었다고 지적하며, 이는 합성 감독의 품질을 강조합니다.

2. 벤치마킹 (MixCount에서의 성능)

MixCount 테스트 세트에서 평가되었을 때, FSC-147 만으로 훈련된 기존 모델들은 성능이 낮았으며, 최선의 베이스라인 (CountGD++) 은 10% 이내 정확도 (Acc10%) 가 0.33에 불과했습니다.

• MixCount 로 훈련된 모델들은 상당한 개선을 보였으며, CountGD++(+MixCount) 는 Acc10% 를 0.69로 달성하고 정규화 절대 오차 (NAE) 를 0.14로 감소시켰습니다.
• 이 결과는 현재 모델들이 혼합 객체 시나리오를 위한 표적 훈련 데이터 없이는 어려움을 겪고 있음을 강조합니다.

민감도 분석

이 논문은 또한 프롬프트 유형에 대한 모델 민감도를 분석합니다:

• 예시: 컨텍스트 인식형인 내부 예시에서 컨텍스트 독립형인 외부 예시로 전환할 때 성능이 크게 떨어집니다.
• 텍스트 프롬프트: 모델들은 "간결한" 프롬프트로 가장 잘 수행되었으며, 이는 지나치게 상세한 설명이 훈련 분포에서 벗어날 수 있거나 "짧은" 프롬프트가 주요 훈련 신호였음을 시사합니다.

중요성 및 주장

이 논문은 MixCount 를 시각적 카운팅의 오랜 병목 현상인 확장 가능하고 고품질이며 혼합된 객체 훈련 데이터의 부재에 대한 해결책으로 위치시킵니다.

• 격차 해소: 저자들은 MixCount 가 합성의 확장성과 실제 세계의 복잡성 사이의 격차를 효과적으로 메워, 이전에 규모 있게 가르치는 것이 불가능했던 세밀한 구별을 모델들이 학습할 수 있게 한다고 주장합니다.
• 미래 활용성: 이 데이터셋은 단순한 벤치마크가 아니라, 프롬프트 민감도, 예시 견고성, 그리고 세밀한 카운팅 능력을 탐구할 수 있게 하는 훈련 자원으로 제시됩니다.
• 접근성: "실질적으로 무한한" 라벨 데이터를 생성할 수 있는 생성기를 제공함으로써, 산업 검사와 같은 데이터가 부족한 특정 도메인을 위한 견고한 카운팅 시스템 개발의 장벽을 낮추는 것을 목표로 합니다.

저자들은 합성 데이터가 실제 데이터와 분포적 차이가 있더라도, MixCount 파이프라인은 현재 모델들의 특정 실패 모드를 성공적으로 해결하여 실제 세계 성능에서 측정 가능한 향상을 이끌어낸다고 결론지었습니다.