기술 요약: 기계 부품 계수

문제 정의

본 논문은 이미지 내 밀집된 물체를 계수하는 과제를 다루며, 특히 산업용 세척기 부품을 중점적으로 다룹니다. 객체 탐지 시스템은 발전했으나, 저자들은 최첨단 탐지 모델이 중첩된 물체, 가려짐, 다양한 크기, 조명 조건 등으로 인해 고밀도 장면에서는 어려움을 겪는다고 지적합니다. 특정 데이터셋은 9 가지 다른 각도에서 촬영된 세척기 묶음 8,100 장으로 구성되며, 이미지당 평균 약 26 개의 물체가 포함되어 있습니다. 주요 어려움은 전통적인 계수 방법과 표준 탐지 아키텍처가 종종 실패하는 시나리오인, 물체가 심하게 가려지거나 군집화되었을 때 개별 원형 부품을 구별하는 데 있습니다.

방법론

저자들은 FamNet 아키텍처 [12] 를 확장한 딥러닝 기반 접근법을 제안합니다. FamNet 은 객체 계수를 위한 밀도 지도를 학습하도록 설계된 퓨샷 (few-shot) 회귀 모델입니다. 방법론은 다음과 같은 주요 구성 요소를 포함합니다:

1. 네트워크 아키텍처 및 적응

핵심 모델은 다중 스케일 특징 추출을 위해 ImageNet 에서 사전 훈련된 ResNet-50 백본을 활용합니다. 테스트 시 다른 클래스에 적응하기 위해 소수의 예시 바운딩 박스를 사용하는 원래 FamNet 과 달리, 이 구현은 단일 클래스 (세척기 부품) 에 맞춰져 있습니다. 따라서 모델은 소수의 예시 대신 이미지 내 세척기에 대한 모든 바운딩 박스를 제공받습니다. 이러한 박스는 컨볼루션 특징 지도에서 ROI 풀링을 거쳐 다중 스케일 특징을 생성하며, 이는 2 차원 밀도 지도를 생성하기 위해 5 개의 컨볼루션 블록과 3 개의 업샘플링 레이어로 구성된 밀도 예측 모듈에 입력됩니다. 최종 객체 수는 이 밀도 지도의 값들을 합산하여 도출됩니다.

2. 정답 밀도 구성

정답 밀도 지도를 생성하기 위해 저자들은 이전 연구에서 사용된 점 단위 주석을 따르지 않습니다. 대신 점 주석을 물체 폴리곤의 질량 중심에 고정합니다. 각 점과 그 1-최근접 이웃 사이의 평균 거리를 기반으로 가우시안 평활화를 위한 동적 윈도우 크기를 계산하여, 밀도 지도가 세척기 부품의 특정 공간 분포에 적응하도록 합니다.

3. 불일치 손실 (Mismatch Loss)

새로운 기여는 Mismatch Loss 함수의 도입입니다. FamNet 의 표준 평균 제곱 오차 (MSE) 손실은 예측된 밀도 지도와 정답 밀도 지도 간의 총 오차만을 패널티로 부과합니다. 제안된 Mismatch Loss 는 주석에서 파생된 이진 마스크에 기반하여 이미지 내 물체가 존재하지 않는 영역에 해당하는 예측 밀도 지도의 픽셀을 특히 패널티로 부과합니다. 형식적으로, 이 손실은 정답 마스크가 물체 부재를 나타내는 곳에서 예측된 밀도 값들을 합산합니다. 이 손실은 가중치 하이퍼파라미터 $\lambda = 10^{-9}$를 사용하여 표준 밀도 MSE 손실과 결합됩니다.

4. 각도 집계

데이터셋이 각 장면당 9 가지 다른 시야각을 포함하므로, 저자들은 예측을 집계하기 위한 후처리 단계를 적용합니다. 9 가지 각도 across 최대 (max), 최소 (min), 평균 (average) 집계 방법을 실험합니다. 경험적 결과에 따르면 예측된 계수의 평균을 취하는 것이 가장 좋은 성능을 보였습니다.

5. 대안적 접근법 (깊이 분리)

본 논문은 가려짐을 처리하기 위해 깊이 기반 분리를 탐색하며, Multi-Level Otsu Thresholding과 **Dense Prediction Transformers (DPT)**를 사용하여 이미지를 깊이 층으로 분할하려고 시도했습니다. 그러나 중첩된 물체를 회색조 강도나 깊이 지도 기반으로 깔끔하게 분리할 수 없어 중복 계수와 오차 증가로 이어졌기 때문에 이러한 실험은 대부분 성공하지 못했습니다.

주요 기여

• FamNet 적응: 입력 메커니즘을 전체 바운딩 박스 세트를 사용하도록 수정함으로써, 퓨샷 계수 모델을 단일 클래스, 고밀도 산업 계수 작업에 성공적으로 적응시켰습니다.
• Mismatch Loss: 밀도 지도 내의 위양성 (존재하지 않는 곳에서 물체를 예측) 을 패널티로 부과하도록 설계된 추가 손실 함수를 제안했으나, 이 특정 데이터셋 컨텍스트에서는 그 효과가 제한적이었습니다.
• 다중 각도 집계: 동일한 물체 묶음의 여러 시야각에 대한 예측을 평균화하는 것이 단일 뷰 예측에 비해 계수 오차를 현저히 줄인다는 것을 입증했습니다.
• 종합적인 베이스라인 비교: 제안된 방법을 전통적인 이미지 처리 파이프라인 (Hough Transform) 과 인스턴스 분할 (Mask-RCNN) 과 비교 평가하여, 이러한 접근법들이 밀집된 시나리오에서 갖는 한계를 강조했습니다.

결과

모델의 성능은 홀드아웃 테스트 세트에서 **평균 절대 오차 (MAE)**와 **제곱 평균 제곱근 오차 (RMSE)**를 사용하여 평가되었습니다.

• 베이스라인:
  • 전통적 이미지 처리: 노이즈와 위 탐지로 어려움을 겪으며 29.01의 MAE 를 달성했습니다.
  • Mask-RCNN (사전 훈련): 26.20의 MAE 를 달성했습니다.
  • Mask-RCNN (파인튜닝): 도메인별 훈련의 필요성을 입증하며 3.79의 MAE 로 크게 개선되었습니다.
• 제안된 방법:
  • FamNet (베이스라인): 2.60의 MAE 를 달성했습니다.
  • FamNet + Mismatch Loss: 2.97의 MAE 를 기록하여, 이 특정 데이터셋에서 손실 함수가 성능을 개선하지 못했고 노이즈를 유발했을 수 있음을 나타냈습니다.
  • FamNet + 각도 집계 (평균): MAE 1.96과 RMSE 2.70으로 최고의 성능을 달성했습니다.

저자들은 Mismatch Loss 가 과계수를 줄이도록 의도되었으나, 이 데이터셋의 과계수 오차는 주로 물체가 이미 부분적으로 예측된 가려진 영역에서 발생하여 손실이 무효화되었다고 관찰했습니다. 반면, 각도 집계 전략은 매우 효과적이었습니다.

중요성 및 주장

본 논문은 FamNet 과 같은 회귀 기반 밀도 추정 모델과 같은 딥러닝 네트워크가 밀집된 기계 부품을 계수하는 데 매우 효과적이며, 2 미만의 MAE 정확도를 달성한다고 결론지었습니다. 저자들은 특정 모델이 세척기 데이터셋에 대해 강력하지만, 훈련 데이터의 특정 특성 (단순한 검은색 배경, 균일한 물체 크기) 으로 인해 다른 작업으로의 일반화는 현재 제한적이라고 주장합니다.

이 연구의 중요성은 다음을 입증하는 데 있습니다:

1. 회귀 기반 계수는 밀집된 산업용 물체에 대해 전통적인 이미지 처리와 인스턴스 분할 모두를 능가합니다.
2. 다중 뷰 집계는 여러 관점을 가진 데이터셋에서 정확도를 향상시키기 위한 중요한 후처리 단계입니다.
3. Mismatch Loss는 빈 영역의 위양성보다는 가려짐에서 비롯된 오차일 때 특히 보편적으로 유익하지 않을 수 있으며, 손실 함수 설계는 데이터셋의 특정 오차 모드에 맞춰져야 함을 시사합니다.

저자들은 겸손하게 향후 작업이 더 효과적인 깊이 방향 분리 기술을 포함하거나, 더 높은 정확도를 위해 NeRF 등을 사용하여 3D 장면 표현을 생성하기 위해 데이터의 다중 뷰 특성을 활용할 수 있다고 제안합니다.