Boxes2Pixels: Learning Defect Segmentation from Noisy SAM Masks

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 풍력 터빈 날개와 같은 핵심 인프라의 시각적 검사는 예측 유지보수와 고장 방지에 필수적입니다. 그러나 산업 현장에서는 고해상도 픽셀 단위 (pixel-level) 의 정밀한 주석 (annotation) 을 얻는 것이 비용이 많이 들고 전문 지식이 필요하여 데이터 확보가 어렵습니다.
• 현황: 이를 해결하기 위해 상대적으로 저렴한 경계 상자 (Bounding Box) 주석을 활용하는 접근법이 사용됩니다. 최근 SAM (Segment Anything Model) 과 같은 파운데이션 모델을 사용하여 경계 상자를 픽셀 단위 마스크 (pseudo-masks) 로 변환하는 방식이 시도되고 있습니다.
• 문제점:
  1. 노이즈 있는 라벨: SAM 은 산업용 이미지 (그림자, 질감 패턴 등) 에서 배경 구조를 과분할하거나 (False Positive), 얇거나 대비가 낮은 결함을 놓치는 (False Negative) 체계적인 오류를 보입니다.
  2. 기존 방법의 한계: 이러한 노이즈가 있는 SAM 마스크를 직접 학습 데이터로 사용할 경우, 기존 모델 (U-Net, SegFormer 등) 은 SAM 의 오류를 그대로 학습하여 성능이 저하되거나, 결함을 놓치는 경향이 있습니다.
  3. 희소성: 산업 결함은 종종 매우 희소하고 얇은 구조 (예: 모세관 균열) 를 가지며, 경계 상자 내부의 결함 비율이 낮아 기존 약한 지도 학습 (Weakly Supervised Learning) 기법들이 배경 픽셀에 의해 지배받기 쉽습니다.

2. 제안 방법론 (Methodology)

저자들은 Boxes2Pixels라는 노이즈 강건한 상자 - 픽셀 증류 (Box-to-Pixel Distillation) 프레임워크를 제안합니다. 이 방법은 SAM 을 '정답'이 아닌 '노이즈가 있는 교사 (Noisy Teacher)'로 간주하고, 이를 보완하는 학생 네트워크를 학습시킵니다.

핵심 구성 요소:

1. 계층형 학생 아키텍처 (Hierarchical Student Architecture):

   • 글로벌 시맨틱 브랜치 (Global Semantic Branch): DINOv2 (ViT-S/14) 특징 추출기를 사용합니다. 모든 가중치는 고정 (Frozen) 하고 BitFit 방식 (편향과 정규화 계수만 미세 조정) 으로 적응시켜 시맨틱 안정성을 확보하고 과적합을 방지합니다.
   • 로컬 디테일 브랜치 (Local Detail Branch): 얇은 결함 구조를 포착하기 위해 경량 CNN 을 사용하여 RGB 입력에서 고주파 공간 디테일을 추출합니다.
   • 특징 융합: 두 브랜치의 특징을 융합하여 시맨틱 안정성과 공간적 정밀도를 모두 확보합니다.

2. 이중 헤드로 (Dual Heads):

   • 바이너리 로컬라이제이션 헤드: 결함 (전경) 과 배경을 구분하는 이진 분류를 수행합니다. 이는 희소한 결함을 발견하는 데 중점을 둡니다.
   • 세밀한 시맨틱 헤드: 구체적인 결함 클래스 (예: 손상, 먼지) 를 분류합니다.

3. 비대칭 온라인 자기 수정 메커니즘 (Asymmetric Online Self-Correction):

   • 핵심 아이디어: SAM 이 배경으로 표시했지만, 학생 모델이 높은 확신으로 결함을 예측하는 경우, 해당 라벨을 수정하여 학습합니다.
   • 동작: 학생 모델의 예측 확신이 임계값 ($\tau$) 을 초과하고, 교사의 라벨이 배경 (0) 일 때만, 해당 픽셀의 라벨을 학생의 예측으로 덮어씌웁니다. 이는 False Negative (놓친 결함) 를 복구하는 데 초점을 맞추며, 반대로 교사가 결함을 표시했을 때만 학습하는 것은 아닙니다.
   • 목적: 불완전한 경계 상자 주석이나 SAM 의 누락을 보완하여 희소 결함을 복원합니다.

4. 손실 함수 (Loss Functions):

   • 비대칭 Dice Loss: 전경 - 배경 불균형을 해결하고 False Positive 를 줄이면서 Recall 을 높이기 위해 사용됩니다.
   • 자기 수정 손실: 위 메커니즘을 적용한 교정된 라벨에 대해 교차 엔트로피 손실을 계산합니다.

3. 주요 기여 (Key Contributions)

1. 데이터 중심 증류 파이프라인: 노이즈가 있는 파운데이션 모델 (SAM) 의 의사 라벨을 활용하여 경계 상자 주석만으로 픽셀 단위 결함 분할을 학습하는 새로운 파이프라인을 제안했습니다.
2. 강건한 아키텍처 및 학습 전략: 고정된 DINOv2 특징, 계층적 구조, 그리고 비대칭 자기 수정 손실을 결합하여 체계적인 라벨 노이즈 하에서도 안정적인 학습이 가능하도록 했습니다.
3. 실제 산업 데이터셋에서의 검증: 풍력 터빈 날개 결함 데이터셋에서 기존 약한 지도 학습 베이스라인 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: DTU 풍력 터빈 드론 검사 데이터셋 (약 13,000 장의 이미지, 경계 상자 주석만 존재).
• 평가 지표: mIoU (평균 교집합 비율), Anomaly mIoU (결함 클래스만 평균), Binary IoU, Recall 등.
• 성능 비교 (수동 주석 테스트셋 기준):
  • Boxes2Pixels는 가장 강력한 베이스라인 (SegFormer-B2) 대비 Anomaly mIoU 를 +6.97%p, Binary IoU 를 +9.71%p 향상시켰습니다.
  • 특히 Binary Recall은 +18.56%p 증가하여, 놓친 결함을 찾아내는 능력이 크게 개선되었음을 보여줍니다.
• 효율성:
  • DINOv2 를 고정하고 BitFit 을 적용하여 학습 가능한 파라미터를 80% 감소시켰습니다 (5.6M 파라미터).
  • NVIDIA H100 에서 161.4 FPS의 실시간 처리 속도를 달성하여 산업 현장 배포에 적합함을 입증했습니다.
• Ablation Study:
  • 바이너리 헤드를 제거할 경우 성능이 가장 크게 저하됨 (결함 발견의 중요성 확인).
  • 자기 수정 (Self-correction) 기능은 검증셋에서는 미미한 효과가 있었으나, 실제 정답 (Ground Truth) 이 있는 테스트셋에서는 Recall 을 획기적으로 높였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 고비용의 픽셀 단위 주석 없이도, 저렴하게 구할 수 있는 경계 상자 주석과 오픈소스 파운데이션 모델을 활용하여 산업용 결함 분할 모델을 구축할 수 있는 현실적인 솔루션을 제시했습니다.
• 노이즈 관리 전략: 단순히 더 좋은 마스크를 생성하는 것에 집중하는 것이 아니라, 학습 과정에서 노이즈가 있는 라벨을 어떻게 처리할지 (Self-correction) 에 초점을 맞춘 것이 핵심 성과입니다.
• 배포 가능성: 파라미터 효율성과 실시간 처리 속도로 인해 제한된 컴퓨팅 자원과 주석 예산을 가진 산업 환경에서도 즉시 적용 가능한 기술입니다.

이 논문은 산업용 컴퓨터 비전 분야에서 "불완전한 데이터"와 "노이즈가 있는 자동 라벨링"을 효과적으로 활용하여 고품질의 분할 모델을 학습하는 새로운 패러다임을 제시합니다.