Train, Test, Re-evaluate: Schedule-Sensitive Evaluation of Generative Data for Hand Detection

기술 요약: 손 탐지를 위한 생성 데이터의 스케줄 민감도 평가

문제 정의
직업 안전 모니터링에서 견고한 손 탐지는 안전 규정 준수를 보장하기 위해 매우 중요하다. 그러나 손 탐지를 위한 공개 데이터셋은 주로 맨손으로 구성되어 있어, 장갑, 붕대, 문신, 장신구와 같은 개인 보호 장구(PPE)에 의해 도입되는 시각적 변화를 표현하지 못한다. 이는 훈련 데이터와 실제 배포 시나리오 사이의 상당한 분포 차이(distribution shift)를 발생시키며, 특히 액세서리를 착용한 손을 탐지하는 것이 필수적인 안전 중심 맥락에서 문제가 된다. 이러한 간극을 메우기 위해 합성 데이터를 생성하는 것은 유망한 해결책이지만, 기존 방법들은 종종 "시뮬레이션-투-리얼(simulation-to-real)" 간극으로 인해 어려움을 겪으며, 객체 중심 작업에 대한 합성 데이터의 효용성은 여전히 미해결된 과학적 질문으로 남아 있다.

방법론
저자들은 생성형 인페인팅(generative inpainting)—배경은 유지하면서 손 영역을 편집하여 액세서리를 추가하는 방식—이 이러한 분포 차이를 효과적으로 좁힐 수 있는지 평가하기 위한 프레임워크를 제안한다.

1. 데이터셋 구축:

   • 실제 데이터(Real Data): YOLO 형식의 어노테이션이 포함된 6,507개의 훈련, 2,085개의 검증, 3,591개의 테스트 RGB 이미지 데이터셋.
   • 합성 데이터(Synthetic Data): 오픈 소스 도구인 SemProbe를 사용하여 쌍을 이룬 합성 이미지를 생성하였다. 파이프라인은 손 영역을 분할하고(GroundingDINO 및 SAM2 사용), 정류 흐름 트랜스포머(FLUX.2)를 사용하여 텍스트 프롬프트에 따라 액세서리(장갑, 장신구, 문신)를 인페인팅한다. 배경은 원본과 픽셀 단위로 동일하게 유지된다.
   • 품질 평가: 합성 데이터의 유효성을 검증하기 위해 다섯 가지 쌍 이미지 지표를 계산하였다:
     • 픽셀/구조적 지표: PSNR, SSIM, LPIPS (전체 이미지 및 손 크롭 영역에 대해 계산).
     • 해부학적 지표: MediaPipe Hands 탐지율, 신뢰도 및 랜드마크 편차.
     • 경계 지표: 인페인팅된 손과 원래 배경 사이의 눈에 띄는 이음새를 감지하기 위한 경계 그래디언트 비율(Boundary gradient ratio).

2. 실험 설계:
   연구진은 통계적 분석을 위해 세 번의 무작위 시드로 반복 수행된 6가지 체제(실험 A–F) 하에서 YOLOv8n 탐지기를 훈련시켰다:

   • 실험 A (Baseline): 실제 데이터로 훈련, 실제 데이터로 테스트.
   • 실험 B (Robustness Probe): 실험 A 모델을 합성 장갑 및 실제 장갑 테스트 세트에 대해 평가 (재학습 없음).
   • 실험 C (Two-Stage Augmentation): 실제 데이터 $\cup$ 합성 데이터로 훈련 후, 더 낮은 학습률로 실제 데이터만으로 미세 조정(fine-tuning).
   • 실험 D (Synthetic-Only): 합성 데이터로만 독점 훈련.
   • 실험 E (Three-Stage Curriculum): 실제 $\to$ 실제 $\cup$ 합성 $\to$ 실제-장갑 순으로 학습률을 점진적으로 낮추며 훈련.
   • 실험 F (Meta-Analysis): 결과를 집계하여 부호화된 간극(signed gap) 지표를 계산.

주요 결과

• 이미지 품질: 전체 이미지 지표(PSNR/SSIM)는 높은 유사성을 시사했으나, 손 영역 지표는 상당한 차이를 드러내어 인페인팅이 대상 영역을 성공적으로 변경했음을 확인했다. 경계 그래디언트 분석은 평균 비율 1.088을 보여, 대부분의 경우 이음새가 보이지 않으나 일부 가시적인 아티팩트가 존재함을 나타냈다.
• 탐지 성능 (mAP@0.5):
  • **실험 C (Two-Stage)**는 표준 실제 테스트 세트(0.954)와 실제-장갑 분포 외(OOD) 세트(0.921) 모두에서 가장 높은 mAP@0.5를 달로 성, 실제 데이터 전용 베이스라인(0.867)보다 실제 세트에서는 +8.7 포인트, OOD 간극은 +18.1 포인트를 개선했다.
  • **실험 E (Three-Stage)**는 가장 높은 mAP@0.5:0.95(실제 0.628, 장갑 0.374)를 달성하여 우수한 박스 타이트니스(box-tightness)를 입증했으나, 실험 C와 비교했을 때 mAP@0.5에서 약간의 트레이드오프가 있었다.
  • **실험 D (Synthetic-Only)**는 베이스라인 mAP@0.5의 71.5%에 도달하여, 합성 데이터 단독으로는 불충분하지만 보조 수단으로서 유효함을 증명했다.
• 통계적 유의성: 쌍체 t-검정(n=3) 및 코헨의 d(Cohen's d) 분석 결과, mAP@0.5에서 실험 C의 베이스라인 대비 개선은 큰 효과 크기(d=2.06)를 보였으나, 작은 표본 크기로 인해 p-값(0.071)이 엄격한 0.05 기준을 충족하지는 못했다. 실험 E는 mAP@0.5:0.95에서 실험 C를 유의미하게 능가했다 (p=0.012, d=5.29).

의의 및 주장
본 논문은 안전 중심의 손 탐지를 위한 합성 데이터의 효용성이 데이터 자체보다는 훈련 절차에 의해 결정된다고 주장한다.

• 스케줄 민감도: 단순한 다단계 훈련 스케줄(특히 "증강 후 미세 조정" 및 "커리큘럼 학습")은 인페인팅된 액세서리 데이터로부터 상당한 실제 배포 이점을 추출한다.
• 간극 해소: 이러한 방법들은 맨손 훈련 데이터와 액세서리를 착용한 손 배포 시나리오 사이의 분포 차이를 크게 줄인다.
• 한계점: 개선에도 불구하고, 실제 장갑 착용 시 엄격한 IoU 성능(mAP@0.5:0.95)에서 "고집스러운" 간극이 남아 있다. 저자들은 이를 액세서리 착용 손에 대한 박스 타이트니스를 유지하는 어려움 때문으로 보고하며, 향에 대한 개선이 단순히 훈련 스케줄을 조정하는 것이 아니라 합성 생성 파이프라인 자체를 정교화해야 할 것임을 시사한다.

본 연구는 생성형 인페인팅이 기계가 감지할 수 있는 흔적을 남기더라도, 적절히 설계된 다단계 훈련 체계를 통해 통합된다면 직업 안전을 위한 데이터 증강 전략으로서 실행 가능한 방안임을 결론짓는다.