Frozen Vision Transformers for Dense Prediction on Small Datasets: A Case Study in Arrow Localization

1. 문제 정의 (Problem Statement)

• 배경: 국제 아치리 (World Archery) 규정에 따르면, 화살이 표적의 어느 고리 (링) 에 맞았는지에 따라 점수가 결정됩니다. 기존 수동 점수 기록은 단순한 점수 (스칼라 값) 만 남기고, 화살의 물리적 위치가 가진 공간적 정보 (정밀도, 조준 편향, 추세 등) 를 무시합니다.
• 목표: 40cm 실내 아치리 표적 사진에서 화살 구멍을 자동으로 탐지하고, 표적 중심을 기준으로 1mm 미만의 정밀도로 위치를 파악하며, 공식 라인 컷팅 규칙에 따라 점수를 계산하는 딥러닝 시스템 구축.
• 주요 난제:
  1. 소규모 데이터셋: 수천 장이 아닌 수십 장 (약 48 장) 의 이미지로 학습해야 함.
  2. 기하학적 왜곡: 카메라 각도 불완전으로 인한 원형 링의 타원 왜곡.
  3. 극심한 클래스 불균형: 표적 대비 화살 구멍이 매우 작음.
  4. 복합 구멍: 여러 화살이 같은 위치에 겹쳐 찢어진 경우 개별 구멍 분리가 어려움.

2. 방법론 (Methodology)

저자들은 소규모 데이터셋에서 과적합을 방지하면서도 고정밀 위치 추적을 달성하기 위해 전통적인 컴퓨터 비전 기하 보정과 현대적인 전이 학습 (Transfer Learning) 을 결합한 파이프라인을 제안했습니다.

A. 캐노니컬 보정 파이프라인 (Canonical Rectification Pipeline)

• 목적: 학습 시작 전, 왜곡된 이미지를 표준화된 좌표계로 변환하여 기하학적 변동을 제거합니다.
• 과정:
  • CIELAB 색 공간에서 표적의 색상 경계 (노랑 - 빨강, 빨강 - 파랑 등) 를 감지하여 4 개의 타원을 피팅합니다.
  • 이 타원들을 기반으로 방사형 왜곡 (Radial warp) 을 수행하여 표적 중심이 이미지 중앙에 있고 링이 동심원이 되는 2048x2048 크기의 표준 이미지를 생성합니다.
  • 이를 통해 픽셀 거리가 실제 밀리미터 측정값 (약 0.195mm/pixel) 에 직접 대응되도록 합니다.

B. 모델 아키텍처 (Model Architecture)

전체 파라미터 308M 중 학습 가능한 파라미터는 3.8M에 불과하며, 나머지는 고정 (Frozen) 되어 있습니다.

1. 고정된 특징 추출기 (Frozen Feature Extraction):
   • DINOv3 (ViT-L/16) 을 백본으로 사용. 사전 학습된 자기 지도 학습 (Self-supervised) 특징을 활용하여 소규모 데이터셋에서도 과적합 없이 풍부한 시각적 특징을 추출합니다.
   • 입력 이미지 (2048x2048) 를 512x512 로 리사이즈하여 32x32 패치 토큰을 생성합니다.
2. 가이드된 업샘플링 (Guided Upsampling):
   • AnyUp 모듈을 사용하여 32x32 의 저해상도 특징을 고해상도 (512x512) 로 업샘플링합니다.
   • 고해상도 가이드 이미지 (1024x1024) 를 사용하여 특징 맵의 공간적 정밀도를 유지하면서 시맨틱 내용을 보존합니다.
3. 탐지 헤드 (Detection Heads):
   • Heatmap Head: 화살 중심의 확률 분포 (히트맵) 를 예측. CenterNet 스타일의 가우시안 포컬 로스 사용.
   • Offset Head: 픽셀 단위 오차를 보정하기 위한 서브픽셀 오프셋 (dx, dy) 을 예측. (후속 실험에서 이 헤드의 유용성이 낮음이 밝혀짐).

C. 학습 전략

• 데이터 증강: 360 도 회전, 아핀 변환, 조명/색상 교란 등 공격적인 증강을 적용하여 48 장의 데이터로 일반화 성능을 극대화했습니다.
• 하이퍼파라미터 최적화: Optuna 를 사용하여 학습률, 로스 함수 파라미터 (Focal loss $\alpha, \beta$), 가우시안 시그마 등을 3 폴드 교차 검증을 통해 최적화했습니다.

3. 주요 기여 (Key Contributions)

1. 소규모 데이터셋을 위한 고정된 비전 트랜스포머 유효성 입증: DINOv3 와 같은 대규모 자기 지도 학습 모델을 백본으로 고정하고, 경량 헤드로만 학습하는 방식이 소규모 데이터 (48 장) 에서도 밀집 예측 (Dense Prediction) 과 고정밀 위치 추적을 가능하게 함을 증명했습니다.
2. 기하 보정 파이프라인: 학습 모델이 기하학적 왜곡을 학습할 필요 없이, 전처리 단계에서 이를 해결함으로써 모델의 복잡도를 줄이고 물리적 좌표계로의 직접적인 매핑을 가능하게 했습니다.
3. 가이드된 업샘플링의 효과: AnyUp 을 통해 저해상도 트랜스포머 특징을 고해상도 공간 정밀도로 변환하여, 서브밀리미터 수준의 위치 추적을 달성했습니다.
4. 오프셋 헤드의 불필요성 발견: 기존 CenterNet 과 달리, 가이드된 업샘플링이 공간 정밀도를 이미 충분히 해결해 주므로, 오프셋 회귀 헤드는 오히려 노이즈를 추가하여 위치 정확도를 떨어뜨린다는 역설적 발견을 했습니다.

4. 실험 결과 (Results)

• 데이터셋: 48 장의 고해상도 실내 표적 사진, 총 5,084 개의 화살 구멍 레이블.
• 성능 지표 (3 폴드 교차 검증 평균):
  • F1 Score: 0.893 ± 0.011
  • 정밀도 (Precision): 0.951
  • 재현율 (Recall): 0.841
  • 평균 위치 오차 (Localization Error): 1.41 ± 0.06 mm
• 오프셋 헤드 제거 효과: 오프셋 헤드를 제거한 '히트맵 전용' 구성이 오히려 위치 오차를 1.56mm 에서 1.41mm 로 개선했습니다.
• 기존 연구 비교: Kim et al. [5] 의 1.77mm 오차 (야외, 풀스케일 CNN) 보다 더 정밀한 결과를 달성했습니다. (단, 표적 크기와 환경 차이는 존재함).
• 하류 작업 (Downstream Metrics):
  • 평균 점수 예측 오차: 2.6% (편향 거의 없음).
  • 화살 군집 (Group) 중심 오차: 4.90mm (링 폭 20mm 이내로 조준 편향 식별 가능).

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 데이터 효율성: 수천 장의 데이터가 아닌 수십 장의 데이터로도 고정밀 객체 탐지가 가능함을 보여주어, 의료, 산업 검사 등 데이터 수집이 어려운 분야의 밀집 예측 작업에 새로운 패러다임을 제시했습니다.
  • 실용성: 자동 점수 기록뿐만 아니라 아티스트의 정밀도 분석, 조준 편향 교정 등 선수 개발에 필수적인 공간 통계를 자동으로 추출할 수 있습니다.
• 한계:
  • 일반화: 단일 선수, 단일 장소, 40cm 실내 표적만 사용되었으므로 조명, 카메라, 표적 마모 상태가 다른 환경에서는 추가 검증이 필요합니다.
  • 복합 구멍: 화살이 겹쳐 찢어진 경우 (Compound punctures) 탐지 실패율이 높습니다.
  • 테스트셋: 완전히 분리된 홀드아웃 테스트셋이 없어 과적합 위험이 완전히 배제되지는 않았습니다.

결론

이 논문은 고정된 자기 지도 학습 비전 트랜스포머 (DINOv3) 와 기하 보정, 가이드된 업샘플링을 결합하여 소규모 데이터셋에서도 고정밀 화살 위치 추적 시스템을 구축할 수 있음을 증명했습니다. 특히, 오프셋 헤드가 불필요할 수 있다는 발견은 고해상도 업샘플링 기법이 공간 정밀도 문제를 해결하는 데 더 효과적일 수 있음을 시사합니다.