Beyond Nearest Neighbor Interpolation in Data Augmentation

기술 요약: 데이터 증강에서 최단 거리 보간을 넘어선 접근

문제 제기
현재 의미 분할 및 객체 감지를 위한 딥러닝 파이프라인은 모델의 일반화 성능을 향상시키기 위해 데이터 증강에 크게 의존하고 있습니다. 그러나 표준 기하학적 변환은 정의되지 않은 픽셀 값을 방지하기 위해 범주형 레이블 (마스크) 에 대해서는 **최단 거리 보간 (Nearest-Neighbor Interpolation, NNI 또는 NPI)**을 주로 사용하는 반면, 이미지 데이터에는 2 차 이상의 방법 (예: 양선형, 양입방) 을 적용합니다. 저자는 이러한 NNI 의존성이 두 가지 치명적인 위험을 초래한다고 주장합니다:

1. 주석 오류의 악화: NNI 는 반올림 함수에 의존하여 무거운 "계단식 에지 (jagged edge)" 아티팩트를 생성하며, 이로 인해 클래스 경계와 객체 경계 간의 불일치가 발생하여 기존 픽셀 단위 주석의 불완전성이 더욱 심화됩니다.
2. 구조적 세부 정보의 손실: NNI 는 정의되지 않은 레이블을 피하지만, 고주파수 구조적 세부 정보가 저하될 위험은 무시합니다. 반면, 이미지에 사용되는 표준 추가 픽셀 보간 (EPI) 알고리즘 (양선형, 양입방) 은 저역 통과 필터링 효과를 도입하여 주석 영역 내의 구조적 세부 정보를 저하시킬 수 있습니다.

기존 문헌은 주석의 불확실성이나 레이블 노이즈를 다루었지만, 증강 과정에서 NNI 가 분할 모델 성능에 미치는 구체적인 부정적 영향이나 범주형 레이블에 EPI 알고리즘을 적용할 수 있는 잠재적 이점에 대해서는 충분히 조사하지 않았습니다.

방법론
저자는 마스크에 대한 표준 NNI 를 EPI 알고리즘으로 대체하고, 그 결과 발생하는 정의되지 않은 범주형 레이블을 처리하는 메커니즘을 결합한 수정된 데이터 증강 파이프라인을 제안합니다.

• 수정된 기하학적 변환: 표준 imwarp 함수를 수정하여 범주형 마스크를 변환할 때 NNI 로 제한되지 않고 양선형 및 양입방과 같은 EPI 알고리즘을 사용할 수 있도록 합니다.
• 평균 기반 클래스 필터링 (전역 필터 - GF): 마스크에 EPI 를 사용할 때 "원하지 않는" 픽셀 값 (정의되지 않은 레이블) 이 생성될 위험을 완화하기 위해, 필터링 메커니즘을 증강 과정에 직접 통합합니다. 이진 분할의 경우, 이 전역 필터는 변환된 마스크의 픽셀 값 평균 ($\mu$) 을 임계값으로 사용합니다:
  • 픽셀 값 $P(x,y) > \mu$인 경우, 전경 클래스 (255) 로 설정합니다.
  • $P(x,y) \le \mu$인 경우, 배경 클래스 (0) 로 설정합니다.
  • 원래의 0 또는 255 값은 보존됩니다.
  • 참고: 해당 논문은 이 구현이 이진 작업에서 테스트되었음을 인정하지만, 클래스별 임계값 설정을 통해 다중 클래스 시나리오로 확장할 수 있음을 시사합니다.
• 오프라인 증강 파이프라인: 보간 특화 증강 데이터셋을 생성하기 위해 오프라인 파이프라인이 구현되었습니다. 이를 통해 저역 통과 필터링 효과에 대한 통제된 정량적 평가가 가능했습니다. 이 파이프라인은 각 원본 학습 이미지당 두 개의 증강 복사본을 생성했습니다.
• 데이터셋 및 모델:
  • 의미 분할: U-Net, SegNet, DeepLabV3+(ResNet50 백본 포함) 를 사용하여 세 가지 의료 영상 데이터셋 (유방 조직학, MRI 뇌, 결장 용종) 에서 평가되었습니다.
  • 객체 감지: YOLOv26 을 사용하여 XBAT+ 데이터셋 (배터리-WEEE 식별) 에서 평가되었습니다.
• 평가: 성능은 정확도 (Accuracy), 재현율 (Recall), 정밀도 (Precision), 교차율 (IoU), F1 점수 (BF1), meanBFScore, Dice 점수, mAP@50 을 사용하여 측정되었습니다. 결과는 원시 점수와 순위 기반 합을 통해 분석되어 성능 차이를 시각화했습니다.

주요 기여

1. 마스크에 대한 NNI 거부: 이 연구는 마스크 증강을 위한 NNI 의 관례적 사용을 도전하며, 정의되지 않은 레이블을 위한 유일한 해결책이 아니며 주석 오류를 악화시켜 성능을 저하시킨다는 점을 입증합니다.
2. 통합 필터링 메커니즘: 정의되지 않은 클래스를 생성하지 않고 범주형 레이블에 EPI 알고리즘을 안전하게 사용할 수 있도록 하는 내부 평균 기반 필터링 메커니즘 (GF) 을 제안합니다.
3. 오프라인 증강 프레임워크: 다양한 보간 방법 (NPI 대 EPI) 이 모델 성능과 구조적 세부 정보 보존에 미치는 영향을 직접 비교할 수 있도록 보간 특화 학습 데이터를 생성 및 저장하는 오프라인 파이프라인을 구축했습니다.
4. 종합적 경험적 분석: 최적의 보간 전략을 결정하기 위해 여러 아키텍처 (U-Net, SegNet, DeepLabV3+, YOLOv26) 와 다양한 데이터셋 (의료 및 산업) 에 걸쳐 체계적인 평가를 수행했습니다.

실험 결과
이 연구는 아키텍처와 작업에 따라 결과가 혼재되어 있었으나 통찰력을 제공했습니다:

• 의미 분할:
  • U-Net 과 SegNet: BIC_BIC 구성 (이미지와 마스크 모두 양입방 보간) 이 대부분의 지표 (정확도, Dice, IoU, meanBFScore) 에서 전통적인 NEA_NEA(모두 최단 거리 보간) 보다 일반적으로 우수한 성능을 보였으며, 특히 뇌와 결장 데이터셋에서 두드러졌습니다. 정성적 결과에 따르면 BIC_BIC 마스크는 더 컴팩트하고 정답에 가까웠으며, NEA_NEA 는 오탐지 영역을 도입했습니다.
  • DeepLabV3+: 결과는 덜 명확했습니다. 순위 기반 합은 때때로 NEA_NEA 를 선호했으나, 원시 점수 표에 따르면 하이브리드 구성 (예: NEA_BIL 또는 NEA_BIC) 이 종종 최상의 성능을 달성하여 최적 전략이 아키텍처에 의존함을 시사했습니다.
• 객체 감지 (YOLOv26):
  • 양입방 (BIC) 증강은 RGBD 및 HQD 데이터셋 모두에서 가장 높은 mAP@50과 정밀도를 제공하여 더 확신 있고 깨끗한 검출을 생성했습니다.
  • 양선형 (BIL) 증강은 일관되게 가장 높은 재현율을 기록하여 더 많은 객체를 감지했으나 BIC 에 비해 정밀도가 약간 낮았습니다.
  • NEA는 일반적으로 mAP 및 정밀도 측면에서 EPI 방법보다 낮은 성능을 보였습니다.

의의 및 주장
이 논문은 기하학적 변환에서 보간 알고리즘의 선택이 중립적인 전처리 단계가 아니라 모델 성능에 영향을 미치는 결정적 요소라고 주장합니다.

• 성능 향상: 이 연구는 적절한 필터링과 결합될 때 NNI 를 넘어 EPI 알고리즘으로 전환하면 여러 정량적 지표에서 성능 향상을 얻을 수 있음을 입증합니다.
• 구조 보존: 제안된 프레임워크는 주석 오류 악화를 줄이고 주석 영역 내 고주파수 구조적 세부 정보를 보존하는 데 기여합니다.
• 맥락 의존적 최적화: 이 연구는 "최고의" 보간 전략이 보편적이지 않으며 특정 CNN 아키텍처와 데이터셋 특성에 따라 달라짐을 강조합니다. 예를 들어, U-Net 과 SegNet 은 전체 EPI(BIC_BIC) 로부터 상당한 혜택을 받은 반면, DeepLabV3+ 는 다양한 결과를 보였으며 YOLOv26 은 정밀도 (BIC 선호) 와 재현율 (BIL 선호) 간의 트레이드오프를 보여주었습니다.
• 미래 적용 가능성: 저자는 제안된 프레임워크가 다른 모델 아키텍처 및 영상 데이터셋으로 확장 가능하다고 결론지으며, 데이터 증강 파이프라인에서 최단 거리 보간을 기본값으로 삼기보다는 유연한 보간 선택을 옹호합니다.