기술 요약: CNN 기반 벽돌 균열 탐지를 위한 실제 데이터와 합성 데이터의 균형 조절

문제 정의

벽돌 구조물의 균열 식별은 구조물 건강 모니터링(SHM)의 핵심 요소로, 건물 손상 및 사고를 예방하기 위한 조기 지표 역할을 합니다. 딥러닝(DL), 특히 합성곱 신경망(CNN)과 시맨틱 세그멘테이션(semantic segmentation)은 자동화된 균열 탐지를 위한 확장 가능한 솔루션을 제공하지만, 이러한 모델은 방대하고 다양한 데이터셋에 크게 의존합니다. 복잡한 표면을 가진 벽돌과 같은 대상에 대해 충분한 실제 데이터를 수집하는 것은 시간과 노동력이 많이 소요됩니다. 또한, 공개적으로 사용 가능한 데이터셋은 엄격한 연구에 필요한 특수성이 부족한 경우가 많습니다. 기존의 합성 데이터 생성 방식은 트레이드오프를 보입니다. 생성적 적대 신경망(GAN)은 고충실도 질감을 생성할 수 있지만 도메인 전문가의 감독이 부족하여 배경 구조물 대비 비현적인 균열 표현을 초래하는 경우가 많으며, 3D 모델링 접근 방식은 상당한 전문 지식을 요구하고 미적 정교함이 부족할 수 있습니다.

방법론

저자들은 제한된 실제 데이터셋을 보완하기 위해 합성 균열 이미지를 생성하여 데이터 부족 문제를 해결하는 파이프라인을 제안합니다. 방법론은 다음 네 단계로 구성됩니다:

1. 데이터 수집:

   • 실제 데이터: 볼로냐 및 주변 지역의 건물에서 표준 스마트폰(Oppo Reno 6 Pro, iPhone 12 & 13)을 사용하여 주광 조건에서 수집한 맞춤형 벽돌 균열 이미지 데이터셋.
   • 합성 데이터: 고해상도 벽돌 배경 이미지 위에 반투명 균열 마스크를 오버레이하는 커스텀 Python 기반 도구(Tkinter GUI 포함)를 개발하였습니다. 이 도드는 제어된 공간 배치, 임의의 회전 및 스케일 일관성을 허용하며, 내보내기 시 원본 해상도를 유지합니다.

2. 데이터 전처리:

   • 해상도를 표준화하기 위해 원본 이미지를 $224 \times 224$ 패치로 크롭하였습니다.
   • 픽셀 단위 주석(annotation)을 통해 그라운드 트루스(ground-truth) 마스크를 생성하였습니다.
   • 훈련 세트를 확장하기 위해 데이터 증강(플립 및 $90^\circ$ 회전)을 적용하였습니다.
   • 사전 학습된 백본과의 호환성을 보장하기 위해 ImageNet 통계치를 사용하여 이미지를 정규화하였습니다.

3. 모델 아키텍처:

   • 스킵 연결(skip connections)을 갖춘 U-Net 인코더-디코더 아키텍처를 채택하였습니다.
   • 7가지 서로 다른 백본 아키텍처를 평가하였습니다: Custom U-Net, VGG16, MobileNetV2, ResNet50, DenseNet169, InceptionV4, 그리고 DeepLabV3.
   • 대부분의 백본은 사전 학습된 가중치를 활용하였습니다.

4. 실험 설정:

   • 실제 데이터셋을 훈련(60%), 검증(20%), 테스트(20%) 세트로 분할하였습니다.
   • 합성 데이터는 가장 성능이 좋은 모델의 훈련 세트에만 도입되었습니다.
   • 세 가지 손실 함수(F1-Loss, Focal Loss, 그리고 Cross-Entropy와 Dice Loss의 조합인 CED)를 테스트하였습니다.
   • 훈련은 조기 종료(early stopping)와 함께 100 에포크(epochs)로 제한되었습니다.

주요 기여

• 커스텀 데이터셋 구축: 연구팀은 DL 효율성을 엄격하게 테스트하기 위해 재료의 복잡성을 고려한 특정 벽돌 균열 이미지 데이터셋을 수집하고 레이블링했습니다.
• 합성 생성 도구: 저자들은 균열 마스크를 벽돌 텍스처 위에 겹치는 단순화된 커스텀 이미지 처리 방식을 개발했습니다. 복잡한 GAN이나 3D 렌더링과 달리, 이 방식은 특정 파라미터를 사용하여 균열을 제어된 방식으로 삽입할 수 있게 해줍니다.
• 데이터 비율 평가: 본 연구는 합성 데이터로 증강되었을 때 실제 데이터만 사용하는 베이스라인의 성능을 달성하거나 초과하기 위해 필요한 최소한의 실제 데이터 양을 결정하는 평가 프레임워크를 제안합니다.

결과

실험은 두 단계로 진행되었습니다:

1. 모델 선택: 실제 데이터만을 사용하여 다양한 U-Net 아키텍처를 비교하였습니다. InceptionV4가 가장 우수한 성능을 보였으며, 74.7%의 F1-score와 78.69%의 mean IoU(F1-Loss 사용 시)를 달성했습니다. 이 모델은 후속 실험을 위한 베이스라인으로 사용되었습니다.

2. 합성 대 실제 데이터의 균형: InceptionV4 모델을 다양한 합성 대 실제 데이터 비율(100% 합성부터 100% 실제까지)로 재학습시켰습니다.

   • 100% 합성 데이터: 합성 훈련과 실제 테스트 사이의 도메인 차이로 인해 성능이 저조했습니다 (F1 31.6%, mIoU 57.68%).
   • 20/80 시나리오 (합성 20% / 실제 80%): 이 구성이 가장 높은 성능을 나타냈으며, 76.82%의 F1-score와 80.36%의 mean IoU를 달성했습니다.
   • 80/20 시나리오 (합성 80% / 실제 20%): 이 시나리오는 73.48%의 F1-score와 78.17%의 mean IoU를 기록하며 실제 데이터만 사용했을 때의 베이스라인과 유사한 결과를 얻었습니다.

결과는 합성 데이터와 적절한 양의 실제 데이터(20%)를 결 조합하면 실제 데이터만 사용할 때보다 성능을 높일 수 있음을 보여줍니다. 반대로, 80%의 합성 데이터와 20%의 실제 데이터로 구성된 데이터셋은 100% 실제 데이터셋의 성능과 대등한 수준에 도달할 수 있습니다.

의의 및 주장

본 논문은 제안된 방법이 데이터 수집 및 레이블링에 드는 노력을 크게 줄이면서도 균열 탐지 정확도를 향상시킬 수 있는 합성 데이터의 잠재력을 입증한다고 주장합니다. 복잡한 생성 모델 대신 단순한 오버레이 도구를 사용함으로써, 저자들은 실제 데이터와 합성 데이터의 균형 잡힌 조합이 실제 데이터만을 사용할 때보다 세그멘테이션 지표(F1-score 및 mIoU)를 개선할 수 있음을 보여주었습니다. 특히, 본 연구는 20/80 시나리오(합성/실제)가 실제 데이터 전용 베이스라인의 성능을 따라잡을 뿐만 아니라 약간 상회한다는 점을 강조하며, 이는 합성 데이터가 제한된 실제 세계의 벽돌 균열 탐지 데이터셋을 효과적으로 증강할 수 있음을 시사합니다.