Rethinking Infrastructure Inspection as Image Difference Classification: A Traffic Sign Case Study

기술 요약: 이미지 차이 분류(Image Difference Classification)를 통한 인프라 점검의 재고

문제 정의

도로 인프라 유지보수는 전통적으로 수동 육안 점검에 의존해 왔으며, 도로 디지털 트윈(DT) 프레임워크는 이 과정을 디지털화하는 것을 목표로 합니다. 그러나 AI 기반 점검의 도입은 건축, 엔지니어링 및 건설(AEC) 분야의 공통 과제인 주석 달린 데이터(annotated data)의 부족으로 인해 상당한 제약을 받고 있습니다. 기존의 교통 표지판 유지보수 방식은 다음과 같은 두 가지 결정적인 한계점을 가집니다:

1. 데이터셋의 한계: 기존의 많은 데이터셋은 표지판 면(post와 배경이 결여됨)만을 근접 촬영한 사진을 포함하거나, 거친 상태 라벨링(예: 이진 결함 유/무 또는 단일 결함 유형)을 사용합니다. 현재까지 쌍을 이루는 이미지(paired imagery)를 통해 시간 경과에 따른 상태 추적을 지원하는 방식은 없습니다.
2. 태스크 모델링의 한계: 현재의 방법들은 대개 결함 식별을 단일 이미지 분류 작업으로 취급합니다. 이들은 점검 이미지를 동일한 자산의 과거 참조 이미지와 비교하는 연속적인 자산 모니터링의 관계적 특성을 모델링하지 못합니다. 또한, 여러 결함이 동시에 발생하는 다중 클래스, 다중 라벨(multi-class, multi-label)의 현실을 간과하는 경우가 많습니다.

방법론

본 연구는 결함 식별을 이미지 차이 분류(Image Difference Classification, IDC) 작업으로 재정의합니다. 이미지를 개별적으로 분류하는 대신, 시스템은 동일한 자산에 대해 이전에 촬영된 참조 이미지와 현재의 점검 이미지를 비교합니다. 이 접근 방식은 도로 자산 관리 시스템(AMS)에 존재하는 기존 자산 이미지를 참조용으로 활용함으로써, 추가적인 주석 작업의 필요성을 줄여줍니다.

데이터셋

저자들은 이전의 공백을 메우기 위해 영국 National Highways AMS에서 고품질의 새로운 데이터셋을 구축했습니다:

• 범위: 전체 자산 맥락(표지판 면, 지주, 배경)을 포착하는 970개의 이미지 쌍(참조 + 점검)을 포함합니다.
• 세밀도: 9가지 상태 카테 category(예: 기울어진 지주, 변형된 면, 반달리즘, 오염 등)와 "결함 없음" 플래그를 포함하는 정교한 다중 라벨 주석을 특징으로 합니다.
• 균형: 특정 결함 유형 간의 클래스 불균형은 존재하지만, 데이터셋은 손상된 표지판과 손상되지 않은 표지판 사이의 균형(~4:6)을 유지합니다.

실험 설정

본 연구는 두 가지 태스크를 평가했습니다: 이진 결함 존재 탐지 및 다중 클래스 다중 라벨 결함 분류.

• 저자원 시뮬레이션: 데이터가 제한된 환경을 시뮬레이션하기 위해 퓨샷 학습(few-shot learning) 조건(클래스당 0~8개의 예시) 하에서 성능을 테스트했습니다.
• 파이프라인 아키텍처:
  • 인코더 기반 파이프라인: 비전 인코더(MetaCLIP2를 백본으로 사용)를 사용하는 네 가지 변형을 포함합니다. 여기에는 결합된 임베딩에 대한 선형 분류기, 이미지 간 크로스 어텐션(cross-attention) 메커니즘, 그리고 이미지-텍스트 융합 아키텍처가 포함됩니다.
  • 지시문 기반(Instruction-Based) 파이프라인: 비전 언어 모델(VLM)인 Qwen3-VL-8B를 활용했습니다. 점검 이미지와 참조 이미지를 사용자 프롬프트에 삽입하여 참조 이미지를 가이드로 사용하도록 지시하였고, 시스템 프롬프트에는 텍스트 클래스 설명을 제공했습니다.
• 대조군(Control): 공정한 비교를 위해 모든 파이프라인은 동일한 훈련 이미지를 사용했습니다. 훈련 세트의 참조 이미지는 모든 모델에 대해 의사(pseudo) "결함 없음" 예시로 처리되었으며, 이를 통해 성능 향상이 추론 시의 맥락 때문이지 인공적인 훈련 데이터 양의 증가 때문이 아님을 보장했습니다.

주요 결과

1. 결함 존재 탐지

• 성능: 이진 탐지는 더 단순한 작업이기에 대부분의 파이프라인이 매우 적은 예시만으로도 높은 F1 점수(~0.9)를 달성했습니다.
• 참조의 효용성: 인코더 기반 파이프라인은 참조 이미지를 추가했을 때 일관되지 않은 결과를 보였으며, 종종 단일 이미지 베이스라인보다 성능이 저하되었습니다. 반면, 지시문 기반 파이프라인은 일관되게 모든 인코더 기반 모델보다 우수한 성능을 보였으며, 단 1-shot만으로 F1 > 0.9를 달성했습니다.
• 교정(Calibration): 훈련되지 않은 지시문 기반 모델(0-shot)은 성능이 낮았으나(F1 ~0.007), 거의 모든 이미지를 결함이 있는 것으로 분류했습니다. 그러나 클래스당 단 하나의 예시만으로 미세 조정(fine-tuning)을 수행하면 모델이 "교정"되어 성능이 0.905까지 상승했습니다.

2. 결함 분류 (다중 클래스 다중 라벨)

• 복잡성: 작업의 복잡성으로 인해 전반적인 점수는 더 낮았습니다. 인코더 기반 파이프라인은 F1 0.5를 넘기기 어려워한 반면, 지시문 기반 파이프라인은 0.6을 약간 상회했습니다.
• 참조의 효용성: 지시문 기반 파이프라인은 모든 샷 설정에서 참조 이미지 포함을 통해 일관된 이득을 얻었습니다(이득 범위: +0.008 ~ +0.038). 특히, 이 모델의 1-shot 성능은 인코더 기반 파이프라인의 8-shot 성능을 능가했습니다.
• 통계적 유의성: 쌍체 t-검정(paired t-test) 결과, 지-시문 기반 파이프라인의 참조 이미지 활용 이득은 1-shot 및 8-shot 설정에서 통계적으로 유의미했습니다(p < 0.01). 다만, 2-shot 및 4-shot에서는 퓨샷 불안정성으로 인해 유의성이 다소 낮았습니다.

3. 절제 연구 (Ablation Studies)

• 모델 크기: 인코더 백본 크기를 2B(MetaCLIP2)에서 7B(DINOv3)로 늘려도 성능 격차를 좁히지 못했습니다. 8B 규모의 지시문 기반 모델이 여전히 더 큰 인코더보다 우수한 성능을 보였는데, 이는 파라미터 수가 성공의 유일한 결정 요인이 아님을 시사합니다.
• 의사 결함(Pseudo Defects): 지시문 기반 파이프라인에서 "의사 결함 없음" 훈련 전략을 제거하더라도 단일 이미지 베이스라인보다 성능 향상이 나타났으며, 이는 IDC 접근 방식의 견고함을 확인시켜 줍니다.

의의 및 주장

본 논문은 **이미지 차이 분류(IDC)**가 지속적인 인프라 점검 및 도로 DT 자산 상태 업데이트를 위한 효과적인 태스크 모델링 전략이라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 데이터 효율성: IDC는 기존의 역사적 자산 이미지를 참조로 활용할 수 있게 하여, 대규모의 새로 주석을 달아야 하는 데이터셋에 대한 의존도를 낮춥니다.
2. 태스크 정식화: 실세계 결함의 다중 클래스, 다중 라벨 특성과 상태 추적의 시간적 측면을 성공적으로 해결합니다.
3. 모델 아키텍처: 본 연구는 지시문 기반 VLM이 최소한의 "교정" 미세 조정(클래스당 단 한 개의 예시만으로도 가능)을 거칠 경우, 특정 작업에서 인코더 기반 모델보다 우수함을 입증합니다.

저자들은 퓨샷 학습이 불안정성을 유발할 수 있지만, 지시문 기반 분류기가 참조 이미지를 활용하여 근거 있는 분류를 수행할 수 있는 능력이 IDC를 데이터 제약이 있는 인프라 모니터링의 실행 가능한 솔루션으로 만든다고 결론지었습니다. 향고 연구로는 퓨샷 변동성을 안정화하기 위한 더 큰 데이터셋 테스트와 표지판당 여러 개의 참조 이미지를 사용하는 방안이 제시되었습니다.