Benchmarking and Stress-Testing Off-the-Shelf Vision Embeddings for Surface Re-Identification in Open-Source Intelligence

기술 요약: OSINT에서의 표면 재식별을 위한 기성 비전 임베딩 벤치마킹

문제 정의
오픈 소스 인텔리전스(OSINT)는 익명의 이미지를 특정 위치와 연결하기 위해 물리적 표면(예: 화강암 카운터탑, 나뭇결, 직물 짜임)을 사진상에서 매칭하는 작업에 점점 더 의존하고 있습니다. 사전 학습된 비전 모델(예: CLIP, DINOv2 또는 CNN)이 높은 신뢰도(종종 "94.7% 정확도"와 같은 수치를 인용하며)로 이러한 매칭을 수행할 수 있다는 대중적인 프레임은, 정밀한 벤치마킹, 명확한 작업 정의, 또는 부정 제어(negative controls)가 결여된 경우가 많습니다. 본 논문은 이러한 현상적 확신과 실증적 성능 사이의 간극을 메우기 위해, 정밀하게 정의된 표면 재식별 작업에서 이러한 기성 모델들이 실제로 무엇을 달성하는지 측정합니다.

방법론
본 연구는 표면 재식별을 많은 다양한 표면들이 포함된 갤러리로부터 동일한 물리적 표면 인스턴스의 이미지를 검색하는 작업으로 정의합니다. 평가는 44개의 물리적 표면 인스턴스(11개 재질, 재질당 4개의 별도 샘플)를 포함하는 4,752개의 이미지로 구성된 KTH-TIPS2-b 텍스처 데이터베이스를 활용합니다. 결정적으로, 이 데이터셋은 "하드 네거티브(hard negatives)"를 포함하고 있습니다. 즉, 동일한 재질의 서로 다른 샘플(예: 서로 다른 두 개의 울 스와치) 이미지는 쿼리와 구별되어야 합니다.

저자들은 미세 조정(fine-tuning)이나 메트릭 학습(metric learning)이 없는 동결된 특징 추출기로서 일곱 가지 변형의 기성 백본을 평가합니다:

• CLIP: ViT-B/32 및 ViT-L/14.
• DINOv2: ViT-S/14, ViT-L/14, 그리고 네이티브 518px 해상도의 ViT-S/14.
• CNNs: ResNet-50 및 EfficientNet-B0.

모든 모델은 (네이티브 DINOv2 변형을 제외하고) 공통된 224픽셀 입력을 사용하여 L2 정규화된 풀링 임베딩에 대한 코사인 유사도로 테스트되었습니다. 평가는 표준 검색 지표(Rank-1, Recall@5, 평균 정밀도[mAP])와 검증 지표(ROC-AUC, 등가 오류율[EER])를 사용합니다. 또한 쿼리와 매치 이미지가 서로 다른 줌 레벨에서 촬영되는 OSINT 시나리오를 시뮬레이션하기 위해 특정 **교차 스케일 분석(cross-scale analysis)**을 수행했습니다. 통계적 유의성은 쌍체 윌콕슨 부호 순위 검정(paired Wilcoxon signed-rank tests)과 95% 부트스트랩 신뢰 구간을 사용하여 결정되었습니다.

주요 결과

1. 랭킹 vs. Top-1 성능: 모든 모델에서 Rank-1 정확도는 높게 나타나는 반면(94.3% ~ 98.1%), Recall@5는 99.4%를 상회하지만, 평균 정밀도(mAP)는 현저히 낮습니다(0.505 ~ 0.646). 이는 단일 최적 매치가 종종 정확하더라도, 심층적인 랭킹 리스트에는 동일한 재질의 다른 샘플을 포함한 잘못된 표면들이 빈번하게 섞여 있음을 의미합니다.
2. 모델 계열의 우월성: DINOv2 모델들은 CLIP을 포함한 다른 계열보다 뛰어난 성능을 보였습니다. 특히, 가장 작은 DINOv2 모델(ViT-S/14, mAP 0.604)은 훨씬 더 큰 CLIP ViT-L/14(mAP 0.590)보다 성능이 우수했습니다. 전체에서 가장 우수한 성능을 보인 모델은 DINOv2 ViT-L/14로, Rank-1 98.1%, mAP 0.646, AUC 0.973을 달성했습니다.
3. 실제 환경 조건에서의 한계:
   • 교차 스케일 저하: 쿼리와 갤러리 이미지가 서로 다른 줌 레벨일 때, 모든 모델에서 mAP가 하락합니다(예: DINOv2 ViT-L/14는 0.646에서 0.631으로 하락).
   • 재질 의존성: 성능은 재질에 따라 급격히 달라집니다. 매끄럽고 경면 반사가 있는 표면(예: 알루미늄 호일, 흰 빵)은 매칭하기가 훨씬 어려워 mAP가 0.489까지 낮아지는 반면, 패턴이 강한 표면(예: 상추 잎, mAP 0.840)은 상대적으로 용이합니다.
4. 검증의 한계: 최상의 모델조차 7.2%의 등가 오류율(EER)을 가집니다. 이는 균형 잡힌 작동 지점에서 약 14번 중 1번의 결정이 틀릴 수 있음을 의미합니다.

주요 기여

• 재현 가능한 벤치마크: 본 논문은 물리적 샘플을 식별 단위로 삼고, 동일 재질-다른 샘플 쌍을 하드 네거티브로 활용하는 KTH-TIPS2-b 기반의 재현 가능한 벤치마크를 구축했습니다.
• 정직한 평가: CLIP, DINOv2, ResNet-50, EfficientNet-B0를 동결된 임베더로서 엄격하고 통계적으로 검증된 방식으로 평가하였으며, 신뢰 구간과 함께 검색 및 검증 지표를 보고했습니다.
• 교차 스케일 및 재질 분석: 줌 변화와 재질 특성의 영향을 분리하여, 표면 매칭이 신뢰할 수 있는 지점과 실패하는 지점을 입증했습니다.
• 일반적인 조언의 교정: 텍스처 매칭을 위해 CLIP을 사용하라는 일반적인 권고를 뒤집고, 모델 크기와 관계없이 자기 지도 학습 모델(DINOv2)이 더 우수함을 입증했습니다.

의의 및 주장
본 논문은 기성 비전 임베딩이 인간 분석가를 위한 리드 생성기(lead generator)로서 유용하지만, 자동화된 식별을 위한 무조건적인 정확도 주장을 뒷받침하지는 못한다고 결론짓습니다. 높은 Rank-1 정확도는 이러한 도구들이 인간이 확인할 강력한 후보를 찾아낼 수 있음을 시사하지만, 낮은 mAP와 상당한 EER은 특히 다른 줌 레벨이나 매끄러운 표면에서 이들이 단독 증거로서 신뢰할 만한 수준은 아님을 나타냅니다.

저자들은 "94.7% 정확도"라는 수치가 맥락 없이 사용될 경우 오해의 소지가 있다고 강조합니다. OSINT 실무를 위한 적절한 요약은 이러한 모델들이 인간의 검증이 필요한 '단서'를 생성한다는 것입니다. 또한, 표면 매칭 작업에 있어서는 텍스트 정렬 모델(CLIP)보다 자기 지도 학습 모델(DINOv2)이 더 작은 모델이라 할지라도 더 큰 텍스트-이미지 모델보다 우수하므로, DINOv2를 기본 모델로 권장합니다. 보고된 모든 수치는 실행 스크립트를 통해 재현 가능하며 하드웨어 독립적임이 확인되었습니다.