💻 computer science

KnifeHunter: Structured Local Representation Learning for Fine-Grained Knife Image Retrieval in Law Enforcement

이 논문은 CoRe-Net 아키텍처와 대규모 데이터셋을 특징으로 하는 실용적인 포렌식 검색 시스템인 KnifeHunter를 소개하며, 이는 확장 가능하고 정확도 높은 미세 칼날 식별을 가능하게 하고 영국 법 집행 기관에서 작전 정보 수집 및 출처 추적을 위해 성공적으로 배치되었습니다.

원저자: Syed Sameed Husain, Eng-Jon Ong, Stephen Simpson, Trevor Hamshere, Matt Turner, Miroslaw Bober

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Syed Sameed Husain, Eng-Jon Ong, Stephen Simpson, Trevor Hamshere, Matt Turner, Miroslaw Bober

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 건초더미 속에서 특정한 바늘 하나를 찾으려 한다고 상상해 보십시오. 하지만 그 건초더미는 다른 바늘들로 만들어져 있으며, 당신이 찾는 바늘은 옆면에 아주 작고 독특한 흠집이 있어 다른 것들과는 확연히 다릅니다. 이것이 바로 컴퓨터가 이미지를 '보고' 이해하는 법을 배우는 인공지능의 한 분야인 컴퓨터 비전의 세계입니다. 보통 이러한 시스템은 "저것은 개다" 또는 "저것은 자동차다"와 같이 큰 사물을 식별하는 데 매우 뛰어납니다. 하지만 거의 똑같이 생긴 쌍둥이를 구별해야 할 때, 예를 들어 손잡이에 아주 미세한 패턴이 있는 것 외에는 완전히 똑같이 생긴 두 자루의 칼을 구별해야 할 때, 컴퓨터는 혼란에 빠집니다. 이를 **미세 분류 검색(fine-grained retrieval)**이라고 합니다. 이는 범죄 현장에서 발견된 칼을 거대한 카탈로그 속의 특정 모델과 대조하여 그 출처를 파악해야 하는 경찰과 수사관들에게 매우 큰 도전 과제입니다. 만약 이 과정을 빠르게 수행하지 못한다면, 수사는 지연되고 범죄를 저지하는 일 또한 더 어려워집니다.

이러한 문제를 해결하기 위해 만들어진 새로운 디지털 탐정 도구, **나이프헌터(KnifeHunter)**가 등장했습니다. 이 연구진은 범죄 현장의 사진은 어둡거나, 흐릿하거나, 배경에 자(ruler)나 봉투가 있거나, 혹은 칼의 일부만 보이는 등 매우 지저le한 경우가 많아 칼 사진을 분석하는 것이 까다롭다는 점을 깨달았습니다. 컴퓨터가 이러한 상황을 처리할 수 있도록 가르치기 위해, 그들은 **나이프헌터 데이터셋(KnifeHunter dataset)**이라는 거대한 라이브러리를 구축했습니다. 이는 경찰 증거 보관소, 온라인 쇼핑몰, 국경 압수품 등에서 가져온 543가지 서로 다른 종류의 칼 사진 25,000장 이상을 담고 있는 거대한 사진 앨범과 같습니다. 심지어 그들은 시스템이 무작위적인 잡동사니에 속지 않도록 100만 장 이상의 '미끼(decoy)' 이미지—다른 물체의 사진들—를 추가했습니다.

이 기술의 주인공은 그들이 발명한 새로운 AI 두뇌인 **코레넷(Co-Net)**입니다. 대부분의 이미지 인식 시스템을 멀리서 칼을 보고 "주방용 칼처럼 보이네요"라고 말하는 사람이라고 생각한다면, 코레넷은 다릅니다. 코레넷은 돋보기와 광각 렌즈를 동시에 가진 탐정과 같습니다. 이 시스템은 **구조적 상보적 표현 학습(Structured Complementary Representation Learning, SCRL)**이라는 특별한 기법을 사용하여 이미지를 아주 작고 구체적인 단서들(예: 칼날의 가장자리 모양이나 제조사 마크)로 분해하고, 이를 '전문가 팀'으로 조직합니다. 그런 다음, 양방향 상호 융합(Bi-Directional Reciprocal Fusion, BDRF) 시스템을 통해 '광각' 뷰와 '돋보기' 뷰가 서로 소통하며 서로의 실수를 바로잡도록 만듭니다.

결과는 인상적입니다. 지저분한 배경이 포함된 어려운 사진들을 대상으로 테스트했을 때, 코레넷은 상위 10개 결과 안에 정답인 칼을 포함할 확률이 약 83.8%에 달해 기존의 모든 방식들을 앞질렀습니다. 더욱 놀라운 점은, 2023년에서 2025년 사이 영국 경찰이 실제 작전(Operation Sceptre라 불리는) 중에 이 시스템을 현장에서 사용했을 때, 첫 번째 시도에서 바로 정답을 맞힌 확률이 99.2%에 달했다는 것입니다. 이것은 단순한 실험실 실험이 아닙니다. 이 도구는 현재 경찰들이 압수한 무기의 사진 한 장을 검색 가능한 단서로 바꾸어, 출처를 추적하고 범죄를 더 빠르게 해결할 수 있도록 돕고 있습니다. 이 논문은 이 매칭 과정을 자동화함으로써, 경찰이 통상적으로 수행해야 하는 과도한 수동 작업을 줄이고, 몇 시간씩 걸리던 시각적 비교 작업을 단 몇 초의 디지털 검색으로 바꿀 수 있다고 제안합니다.

기술 요약: KnifeHunter 및 CoRe-Net

문제 정의
칼을 이용한 폭력 행위는 특히 영국에서 심각한 공공 안전 문제를 야기하고 있습니다. 법 집행 기관은 카탈로그 수준의 칼 식별, 정보 분석 및 출처 추적을 위한 확장 가능한 도구가 필요합니다. 현재의 워크플로우는 전문가의 의존도가 높은 수동 시각 비교와 비구조화된 기록에 크게 의존하고 있으며, 이는 전문 인력에 의존적이고 시간이 많이 소요되며 확장이 어렵습니다. 컴퓨터 비전 관점에서 칼 식별은 매우 까다로운 미세 급(fine-grained) 인스턴스 수준의 검색 문제입니다. 표준 랜드마크 검색과 달리, 포렌식 칼 이미지는 미세한 클래스 간 차이(예: 칼날 기하학적 구조, 톱니 패턴, 제조사 마크)와 마모, 손상, 변형으로 인한 상당한 클래스 내 변동성을 포함합니다. 또한, 운영용 이미지는 통제되지 않은 조명, 경면 반사, 폐쇄(occlusion), 배경 혼란, 그리고 증거 표식(예: 경찰용 자)의 존재 등으로 인해 카탈로그 수준의 매칭을 어렵게 만듭니다. 기존의 디스크립터 집계 방식은 이러한 열악한 조건 하에서 구조화된 국소적 증거를 보존하는 데 어려움을 겪거나, 압축된 임베딩 내에 국소 및 전역 표현을 상호 보완적인 구성 요소로 명시적으로 조직하는 데 실패하는 경우가 많습니다.

방법론: CoRe-Net
이러한 과제를 해결하기 위해 저자들은 포렌식 이미지를 위해 설계된 압축 단일 디스크립터 검색 아키텍처인 CoRe-Net(Complementary Representation Network)을 제안합니다. CoRe-Net은 구조화된 디스크립터 집계와 양방향 융합을 통해 상호 보완적인 전역 및 국소 증거를 통합합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

Weibull 기반 전역 표현: 배경 혼란과 고강도 이상치(예: 경면 하이라이트)의 영향을 완화하기 위해, CoRe-Net은 전역 평균 풀링(global average pooling) 전에 학습 가능한 Weibull 기반 활성화 형상 함수를 사용합니다. 이 함수는 다항식 성장과 지수적 감쇠를 결ку합하여 약한 배경 응답은 억제하는 동시에, 소수의 강한 활성화가 디스크립터를 지배하는 것을 방지합니다. 출력 후에는 파워 정규화(power normalization)와 $\ell_2$ 정규화가 수행됩니다.
구조적 상호 보완 표현 학습 (SCRL): 이 국소 집계 브랜치는 공간적으로 국소화된 판별적 증거를 여러 개의 상호 보완적인 프로토타입 기반 표현으로 조직합니다.
- Saliency-Guided Feature Refinement (SGFR): 분산 기반 마스크를 계산하여 국소적으로 균일한 영역(예: 균일한 배경)을 감쇄시키고 고분산 구조(예: 톱니, 연마선)를 강조합니다.
- Prototype-Based Local Descriptor Learning (PBLD): 정제된 특징들은 스케일드 닷-프로덕트 어텐션(scaled dot-product attention)을 사용하여 일련의 학습 가능한 프로토타입에 매핑됩니다. 이를 통해 토큰들이 소프트 가중치를 가지고 여러 프로토타입에 기여할 수 있게 하며, 국소 특징들을 압축된 잠재 기저(latent basis)로 조직합니다.
- 직교성 정규화 (Orthogonality Regularization): 프로토타입의 붕괴를 방지하고 다양성을 장려하기 위해 프로토타입에 직교성 손실이 적용되어, 서로 다른 프로토타입이 별개의 국소 패턴을 인코딩하도록 합니다.
- Prototype Gated Aggregation: 게이트 메커니즘을 통해 학습된 프로토타입 디스크립터의 혼합 계산을 수행하여 압축된 국소 요약을 형성합니다.
양방향 상호 융합 (Bi-Directional Reciprocal Fusion, BDRF): 이 모듈은 전역 및 국소 브랜치를 결합하여 상호 보완성을 강제합니다.
- Global-to-Local 잔차 투영 (Residual Projection): 전역 디스크립터가 정제된 국소 특징 맵에서 투영되어 이미 전역 문맥에 의해 설명된 성분을 제거함으로써, 국소 브랜치가 잔여 증거에 집중하도록 강제합니다.
- Local-to-Global 상호 주입 (Reciprocal Injection): 집계된 프로토타입 디스크립터가 학습 가능한 게이트 잔차 덧셈을 통해 전역 디스크립터에 주입됩니다. 이를 통해 약하지만 클래스를 구분 짓는 국소 단서들이 견고한 전역 표현을 정교화할 수 있습니다.
- 융합된 표현은 전역 풀링된 후 코사인 유사도 검색을 위한 512차원 임베딩으로 투영됩니다.

시스템은 서브-센터 ArcFace 분류 목적 함수와 프로토타입 직교성 정규화기를 사용하여 엔드투엔드(end-to-end)로 학습됩니다.

주요 기여
본 논문은 세 가지 주요 기여를 소개합니다:

KnifeHunter 데이터셋: 543개의 칼 클래스에 걸쳐 25,843개의 이미지를 포함하는 포렌식 칼 검색 벤치마크입니다. 데이터는 경찰 증거 저장소, 소매 카탈로그, 국경 수비대 압수품에서 추출되었습니다. 여기에는 구조화된 메타데이터가 포함되어 있으며, "Medium" 및 "Hard" 평가 프로토콜과 더불어 110만 개 이상의 이미지(분리된 경찰 칼 이미지 및 일반 COCO 이미지 포함)를 포함하는 대규모 디스트랙터(distractor) 평가 세트를 정의합니다.
CoRe-Net 아키텍처: 국소 증거를 상호 보완적인 프로토타입으로 조직하는 Structured Complementary Representation Learning (SCRL)과 전역 및 국소 증의를 통합하는 Bi-Directional Reciprocal Fusion (BDRF)을 도입한 새로운 검색 아키텍처입니다. 이 설계는 쿼리 확장, 재순위화(re-ranking) 또는 기하학적 검증 없이 효율적인 단일 디스크립터 검색을 지원합니다.
벤치마킹 및 운영 검증: 저자들은 다양한 프로토콜 하에서 현대적인 백본과 최첨단 집계 방법들을 평가합니다. 결정적으로, 이 시스템은 Operation Sceptre (2023–2025) 기간 동안 영국 경찰 부대에 배치되어 그 효능에 대한 실질적인 현장 검증을 마쳤습니다.

결과
EVA02-Base 백본을 사용하여 KnifeHunter 벤치마크에서 평가했을 때, CoRe-Net은 최첨단 베이스라인(GeM, DOLG, DELG, TokenNet, SuperGlobal, SENet 포함)보다 우수한 성능을 보여줍니다.

Medium 프로토콜 (디스트랙터 없음): CoRe-Net은 88.0% mAP와 86.7% mP@10을 달 기록하며, 가장 우수한 베이스라인인 SENet보다 3.1 mAP 포인트 앞섰습니다.
**Hard 프로토콜 (디스트
Distractor 조건 (+desc): 대규모 디스트랙터 프로토콜 하에서, Co-Net은 Medium 프로토콜에서 85.1% mAP와 83.8% mP@10을, Hard 프로토콜에서 64.9% mAP와 61.5% mP@10을 달성했습니다.
운영 배포: Operation Sceptre 배포 중 현장 쿼리에서, 시스템은 99.2% mP@1을 달성하여 최상위 순위 검색의 신뢰성을 입증했습니다.

절제 연구(Ablation studies)는 각 구성 요소(Weibull 형상화, SGFR, 프로토타입, BDRF)가 성능에 유의미하게 기여함을 확인했으며, 특히 프로토타입 기반 모델링과 상호 융합이 미세한 변동성과 혼란을 처리하는 데 매우 중요함을 보여주었습니다.

의의 및 주장
본 논문은 KnifeHunter가 실제 법 집행 환경에서의 미세한 포렌식 칼 매칭을 위한 실용적이고 효과적인 멀티미디어 검색 프레임워크를 제공한다고 주장합니다. 대규모의 구조화된 데이터셋과 특화된 검색 아키텍처를 결합함으로써, 본 연구는 포렌식 이미지의 특정 과제(혼란, 폐쇄, 미세한 차이)를 처리하는 데 있어 기존 컴퓨터 비전 방법과 수동 검사의 한계를 해결합니다.

그 의의는 기술적 검색 지표를 넘어 운영상의 영향력까지 확장됩니다. 이 시스템은 22개 영국 경찰 지역의 워크플로우에 통합되어, 경찰관들이 일상적인 칼 조우 사례를 검색 가능한 정보로 전환할 수 있게 했습니다. 이러한 자동화는 무기 유형 및 소매 가용성에 대한 구조화된 정보 수집을 지원하며, 정책 검토와 비준수 판매자에 대한 집행 조치를 위한 증거 생성에 기여합니다. 저자들은 이 시스템이 복잡한 재순위화나 기하학적 검증 단계 없이도 대규모 배포에 적합한 결정론적이고 CPU 호환 가능한 도구로 작동한다는 점을 강조합니다.

유사한 논문