💻 computer science

KnifeHunter: Structured Local Representation Learning for Fine-Grained Knife Image Retrieval in Law Enforcement

Questo articolo introduce KnifeHunter, un sistema pratico di recupero forense caratterizzato dall'architettura CoRe-Net e da un dataset su larga scala, che consente un'identificazione dei coltelli granulare, scalabile e ad alta precisione, ed è stato implementato con successo dalle forze dell'ordine del Regno Unito per l'intelligence operativa e l'attribuzione della fonte.

Autori originali: Syed Sameed Husain, Eng-Jon Ong, Stephen Simpson, Trevor Hamshere, Matt Turner, Miroslaw Bober

Pubblicato 2026-08-10

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Syed Sameed Husain, Eng-Jon Ong, Stephen Simpson, Trevor Hamshere, Matt Turner, Miroslaw Bober

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare un ago specifico in un pagliaio, ma il pagliaio è fatto di altri aghi, e quello che stai cercando ha un piccolo graffio unico sul lato che nessun altro possiede. Questo è il mondo della visione artificiale, un ramo dell'intelligenza artificiale in cui i computer imparano a "vedere" e comprendere le immagini. Di solito, questi sistemi sono bravi a individuare cose grandi, come "quello è un cane" o "quella è un'auto". Ma quando devi distinguere tra due gemelli quasi identici — ad esempio, due coltelli che sembrano esattamente uguali tranne che per un piccolo motivo sul manico — il computer si confonde. Questo è chiamato recupero a grana fine (fine-grained retrieval). È una sfida enorme per la polizia e gli investigatori che devono far corrispondere un coltello trovato su una scena del crimine a un modello specifico in un enorme catalogo per capire da dove provenga. Se non riescono a farlo rapidamente, l'indagine rallenta e diventa più difficile fermare la criminalità.

Entra in scena KnifeHunter, un nuovo strumento di investigazione digitale costruito per risolvere esattamente questo problema. I ricercatori dietro di esso hanno capito che guardare la foto di un coltello è complicato perché le foto delle scene del crimine sono disordinate: potrebbero essere scure, sfocate, avere righelli o sacchetti sullo sfondo, o mostrare solo una parte del coltello. Per insegnare al loro computer come gestire questo, hanno costruito una massiccia libreria chiamata dataset KnifeHunter. È come un enorme album fotografico contenente oltre 25.000 immagini di 543 diversi tipi di coltelli, scattate da depositi di prove della polizia, negozi online e sequestri alle frontiere. Hanno persino aggiunto oltre un milione di immagini "esca" — foto di altri oggetti — per assicurarsi che il loro sistema non venga ingannato dal disordine casuale.

La stella dello spettacolo è un nuovo cervello artificiale che hanno inventato chiamato CoRe-Net. Pensa ai sistemi di riconoscimento d'immagine comuni come a una persona che guarda un coltello da lontano e dice: "Sembra un coltello da cucina". CoRe-Net è diverso; è come un detective con una lente d'ingrandimento e un obiettivo grandangolare. Utilizza un trucco speciale chiamato Apprendimento di Rappresentazione Complementare Strutturata (SCRL) per scomporre l'immagine in piccoli indizi specifici (come la forma del bordo della lama o un marchio del produttore) e organizzarli in una "squadra" di esperti. Poi, utilizza un sistema di Fusione Reciproca Bidirezionale (BDRF) per assicurarsi che la vista "grandangolare" e la vista "lente d'ingrandimento" comunichino tra loro, correggendo gli errori l'una dell'altra.

I risultati sono impressionanti. Quando testato su foto difficili con sfondi disordinati, CoRe-Net ha identificato correttamente il coltello giusto nei primi 10 risultati circa l'83,8% delle volte, superando tutti i metodi precedenti. Ancora meglio, quando la polizia del Regno Unito ha effettivamente utilizzato il sistema sul campo durante operazioni reali (chiamate Operation Sceptre) tra il 2023 e il 2025, è stato corretto al primo colpo il 99,2% delle volte. Questo non è solo un esperimento di laboratorio; è uno strumento che sta attualmente aiutando gli agenti a trasformare una semplice foto di un'arma sequestrata in un indizio ricercabile, aiutandoli a rintracciare le fonti e risolvere i crimini più velocemente. Il documento suggerisce che, automatizzando questo processo di corrispondenza, possono ridurre l'intenso lavoro manuale che la polizia deve solitamente svolgere, trasformando ore di confronto visivo in secondi di ricerca digitale.

Riepilogo Tecnico: KnifeHunter e CoRe-Net

Definizione del Problema
La violenza con coltelli rappresenta una significativa sfida per la sicurezza pubblica, in particolare nel Regno Unito. Le agenzie di contrasto della legge necessitano di strumenti scalabili per l'identificazione dei coltelli a livello di catalogo, l'analisi dell'intelligence e l'attribuzione della fonte. Gli attuali flussi di lavoro si affidano pesantemente al confronto visivo manuale e a registrazioni non strutturate, il che li rende dipendenti da specialisti, lenti e difficili da scalare. Dal punto di vista della visione artificiale, l'identificazione dei coltelli è un problema di recupero di istanze fine-grained estremamente impegnativo. A differenza del recupero di landmark standard, l'imaging forense dei coltelli comporta sottili differenze inter-classe (ad esempio, geometria della lama, pattern di dentellatura, marchi del produttore) e una sostanziale variazione intra-classe dovuta a usura, danni e modifiche. Inoltre, l'imaging operativo è caratterizzato da illuminazione incontrollata, riflessi speculari, occlusioni, clutter di sfondo e la presenza di marcatori di evidenza (ad esempio, righelli della polizia), rendendo difficile il matching a livello di catalogo. I metodi esistenti di aggregazione dei descrittori spesso faticano a preservare l'evidenza locale strutturata in queste condizioni avverse o non riescono a organizzare esplicitamente le rappresentazioni locali e globali in componenti complementari all'interno di un embedding compatto.

Metodologia: CoRe-Net
Per affrontare queste sfide, gli autori propongono CoRe-Net (Complementary Representation Network), un'architettura di recupero a singolo descrittore compatto progettata per l'imaging forense. CoRe-Net integra evidenze globali e locali complementari attraverso un'aggregazione di descrittori strutturata e una fusione bidirezionale. L'architettura è composta da tre componenti primarie:

Rappresentazione Globale basata su Weibull: Per mitigare l'influenza del clutter di sfondo e degli outlier ad alta magnitudo (come i riflessi speculari), CoRe-Net impiega una funzione di modellazione dell'attivazione basata su Weibull apprendibile prima del global average pooling. Questa funzione combina la crescita polinomiale con il decadimento esponenziale per sopprimere le deboli risposte di sfondo, evitando che pochi segnali forti dominino il descrittore. Il risultato è seguito da normalizzazione di potenza e normalizzazione $\ell_2$ .
Apprendimento della Rappresentazione Complementare Strutturata (SCRL): Questo ramo di aggregazione locale organizza l'evidenza discriminativa spazialmente localizzata in molteplici rappresentazioni basate su prototipi complementari.
- Raffinamento delle Caratteristiche Guidato dalla Saliency (SGFR): Viene calcolata una maschera basata sulla varianza per attenuare le regioni localmente omogenee (ad esempio, sfondi uniformi) ed enfatizzare le strutture ad alta varianza (ad esempio, dentellature, linee di molatura).
- Apprendimento del Descrittore Locale Basato su Prototipi (PBLD): Le caratteristiche raffinate vengono mappate su un set di prototipi apprendibili tramite attenzione dot-product scalata. Ciò consente ai token di contribuire a più prototipi con pesi morbidi, organizzando le caratteristiche locali in una base latente compatta.
- Regolarizzazione dell'Ortogonalità: Una perdita di ortogonalità è applicata ai prototipi per prevenire il collasso e incoraggiare la diversità, garantendo che diversi prototipi codifichino pattern locali distinti.
- Aggregazione a Gate dei Prototipi: Un insieme appreso di descrittori di prototipi viene calcolato tramite un meccanismo a gate per formare un riepilogo locale compatto.
Fusione Reciproca Bi-Direzionale (BDRF): Questo modulo accoppia i rami globale e locale per imporre la complementarità.
- Proiezione Residua da Globale a Locale: Il descrittore globale viene proiettato fuori dalla mappa delle caratteristiche locali raffinate per rimuovere le componenti già spiegate dal contesto globale, costringendo il ramo locale a concentrarsi sull'evidenza residua.
- Iniezione Reciproca da Locale a Globale: Il descrittore di prototipo aggregato viene iniettato nel descrittore globale tramite un'aggiunta residua a gate apprendibile. Ciò permette a segnali locali deboli ma capaci di separazione di classe di raffinare la robusta rappresentazione globale.
- La rappresentazione fusa viene sottoposta a global pooling e proiettata in un embedding a 512 dimensioni per il recupero tramite similarità del coseno.

Il sistema è addestrato end-to-end utilizzando un obiettivo di classificazione sub-center ArcFace combinato con il regolarizzatore di ortogonalità dei prototipi.

Contributi Chiave
Il documento introduce tre contributi primari:

Dataset KnifeHunter: Un benchmark per il recupero di coltelli forensi composto da 25.843 immagini su 543 classi di coltelli. I dati provengono da repository di prove della polizia, cataloghi retail e sequestri della guardia di frontiera. Include metadati strutturati e definisce protocolli di valutazione "Medium" e "Hard", oltre a un set di valutazione con distruttori su larga scala contenente oltre 1,1 milioni di immagini (inclusi immagini di coltelli della polizia disgiunte e immagini generiche COCO).
Architettura CoRe-Net: Un'architettura di recupero innovativa che introduce lo Structured Complementary Representation Learning (SCRL) per organizzare l'evidenza locale in prototipi complementari e la Bi-Directional Reciprocal Fusion (BDRF) per integrare l'evidenza globale e locale. Questo design supporta un efficiente recupero a singolo descrittore senza la necessità di query expansion, re-ranking o verifica geometrica.
Benchmarking e Validazione Operativa: Gli autori valutano moderni backbone e metodi di aggregazione allo stato dell'arte sotto vari protocolli. Fondamentalmente, il sistema è stato implementato dalle forze di polizia del Regno Unito durante l'Operazione Sceptre (2023–2025), fornendo una validazione reale della sua efficacia.

Risultati
Valutato sul benchmark KnifeHunter utilizzando un backbone EVA02-Base, CoRe-Net dimostra prestazioni superiori rispetto ai baseline allo stato dell'arte (inclusi GeM, DOLG, DELG, TokenNet, SuperGlobal e SENet).

Protocollo Medium (Senza Distruttori): CoRe-Net raggiunge l'88,0% di mAP e l'86,7% di mP@10, superando il miglior baseline (SENet) di 3,1 punti mAP.
Protocollo Hard (Senza Distruttori): CoRe-Net raggiunge il 70,2% di mAP e il 67,9% di mP@10.
Condizioni con Distruttori (+desc): Sotto il protocollo con distruttori su larga scala, CoRe-Net raggiunge l'85,1% di mAP e l'83,8% di mP@10 sul protocollo Medium, e il 64,9% di mAP e il 61,5% di mP@10 sul protocollo Hard.
Implementazione Operativa: Durante le query sul campo nelle implementazioni dell'Operazione Sceptre, il sistema ha raggiunto il 99,2% di mP@1, dimostrando un recupero affidabile in cima alla classifica nei flussi di lavoro della polizia operativa.

Gli studi di ablazione confermano che ogni componente (modellazione Weibull, SGFR, prototipi e BDRF) contribuisce significativamente alle prestazioni, con la modellazione basata su prototipi e la fusione reciproca che risultano particolarmente critiche per gestire le variazioni fine-grained e il clutter.

Significatività e Rivendicazioni
Il documento afferma che KnifeHunter fornisce un framework di recupero multimediale pratico ed efficace per il matching forense dei coltelli fine-grained in contesti operativi di contrasto della criminalità. Combinando un dataset strutturato su larga scala con un'architettura di recupero specializzata, il lavoro affronta i limiti dell'ispezione manuale e dei metodi esistenti di visione artificiale nel gestire le sfide specifiche dell'imaging forense (clutter, occlusioni, differenze sottili).

La significatività si estende oltre le metriche tecniche di recupero all'impatto operativo. Il sistema è stato integrato nei flussi di lavoro di 22 regioni di polizia del Regno Unito, consentendo agli agenti di trasformare gli incontri di routine con i coltelli in intelligence ricercabile. Questa automazione supporta la raccolta strutturata di intelligence sulla tipologia di armi e la disponibilità al dettaglio, contribuendo alle revisioni delle politiche e alla generazione di prove per azioni di contrasto contro i venditori non conformi. Gli autori sottolineano che il sistema opera come uno strumento deterministico, compatibile con la CPU, adatto a un dispiegamento su larga scala senza richiedere complessi passaggi di re-ranking o verifica geometrica.

Riepilogo Tecnico: KnifeHunter e CoRe-Net

Articoli simili