💻 computer science

KnifeHunter: Structured Local Representation Learning for Fine-Grained Knife Image Retrieval in Law Enforcement

Dit artikel introduceert KnifeHunter, een praktisch forensisch retrieval-systeem met de CoRe-Net-architectuur en een grootschalige dataset, wat schaalbare, nauwkeurige fijnmazige identificatie van messen mogelijk maakt en succesvol is ingezet door de Britse wetshandhaving voor operationele inlichtingen en bronattributie.

Oorspronkelijke auteurs: Syed Sameed Husain, Eng-Jon Ong, Stephen Simpson, Trevor Hamshere, Matt Turner, Miroslaw Bober

Gepubliceerd 2026-08-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Syed Sameed Husain, Eng-Jon Ong, Stephen Simpson, Trevor Hamshere, Matt Turner, Miroslaw Bober

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifieke naald in een hooiberg te vinden, maar de hooiberg bestaat uit andere naalden en de naald die je zoekt heeft een piepklein, uniek krasje aan de zijkant dat niemand anders heeft. Dit is de wereld van computer vision, een tak van kunstmatige intelligentie waarbij computers leren om te "zien" en afbeeldingen te begrijpen. Meestal zijn deze systemen erg goed in het spotten van grote dingen, zoals "dat is een hond" of "dat is een auto". Maar wanneer je het verschil moet zien tussen twee bijna identieke tweelingen—bijvoorbeeld twee messen die er precies hetzelfde uitzien, behalve voor een klein patroon op het handvat—raakt de computer in de war. Dit wordt fine-grained retrieval genoemd. Het is een enorme uitdaging voor politieagenten en rechercheurs die een mes dat op een plaats delict is gevonden, moeten matchen met een specifiek model in een enorme catalogus om te achterhalen waar het vandaan komt. Als ze dit niet snel kunnen doen, vertraagt dit onderzoeken en maakt het het moeilijker om criminaliteit te stoppen.

Maak kennis met KnifeHunter, een nieuwe digitale detectivetool die is gebouwd om precies dit probleem op te lossen. De onderzoekers achter dit project realiseerden zich dat het bekijken van een foto van een mes lastig is omdat foto's van plaatsen delict rommelig zijn: ze kunnen donker zijn, wazig, of een liniaal of tassen op de achtergrond hebben, of slechts een deel van het mes laten zien. Om de computer te leren hoe hij hiermee om moet gaan, hebben ze een enorme bibliotheek gebouwd genaamd de KnifeHunter dataset. Het is als een gigantisch fotoalbum met meer dan 25.000 foto's van 543 verschillende soorten messen, afkomstig uit politiedispensers, webshops en grensbeslagleggingen. Ze hebben zelfs meer dan een miljoen "afleidings"-afbeeldingen toegevoegd—foto's van andere objecten—om ervoor te zorgen dat hun systeem niet wordt misleid door willekeurige rommel.

De ster van de show is een nieuw AI-brein dat ze hebben uitgevonden genaamd CoRe-Net. Beschouw de meeste beeldherkenningssystemen als een persoon die naar een mes kijkt vanaf een afstand en zegt: "Het ziet eruit als een keukenmes." CoRe-Net is anders; het is als een detective met zowel een vergrootglas als een groothoeklens. Het gebruikt een speciale truc genaamd Structured Complementary Representation Learning (SCRL) om de afbeelding af te breken in kleine, specifieke aanwijzingen (zoals de vorm van de snede van het lemmet of een merkteken) en deze te organiseren in een "team" van experts. Vervolgens gebruikt het een Bi-Directional Reciprocal Fusion (BDRF) systeem om ervoor te zorgen dat het "groothoek"-perspectief en het "vergrootglas"-perspectief met elkaar communiceren en elkaars fouten corrigeren.

De resultaten zijn indrukwekkend. Wanneer het werd getest op moeilijke foto's met rommelige achtergronden, identificeerde CoRe-Net het juiste mes in de top 10 van resultaten ongeveer 83,8% van de tijd, waarmee het alle eerdere methoden versloeg. Nog beter: toen de Britse politie het systeem daadwerkelijk in het veld gebruikte tijdens echte operaties (genaamd Operation Sceptre) tussen 2023 en 2025, had het de allereerste keer in 99,2% van de gevallen gelijk. Dit is niet alleen een laboratoriumexperiment; het is een tool die momenteel agenten helpt om een simpele foto van een in beslag genomen wapen te veranderen in een doorzoekbare aanwijzing, wat hen helpt bronnen te traceren en misdaad sneller op te lossen. Het artikel suggereert dat door dit matchingsproces te automatiseren, ze de zware handmatige taken die de politie gewoonlijk moet uitvoeren kunnen verminderen, waardoor uren van visuele vergelijking worden omgezet in seconden van digitaal zoeken.

Technische Samenvatting: KnifeHunter en CoRe-Net

Probleemstelling
Geweld met messen vormt een aanzienlijke uitdaging voor de openbare veiligheid, met name in het Verenigd Koninkrijk. Wetshandhavingsinstanties hebben behoefte aan schaalbare instrumenten voor identificatie op catalogusniveau, intelligentieanalyse en bronattributie van messen. Huidige workflows zijn sterk afhankelijk van handmatige visuele vergelijking en ongestructureerde gegevens, wat specialistafhankelijk, tijdrovend en moeilijk schaalbaar is. Vanuit een computer vision-perspectief is de identificatie van messen een veeleisend probleem van fijnmazige instantie-gebaseerde retrieval (instance-level retrieval). In tegen tegenstelling tot standaard landmark retrieval, betreft forensische mesfotografie subtiele inter-klasse verschillen (bijv. de geometrie van het lemmet, kartelpatronen, fabrikantenmerken) en substantiële intra-klasse variatie door slijtage, schade en modificatie. Bovendien wordt operationele beeldvorming gekenmerkt door ongecontroleerde verlichting, spiegelende reflecties, occlusie, achtergrondruis en de aanwezigheid van bewijsstukken (bijv. politierulers), wat matching op catalogusniveau bemoeilijkt. Bestaande methoden voor descriptor-aggregatie worstelen vaak met het behoud van gestructureerd lokaal bewijs onder deze ongunstige omstandigheden of falen om lokale en globale representaties expliciet te organiseren in complementaire componenten binnen een compacte embedding.

Methodologie: CoRe-Net
Om deze uitdagingen aan te pakken, stellen de auteurs CoRe-Net (Complementary Representation Network) voor, een compacte single-descriptor retrieval-architectuur ontworpen voor forensische beeldvorming. CoRe-Net integreert complementair globaal en lokaal bewijs door middel van gestructureerde descriptor-aggregatie en bidirectionele fusie. De architectuur bestaat uit drie primaire componenten:

Weibull-gebaseerde Globale Representatie: Om de invloed van achtergrondruis en hoog-magnitude uitschieters (zoals spiegelende highlights) te beperken, gebruikt CoRe-Net een leerbare Weibull-gebaseerde activatie-vormfunctie vóór de global average pooling. Deze functie combineert polynomiale groei met exponentieel verval om zwakke achtergrondresponsen te onderdrukken, terwijl het voorkomt dat een enkelvoudig sterke activatie de descriptor domineert. De output wordt gevolgd door power normalisatie en $\ell_2$ -normalisatie.
Structured Complementary Representation Learning (SCRL): Deze lokale aggregatie-tak organiseert ruimtelijk gelokaliseerd onderscheidend bewijs in meerdere complementaire prototype-gebaseerde representaties.
- Saliency-Guided Feature Refinement (SGFR): Een variantie-gebaseerde mask wordt berekend om lokaal homogene regio's (bijv. uniforme achtergronden) te dempen en hoog-variante structuren (bijv. kartelingen, slijplijnen) te benadrukken.
- Prototype-Based Local Descriptor Learning (PBLD): Verfijnde kenmerken worden naar een set leerbare prototypes gemapt met behulp van scaled dot-product attention. Dit stelt tokens in staat om bij te dragen aan meerdere prototypes met zachte gewichten, waardoor lokale kenmerken worden georganiseerd in een compacte latente basis.
- Orthogonaliteitsregularisatie: Een orthogonaliteitsverlies wordt toegepast op de prototypes om instorting te voorkomen en diversiteit te stimuleren, wat ervoor zorgt dat verschillende prototypes onderscheidende lokale patronen coderen.
- Prototype Gated Aggregation: Een geleerde mix van prototype-descriptors wordt berekend via een gated mechanisme om een compacte lokale samenvatting te vormen.
Bi-Directional Reciprocal Fusion (BDRF): Deze module koppelt de globale en lokale takken om complementariteit af te dwingen.
- Global-to-Local Residual Projection: De globale descriptor wordt uit de verfijnde lokale feature map geprojecteerd om componenten te verwijderen die al verklaard worden door de globale context, waardoor de lokale tak gedwongen wordt zich te concentreren op residu-bewijs.
- Local-to-Global Reciprocal Injection: De geaggregeerde prototype descriptor wordt geïnjecteerd in de globale descriptor via een leerbare gated residual additie. Dit stelt zwakke maar klasse-onderscheidende lokale cues in staat om de robuuste globale representatie te verfijnen.
- De gefuseerde representatie wordt globaal gepooled en geprojecteerd in een 512-dimensionale embedding voor cosine-similarity retrieval.

Het systeem wordt end-to-end getraind met een sub-center ArcFace classificatie-objectief gecombineerd met de prototype orthogonaliteitsregularisator.

Belangrijkste Bijdragen
Het artikel introduceert drie primaire bijdragen:

KnifeHunter Dataset: Een benchmark voor forensische mes-retrieval bestaande uit 25.843 afbeeldingen over 543 mesklassen. De data is afkomstig uit politierepositories voor bewijsmateriaal, retailcatalogi en grenscontroles. Het bevat gestructureerde metadata en definieert "Medium" en "Hard" evaluatieprotocollen, evenals een grootschalige distractor-evaluatieset met meer dan 1,1 miljoen afbeeldingen (inclusclusief disjuncte politiemessen en algemene COCO-afbeeldingen).
CoRe-Net Architectuur: Een nieuwe retrieval-architectuur die Structured Complementary Representation Learning (SCRL) introduceert om lokaal bewijs te organiseren in complementaire prototypes, en Bi-Directional Reciprocal Fusion (BDRF) om globaal en lokaal bewijs te integreren. Dit ontwerp ondersteunt efficiënte single-descriptor retrieval zonder de noodzaak voor query expansie, re-ranking of geometrische verificatie.
Benchmarking en Operationele Validatie: De auteurs evalueren moderne backbones en state-of-the-art aggregatiemethoden onder verschillende protocollen. Cruciaal is dat het systeem werd ingezet door Britse politiekorpsen tijdens Operation Sceptre (2023–2025), wat de effectiviteit ervan in de praktijk valideert.

Resultaten
Geëvalueerd op de KnifeHunter benchmark met een EVA02-Base backbone, vertoont CoRe-Net superieure prestaties vergeleken met state-of-the-art baselines (inclusief GeM, DOLG, DELG, TokenNet, SuperGlobal en SENet).

Medium Protocol (Zonder Distractors): CoRe-Net bereikt 88,0% mAP en 86,7% mP@10, waarmee het de beste baseline (SENet) verslaat met 3,1 mAP punten.
Hard Protocol (Zonder Distractors): Coer-Net bereikt 70,2% mAP en 67,9% mP@10.
Distractor Condities (+desc): Onder het grootschalige distractor-protocol bereikt Co-Net 85,1% mAP en 83,8% mP@10 op het Medium protocol, en 64,9% mAP en 61,5% mP@10 op het Hard protocol.
Operationele Inzet: Tijdens veldqueries tijdens Operation Sceptre-deployments bereikte het systeem 99,2% mP@1, wat een betrouwbare top-ranked retrieval aantoont in front-line politiewerkstromen.

Ablatie-studies bevestigen dat elk component (Weibull shaping, SGFR, prototypes, en BDRF) significant bijdraagt aan de prestaties, waarbij de prototype-gebaseerde modellering en de wederzijdse fusie bijzonder kritisch zijn voor het omgaan met fijnmazige variaties en ruis.

Betekenis en Claims
Het artikel claimt dat KnifeHunter een praktisch en effectief multimedia retrieval-framework biedt voor fijnmazige forensische mes-matching in operationele wetshandhavingsomgevingen. Door een grootschalige, gestructureerde dataset te combineren met een gespecialiseerde retrieval-architectuur, pakt het werk de beperkingen aan van handmatige inspectie en bestaande computer vision-methoden bij het omgaan met de specifieke uitdagingen van forensische beeldvorming (clutter, occlusie, subtiele verschillen).

De betekenis strekt zich uit voorbij technische retrieval-metrieken naar operationele impact. Het systeem is geïntegreerd in de workflows van 22 Britse politiegebieden, waardoor agenten routinematige ontmoetingen met messen kunnen transformeren in doorzoekbare intelligentie. Deze automatisering ondersteunt gestructureerde intelligentieverzameling over wapentypologieën en de beschikbaarheid in de detailhandel, wat bijdraagt aan beleidsreviews en bewijsvoering voor handhavingsacties tegen niet-conforme verkopers. De auteurs benadrukken dat het systeem een deterministisch, CPU-compatibel hulpmiddel is dat geschikt is voor grootschalige inzet zonder dat complexe re-ranking of geometrische verificatiestappen vereist zijn.

Meer zoals dit