KnifeHunter: Structured Local Representation Learning for Fine-Grained Knife Image Retrieval in Law Enforcement

Resumo Técnico: KnifeHunter e CoRe-Net

Definição do Problema
A violência envolvendo facas apresenta um desafio significativo para a segurança pública, particularmente no Reino Unido. As agências de aplicação da lei necessitam de ferramentas escaláveis para identificação de facas em nível de catálogo, análise de inteligência e atribuição de origem. Os fluxos de trabalho atuais dependem fortemente de comparação visual manual e registros não estruturados, o que é dependente de especialistas, demorado e difícil de escalar. Do ponto de vista da visão computacional, a identificação de facas é um problema de recuperação de instância de nível fino extremamente exigente. Diferente da recuperação de marcos (landmarks) padrão, a imagética forense de facas envolve diferenças interclasses sutis (ex: geometria da lâmina, padrões de serrilha, marcas de fabricante) e uma variação intra-classe substancial devido ao desgaste, danos e modificações. Além disso, a imagética operacional é caracterizada por iluminação não controlada, reflexos especulares, oclusão, desordem de fundo (clutter) e a presença de marcadores de evidência (ex: réguas policiais), tornando a correspondência em nível de catálogo difícil. Os métodos existentes de agregação de descritores frequentemente falham em preservar evidências locais estruturadas sob essas condições adversas ou falham em organizar explicitamente representações locais e globais em componentes complementares dentro de um embedding compacto.

Metodologia: CoRe-Net
Para enfrentar esses desafios, os autores propõem a CoRe-Net (Complementary Representation Network), uma arquitetura de recuperação de descritor único e compacto projetada para imagética forense. A CoRe-Net integra evidências globais e locais complementares através de agregação de descritores estruturada e fusão bidirecional. A arquitetura consiste em três componentes primários:

1. Representação Global Baseada em Weibull: Para mitigar a influência da desordem de fundo e de outliers de alta magnitude (como brilhos especulares), a CoRe-Net utiliza uma função de modelagem de ativação baseada em Weibull treinável antes do pooling médio global. Esta função combina crescimento polinomial com decaimento exponencial para suprimir respostas fracas de fundo, enquanto evita que poucas ativações fortes dominem o descritor. O resultado é seguido por normalização de potência e normalização $\ell_2$.
2. Aprendizado de Representação Complementar Estruturada (SCRL): Este ramo de agregação local organiza evidências discriminativas espacialmente localizadas em múltiplas representações baseadas em protótipos complementares.
   • Refinamento de Características Guiado por Saliência (SGFR): Uma máscara baseada em variância é computada para atenuar regiões localmente homogêneas (ex: fundos uniformes) e enfatizar estruturas de alta variância (ex: serrilhas, linhas de retífica).
   • Aprendizado de Descritor Local Baseado em Protótipos (PBLD): As características refinadas são mapeadas para um conjunto de protótipos treináveis usando atenção de produto escalar escalonado. Isso permite que os tokens contribuam para múltiplos protótipos com pesos suaves, organizando as características locais em uma base latente compacta.
   • Regularização de Ortogonalidade: Uma perda de ortogonalidade é aplicada aos protótipos para evitar colapso e incentivar a diversidade, garantindo que diferentes protótipos codifiquem padrões locais distintos.
   • Agregação de Protótipos por Portão (Gated): Um mistério aprendido de descritores de protótipo é computado via um mecanismo de portão para formar um resumo local compacto.
3. Fusão Recíproca Bidirecional (BDRF): Este módulo acopla os ramos global e local para impor complementaridade.
   • Projeção Residual Global-para-Local: O descritor global é projetado para fora do mapa de características locais refinadas para remover componentes já explicados pelo contexto global, forçando o ramo local a focar na evidência residual.
   • Injeção Recíproca Local-para-Global: O descritor de protótipo agregado é injetado no descritor global via uma adição residual de portão treinável. Isso permite que pistas locais fracas, mas separadoras de classe, refinem a representação global robusta.
   • A representação fundida é globalmente agrupada (pooled) e projetada em um embedding de 5 dimensional para recuperação por similaridade de cosseno.

O sistema é treinado de ponta a ponta usando um objetivo de classificação sub-center ArcFace combinado com o regularizador de ortogonalidade de protótipos.

Principuições Chave
O artigo introduz três contribuições primárias:

1. Dataset KnifeHunter: Um benchmark de recuperação de facas forenses compreendendo 25.843 imagens de 543 classes de facas. Os dados são provenientes de repositórios de evidências policiais, catálogos de varejo e apreensões da guarda de fronteiras. Inclui metadados estruturados e define protocolos de avaliação "Médio" e "Difícil", bem como um conjunto de avaliação de distratores em larga escala contendo mais de 1,1 milhão de imagens (incluindo imagens de facas policiais distintas e imagens gerais do COCO).
2. Arquitetura CoRe-Net: Uma arquitetura de recuperação inovadora que introduz o Aprendizado de Representação Complementar Estruturada (SCRL) para organizar evidências locais em protótipos complementares e a Fusão Recíproca Bidirecional (BDRF) para integrar evidências globais e locais. Este design suporta a recuperação eficiente de descritor único sem a necessidade de expansão de consulta, re-ranking ou verificação geométrica.
3. Benchmarking e Validação Operacional: Os autores avaliam backbones modernos e métodos de agregação de estado da arte sob vários protocolos. Crucialmente, o sistema foi implantado por forças policiais do Reino Unido durante a Operação Sceptre (2023–2025), fornecendo validação do mundo real de sua eficácia.

Resultados
Avaliada no benchmark KnifeHunter usando um backbone EVA02-Base, a CoRe-Net demonstra desempenho superior comparado a baselines de estado da arte (incluindo GeM, DOLG, DELG, TokenNet, SuperGlobal e SENet).

• Protocolo Médio (Sem Distratores): A CoRe-Net atinge 88,0% de mAP e 86,7% de mP@10, superando o melhor baseline (SENet) em 3,1 pontos de mAP.
• Protocolo Difícil (Sem Distratores): A CoRe-Net atinge 70,2% de mAP e 67,9% de mP@10.
• Condições de Distratores (+desc): Sob o protocolo de distratores em larga escala, a CoRe-Net atinge 85,1% de mAP e 83,8% de mP@10 no protocolo Médio, e 64,9% de mAP e 61,5% de mP@10 no protocolo Difícil.
• Implantação Operacional: Durante consultas de campo em implantações da Operação Sceptre, o sistema alcançou 99,2% de mP@1, demonstrando recuperação confiável no topo do ranking em fluxos de trabalho policiais de linha de frente.

Estudos de ablação confirmam que cada componente (modelagem de Weibull, SGFR, protótipos e BDRF) contribui significativamente para o desempenho, sendo a modelagem baseada em protótipos e a fusão recíproca particularmente críticas para lidar com variações de grão fino e desordem.

Significância e Alegações
O artigo alega que o KnifeHunter fornece um framework de recuperação multimídia prático e eficaz para a correspondência forense de facas de grão fino em ambientes operacionais de aplicação da lei. Ao combinar um dataset de larga escala e estruturado com uma arquitetura de recuperação especializada, o trabalho aborda as limitações da inspeção manual e dos métodos existentes de visão computacional ao lidar com os desafios específicos da imagética forense (desordem, oclusão, diferenças sutis).

A significância estende-se além das métricas técnicas de recuperação para o impacto operacional. O sistema foi integrado aos fluxos de trabalho de 22 regiões policiais do Reino Unido, permitindo que oficiais transformem encontros rotineiros com facas em inteligência pesquisável. Essa automação apoia a coleta estruturada de inteligência sobre tipologia de armas e disponibilidade no varejo, contribuindo para revisões de políticas e geração de evidências para ações de fiscalização contra vendedores não conformes. Os autores enfatizam que o sistema opera como uma ferramenta determinística, compatível com CPU, adequada para implantação em larga escala sem exigir etapas complexas de re-ranking ou verificação geométrica.