Benchmarking and Stress-Testing Off-the-Shelf Vision Embeddings for Surface Re-Identification in Open-Source Intelligence

Resumo Técnico: Avaliação de Referência de Embeddings de Visão Prontos para Uso em Reidentificação de Superfícies em OSINT

Definição do Problema
A inteligência de fontes abertas (OSINT) depende cada vez mais do pareamento de superfícies físicas (ex: bancadas de granito, veios de madeira, tramas de tecido) entre fotografias para vincular imagens anônimas a locais específicos. Embora uma formulação popular sugira que modelos de visão pré-treinados (como CLIP, DINOv2 ou CNNs) podem realizar este pareamento com alta confiança (frequentemente citando figuras como "94,7% de precisão"), essas afirmações carecem frequentemente de uma avaliação rigorosa, definições de tarefas claras ou controles negativos. Este artigo aborda a lacuna entre a confiança anedótica e o desempenho empírico, medindo o que esses modelos prontos para uso realmente alcançam em uma tarefa de reidentificação de superfície precisamente definida.

Metodologia
O estudo define a reidentificação de superfície como a tarefa de recuperar imagens da mesma instância de superfície física de uma galeria contendo muitas superfícies diferentes. A avaliação utiliza o banco de dados de textura KTH-TIPS2-b, que compreende 4.752 imagens de 44 instâncias de superfícies físicas (11 materiais, 4 amostras distintas por material). Crucialmente, o conjunto de dados inclui "negativos difíceis": imagens de amostras diferentes do mesmo material (ex: duas amostras de lã diferentes) que devem ser distinguidas da consulta (query).

Os autores avaliam sete variantes de backbones prontos para uso como extratores de características congelados (sem ajuste fino ou aprendizado métrico):

• CLIP: ViT-B/32 e ViT-L/14.
• DINOv2: ViT-S/14, ViT-L/14 e ViT-S/14 na resolução nativa de 518px.
• CNNs: ResNet-50 e EfficientNet-B0.

Todos os modelos foram testados em uma entrada comum de 224 pixels (exceto a variante nativa do DINOv2) usando similaridade de cosseno em embeddings agrupados com normalização L2. A avaliação utiliza métricas de recuperação padrão (Rank-1, Recall@5, média da Precisão Média [mAP]) e métricas de verificação (ROC-AUC, Taxa de Erro Igualado [EER]). Uma análise de escala cruzada específica foi conduzida para simular cenários de OSINT onde a imagem de consulta e a imagem de correspondência são tiradas em diferentes níveis de zoom. A significância estatística foi determinada por meio de testes de postos sinalizados de Wilcoxon pareados e intervalos de confiança de bootstrap de 95%.

Principais Resultados

1. Ranking vs. Desempenho Top-1: Embora a precisão Rank-1 seja alta em todos os modelos (variando de 94,3% a 98,1%) e o Recall@5 exceda 99,4%, a média da Precisão Média (mAP) é significativamente menor (0,505 a 0,646). Isso indica que, embora a melhor correspondência única seja frequentemente correta, as listas de classificação mais profundas frequentemente misturam superfícies incorretas, incluindo outras amostras do mesmo material.
2. Superioridade da Família de Modelos: Os modelos DINOv2 superam todas as outras famílias, incluindo o CLIP. Notavelmente, o menor modelo DINOv2 (ViT-S/14, mAP 0,604) supera significativamente o muito maior CLIP ViT-L/14 (mAP 0,590). O melhor desempenho geral é o DINOv2 ViT-L/14, alcançando um Rank-1 de 98,1%, um mAP de 0,646 e um AUC de 0,973.
3. Limitações em Condições do Mundo Real:
   • Degradação por Escala Cruzada: Quando a consulta e as imagens da galeria estão em diferentes níveis de zoom, o mAP cai para todos os modelos (ex: DINOv2 ViT-L/14 cai de 0,646 para 0,631).
   • Dependência de Material: O desempenho varia drasticamente conforme o material. Superfícies lisas e especulares (ex: papel alumínio, pão branco) são significativamente mais difíceis de parear (mAP tão baixo quanto 0,489) do que superfícies fortemente padronizadas (ex: folha de alface, mAP 0,840).
4. Limites de Verificação: Mesmo o melhor modelo possui uma Taxa de Erro Igualado (EER) de 7,2%, o que significa que, em um ponto operacional equilibrado, aproximadamente 1 em cada 14 decisões é incorreta.

Principais Contribuições

• Benchmark Reproduzível: O artigo estabelece um benchmark reproduzível no KTH-TIPS2-b onde a amostra física é a unidade de identidade, utilizando pares de mesma matéria-prima/amostra diferente como negativos difíceis.
• Avaliação Honesta: Fornece uma avaliação rigorosa e estatisticamente validada do CLIP, DINOv2, ResNet-50 e EfficientNet-B0 como embedders congelados, relatando métricas de recuperação e verificação com intervalos de confiança.
• Análise de Escala Cruzada e Material: O estudo isola o impacto das mudanças de zoom e das propriedades dos materiais, demonstrando onde o pareamento de superfícies é confiável e onde ele falha.
• Correção de Conselhos Comuns: Os resultados revertem a recomendação comum de usar o CLIP para pareamento de texturas, demonstrando que modelos auto-supervisionados (DINOv2) são superiores, independentemente do tamanho do modelo.

Significância e Alegações
O artigo conclui que os embeddings de visão prontos para uso são úteis como geradores de pistas para analistas humanos, mas não suportam alegações de precisão incondicional para identificação automatizada. A alta precisão Rank-1 sugere que essas ferramentas podem apresentar um candidato forte para um humano verificar, mas o mAP mais baixo e o EER significativo indicam que elas não são confiáveis o suficiente para prova autônoma, particularmente através de diferentes níveis de zoom ou em superfícies lisas.

Os autores enfatizam que uma figura de "94,7% de precisão" é enganosa sem contexto; o resumo apropriado para a prática de OSINT é que esses modelos geram pistas que requerem verificação humana. Além disso, para tarefas de pareamento de superfície especificamente, um modelo auto-supervisionado (DINOv2) é o padrão recomendado sobre modelos alinhados com texto (CLIP), mesmo ao comparar modelos auto-supervisionados menores contra modelos maiores alinhados com texto. Todos os números relatados são verificados como reproduzíveis via scripts liberados e são independentes de hardware.