Benchmarking and Stress-Testing Off-the-Shelf Vision Embeddings for Surface Re-Identification in Open-Source Intelligence

Resumen Técnico: Evaluación Comparativa de Embeddings de Visión Comerciales para la Re-identificación de Superficies en OSINT

Definición del Problema
La inteligencia de fuentes abiertas (OSINT) depende cada vez más de la vinculación de imágenes anónimas con ubicaciones específicas mediante el emparejamiento de superficies físicas (por ejemplo, encimeras de granito, vetas de madera, tejidos de tela) a través de fotografías. Si bien un marco de interpretación popular sugiere que los modelos de visión preentrenados (como CLIP, DINOv2 o CNN) pueden realizar este emparejamiento con alta confianza (citando frecuentemente cifras como "94.7% de precisión"), estas afirmaciones carecen con frecuencia de una evaluación rigurosa, definiciones de tareas claras o controles negativos. Este documento aborda la brecha entre la confianza anecdótica y el rendimiento empírico midiendo lo que estos modelos comerciales logran realmente en una tarea de re-identificación de superficies precisamente definida.

Metodología
El estudio define la re-identificación de superficies como la tarea de recuperar imágenes de la misma instancia de superficie física de una galería que contiene muchas superficies diferentes. La evaluación utiliza la base de datos de texturas KTH-TIPS2-b, que comprende 4,752 imágenes de 44 instancias de superficies físicas (11 materiales, 4 muestras distintas por material). Crucialmente, el conjunto de datos incluye "negativos difíciles": imágenes de diferentes muestras del mismo material (por ejemplo, dos retazos de lana distintos) que deben distinguirse de la consulta.

Los autores evalúan siete variantes de backbones comerciales como extractores de características congelados (sin ajuste fino ni aprendizaje métrico):

• CLIP: ViT-B/32 y ViT-L/14.
• DINOv2: ViT-S/14, ViT-L/14, y ViT-S/14 a la resolución nativa de 518px.
• CNNs: ResNet-50 y EfficientNet-B0.

Todos los modelos fueron probados en una entrada común de 224 píxeles (excepto la variante nativa de DINOv2) utilizando similitud de coseno sobre embeddings agrupados con normalización L2. La evaluación emplea métricas de recuperación estándar (Rank-1, Recall@5, precisión media [mAP]) y métricas de verificación (ROC-AUC, Tasa de Error Igualado [EER]). Se realizó un análisis de escala cruzada específico para simular escenarios de OSINT donde las imágenes de consulta y de coincidencia se toman a diferentes niveles de zoom. La significancia estadística se determinó mediante pruebas de Wilcoxon de rangos con signo pareados e intervalos de confianza de bootstrap del 95%.

Resultados Clave

1. Ranking vs. Rendimiento Top-1: Aunque la precisión Rank-1 es alta en todos los modelos (oscilando entre 94.3% y 98.1%) y el Recall@5 supera el 99.4%, la precisión media (mAP) es significativamente menor (0.505 a 0.646). Esto indica que, si bien la mejor coincidencia única suele ser correcta, las listas de clasificación más profundas suelen mezclar superficies incorrectas, incluyendo otras muestras del mismo material.
2. Superioridad de la Familia de Modelos: Los modelos DINOv2 superan a todas las demás familias, incluyendo a CLIP. Notablemente, el modelo DINOv2 más pequeño (ViT-S/14, mAP 0.604) supera significativamente al mucho más grande CLIP ViT-L/14 (mAP 0.590). El mejor ejecutor general es DINOv2 ViT-L/14, logrando un Rank-1 de 98.1%, un mAP de 0.646 y un AUC de 0.973.
3. Limitaciones en Condiciones del Mundo Real:
   • Degradación por Escala Cruzada: Cuando la imagen de consulta y la de la galería están en diferentes niveles de zoom, el mAP disminuye para todos los modelos (por ejemplo, DINOv2 ViT-L/14 cae de 0.646 a 0.631).
   • Dependencia del Material: El rendimiento varía drásticamente según el material. Las superficies lisas y especulares (por ejemplo, papel de aluminio, pan blanco) son significativamente más difíciles de emparejar (mAP tan bajo como 0.489) que las superficies fuertemente estampadas (por ejemplo, hoja de lechuga, mAP 0.840).
4. Límites de Verificación: Incluso el mejor modelo tiene una Tasa de Error Igualado (EER) del 7.2%, lo que significa que, en un punto de operación equilibrado, aproximadamente 1 de cada 14 decisiones es incorrecta.

Contribuciones Clave

• Benchmark Reproducible: El documento establece un benchmark reproducible en KTH-TIPS2-b donde la unidad de identidad es la muestra física, utilizando pares de misma-material-diferente-muestra como negativos difíciles.
• Evaluación Honesta: Proporciona una evaluación rigurosa y estadísticamente validada de CLIP, DINOv2, ResNet-50 y EfficientNet-B0 como embedders congelados, reportando métricas de recuperación y verificación con intervalos de confianza.
• Análisis de Escala Cruzada y de Material: El estudio aísla el impacto de los cambios de zoom y las propiedades de los materiales, demostrando dónde el emparejamiento de superficies es confiable y dónde falla.
• Corrección de Consejos Comunes: Los resultados revierten la recomendación común de usar CLIP para el emparejamiento de texturas, demostrando que los modelos auto-supervisados (DINOv2) son superiores independientemente del tamaño del modelo.

Significancia y Reivindicaciones
El documento concluye que los embeddings de visión comerciales son útiles como generadores de pistas para analistas humanos, pero no respaldan afirmaciones de precisión sin condiciones para la identificación automatizada. La alta precisión Rank-1 sugiere que estas herramientas pueden presentar un candidato sólido para que un humano lo verifique, pero el mAP más bajo y el EER significativo indican que no son lo suficientemente confiables para una prueba independiente, particularmente a través de diferentes niveles de zoom o en superficies lisas.

Los autores enfatizan que una cifra de "94.7% de precisión" es engañosa sin contexto; el resumen apropiado para la práctica de OSINT es que estos modelos generan pistas que requieren verificación humana. Además, para tareas de emparejamiento de superficies específicamente, un modelo auto-supervisado (DINOv2) es el predeterminado recomendado sobre los modelos alineados con texto (CLIP), incluso cuando se comparan modelos auto-supervisados más pequeños contra modelos de texto-imagen más grandes. Todos los números reportados han sido verificados como reproducibles mediante scripts liberados y son independientes del hardware.