Visual Product Search Benchmark

Resumen Técnico: Benchmark de Búsqueda Visual de Productos

1. El Problema
La identificación precisa de productos a partir de imágenes es un requisito crítico en aplicaciones industriales y comerciales (mantenimiento, compras, flujos operativos). El desafío central reside en la búsqueda de instancias a nivel de imagen (instance-level image retrieval), donde el sistema debe recuperar la misma instancia física exacta de un objeto, no simplemente un objeto de la misma categoría semántica.

• Desafíos específicos: Los catálogos industriales suelen contener miles de millones de ítems con similitud visual extrema (diferencias geométricas mínimas, texturas, marcas), condiciones de captura heterogéneas (luz, oclusión, fondos desordenados) y un desplazamiento de dominio significativo entre las imágenes de referencia (catálogo) y las de consulta (capturadas por usuarios).
• Limitación actual: Los modelos de fundación (foundation models) y los embeddings unificados multimodales, aunque excelentes en tareas semánticas generales, a menudo fallan en distinguir instancias casi idénticas en entornos industriales, ya que están entrenados para similitud semántica amplia y no para discriminación fina de instancias.

2. Metodología
El estudio presenta un benchmark estructurado que evalúa modelos de embeddings visuales modernos bajo un protocolo unificado de búsqueda imagen-a-imagen, sin post-procesamiento ni ajuste fino (fine-tuning) en los datos de prueba (configuración zero-shot), excepto para los modelos específicos de dominio.

• Conjunto de Datos: Se evaluaron 8 datasets que combinan:
  • 4 datasets industriales privados (nyris): Derivados de despliegues reales en Manufactura (Clips-and-Connectors), Automoción, Bricolaje (DIY) y Retail (Muebles). Estos presentan condiciones de captura no controladas y alta similitud intra-clase.
  • 4 datasets públicos: SOP (Stanford Online Products), Products-10K, ILIAS y otros benchmarks establecidos para permitir comparabilidad con la literatura existente.
• Modelos Evaluados: Se compararon tres categorías de arquitecturas:
  1. Modelos de Codificador Bi-Encoder: (ej. PE-Core, SigLIP2, Vertex AI) que alinean texto e imagen en espacios compartidos.
  2. Modelos de Embedding Unificado Multimodal: (ej. Jina Embeddings v4, Cohere Embed v4, Gemini Embedding 2, Nomic) optimizados para recuperación semántica multimodal.
  3. Modelos Solo Visión (Vision-Only): Incluyendo modelos genéricos (DINOv2, DINOv3) y modelos específicos de dominio desarrollados por nyris (AEM v1 para automoción, GEM v5.1 general).
• Protocolo de Evaluación:
  • Se utilizaron métricas estándar de recuperación: Recall@1 (R@1), Recall@5 (R@5) y mAP@20 (Precisión Media Promedio).
  • La búsqueda se realizó mediante búsqueda exacta (full scan) usando similitud de producto punto (equivalente a similitud coseno tras normalización L2) sobre una base de datos vectorial (Qdrant).
  • Se aisló estrictamente la etapa de recuperación visual para medir la capacidad intrínseca de los embeddings.

3. Contribuciones Clave

• Benchmark Industrial Realista: A diferencia de los benchmarks académicos que a menudo carecen de ruido y variabilidad del mundo real, este estudio introduce datasets derivados de despliegues industriales reales que reflejan las dificultades de la identificación exacta de piezas.
• Evaluación Comparativa Unificada: Proporciona una comparación justa y estandarizada entre modelos de código abierto, comerciales (API) y modelos propietarios, evaluados bajo las mismas condiciones de inferencia.
• Análisis de Transferencia: Investiga hasta qué punto los modelos de fundación multimodales (entrenados en web a gran escala) pueden transferir su conocimiento a tareas de recuperación de instancias finas en dominios industriales, donde la información textual es escasa o poco descriptiva.
• Recursos Interactivos: Lanzamiento de un sitio web companion (benchmark.nyris.io) para visualizar resultados, detalles de evaluación y comportamientos de recuperación.

4. Resultados Principales

• Rendimiento General: El modelo GEM v5.1 (un modelo de visión-only desarrollado internamente por nyris, optimizado para dominios industriales) obtuvo el mejor rendimiento global, alcanzando un R@1 promedio del 58.3% y un mAP@20 del 49.5%.
• Brecha en Dominios Industriales:
  • En datasets privados (especialmente Clips-and-Connectors y Automotive), los modelos de fundación genéricos (como DINOv3, SigLIP2, Gemini) mostraron un rendimiento significativamente inferior. Por ejemplo, en Clips-and-Connectors, GEM v5.1 logró un 63.4% R@1, mientras que el mejor modelo genérico (DINOv3) solo alcanzó un 26.4%.
  • Algunos modelos multimodales fallaron completamente en ciertos dominios industriales (ej. SigLIP2 obtuvo 0.0% R@1 en el dataset DIY), demostrando sensibilidad a componentes mecánicos estructurados y patrones visuales repetitivos.
• Rendimiento en Datasets Públicos: En benchmarks públicos (SOP, Products-10K), los modelos multimodales (Gemini Embedding 2, Cohere Embed v4) mostraron un rendimiento competitivo y robusto, superando a menudo a los modelos solo visión genéricos. Sin embargo, incluso aquí, GEM v5.1 mantuvo la ventaja.
• Modelos Específicos de Dominio: El modelo AEM v1 (específico para automoción) superó a los modelos genéricos en su dominio objetivo (32.5% R@1 vs 28.2%), pero su especialización limitó su aplicabilidad en otros datasets, ilustrando la compensación entre especialización y generalización.
• Calidad de la Clasificación: Las mejoras en mAP@20 fueron consistentes para el modelo líder, indicando que no solo mejora la identificación inmediata (R@1), sino que también ofrece una lista de candidatos más estable y ordenada, crucial para flujos de trabajo con post-procesamiento.

5. Significancia e Implicaciones

• Distinción Semántica vs. Instancia: El estudio demuestra que la similitud semántica (lograda por modelos multimodales) no es suficiente para la identificación industrial. En mantenimiento y operaciones, recuperar "un tornillo similar" es inútil; se requiere la "misma pieza exacta".
• Limitaciones de los Modelos de Fundación: Los resultados sugieren que el entrenamiento masivo en pares imagen-texto de la web no garantiza robustez en escenarios de recuperación de instancias finas con desplazamiento de dominio severo.
• Necesidad de Especialización: Para aplicaciones industriales críticas, los modelos deben ser optimizados con datos que reflejen las condiciones de captura reales y las características visuales finas del dominio, o bien requerir estrategias de adaptación específicas.
• Transparencia y Colaboración: El benchmark busca cerrar la brecha entre la investigación académica y la industria, proporcionando una evaluación realista que ayude a los practicantes a seleccionar modelos adecuados para sistemas de producción y fomentando la investigación en embeddings visuales más alineados con las necesidades del mundo real.

En conclusión, el documento establece que, aunque los modelos multimodales unificados son potentes para la búsqueda semántica general, los sistemas de identificación de productos industriales requieren arquitecturas o estrategias de entrenamiento que prioricen la discriminación visual fina y la robustez ante condiciones de captura no controladas.