Resumen Técnico: ZooClaw-FashionSigLIP2

Planteamiento del Problema

Adaptar los codificadores de visión-lenguaje (VLE) de base a tareas de recuperación especializadas presenta un compromiso fundamental: las ganancias en la distribución objetivo suelen tener como coste la capacidad de generalización fuera de la distribución (OOD) del modelo base. La recuperación de moda es un caso estricto de este problema, que requiere que los modelos gestionen tanto consultas cortas basadas en palabras clave (p. ej., "vestido largo floral rojo") como descripciones de catálogo detalladas y ricas en atributos. Aunque los VLE preentrenados como SigLIP2 ofrecen capacidades zero-shot sólidas, carecen de las distinciones visuales y textuales finas necesarias para la relevancia en la moda. Por el contrario, el ajuste fino (fine-tuning) específico del dominio suele sacrificar la robustez OOD, fallando al generalizar a catálogos no vistos o diferentes estilos de consulta.

Metodología

Los autores proponen ZooClaw-FashionSigLIP2, un modelo SigLIP2-base especializado en moda diseñado para resolver la tensión entre especialización y generalización mediante una receta de tres etapas:

1. Ajuste Fino Completo con Destilación de Conocimiento:

   • Arquitectura: Los autores utilizan el ajuste fino completo en lugar de métodos de eficiencia de parámetros (como LoRA), argumentando que las actualizaciones de rango completo son necesarias para absorber los objetivos multitarea y los regularizadores de destilación.
   • Objetivo de Entrenamiento: El modelo se entrena utilizando una Pérdida Contrastiva Generalizada (GCL) que incorpora puntuaciones de relevancia graduadas (0–10) para aprovechar las etiquetas suaves (soft labels). Esto se combina con una formulación multitarea que gestiona tanto consultas cortas (≤8 palabras) como consultas largas (30–60 palabras).
   • Destilación: Para evitar el olvido catastrófico de las capacidades OOD, los autores aplican Aprendizaje sin Olvido (LwF). Una copia congelada del modelo base SigLIP2 actúa como profesor, minimizando la distancia de coseno entre los embeddings de imagen del estudiante y del profesor.

2. Interpolación de Pesos WISE-FT:

   • Siguiendo el enfoque WISE-FT, el modelo final se construye interpolando linealmente entre los pesos del modelo base ($\theta_0$) y los pesos del modelo ajustado ($\theta_{ft}$): $\theta_\alpha = (1-\alpha)\theta_0 + \alpha\theta_{ft}$.
   • Se realiza un barrido del coeficiente de interpolación $\alpha$ para encontrar un punto operativo que maximice el margen mínimo sobre las líneas base en todos los benchmarks. Los autores seleccionan $\alpha=0.4$, lo que equilibra la especialización en el dominio con la retención de la capacidad OOD.

3. Construcción de Datos:

   • Entrenamiento: Derivado de un catálogo propietario (Gensmo) que contiene atributos estructurados (color, material, estilo, etc.). Las consultas cortas y largas se generan utilizando Gemma-4-31B, condicionada a conjuntos de atributos muestreados o conjuntos de atributos completos, respectivamente.
   • Evaluación: Los autores introducen ZooClaw-Fashion, un nuevo benchmark de alta calidad con 2,000 consultas y 12,000 imágenes, que cuenta con etiquetas de relevancia puntuadas por un VLM.

Contribuciones Clave

1. Rendimiento del Modelo y Validación de la Receta

El artículo demuestra que la receta propuesta (Full FT + Distillation + WISE-FT) supera a enfoques alternativos:

• Superioridad sobre LoRA: Ablaciones extensas muestran que ninguna configuración de LoRA iguala al ajuste fino completo en recuperación de dominio o proporciona una base tan sólida para "model soups".
• Superioridad sobre el Escalado: Simplemente escalar la arquitectura (hasta 1B de parámetros) produce rendimientos decrecientes en benchmarks OOD e incluso puede degradar el rendimiento en comparación con el modelo base.
• Superioridad sobre Datos Externos: La adición de datos externos (MARQO-FASHION) degradó consistentemente el rendimiento, debido a un desajuste de distribución.

2. Análisis de Calidad del Benchmark y Reevaluación Agrupada

Una contribución significativa es el análisis sistemático del benchmark Fashion200k. Los autores identifican que la verdad de campo (ground truth) pública está sesgada hacia la "recuperación de la instancia fuente de la leyenda" (vinculando las consultas únicamente a la imagen de la cual se generó la leyenda), favoreciendo sistemáticamente a los modelos entrenados con la misma distribución de leyendas.

• Reevaluación Agrupada (Pooled Re-evaluation): Para permitir una comparación justa, los autores aplican un protocolo de tipo TREC. Agrupan las 10 mejores recuperaciones de todos los sistemas, las califican usando Gemma-4-31B en una escala de 1 a 5, y reevalúan las métricas.
• Resultado: Bajo esta evaluación agrupada y justa, ZooClaw-FashionSigLIP2 lidera o empata a todas las líneas base en cada métrica, mientras que la verdad de campo original favorecía a Marqo-fashionSigLIP.

3. Lanzamiento de Código Abierto

Los autores liberan:

• Los pesos del modelo ZooClaw-FashionSigLIP2.
• El benchmark de evaluación ZooClam-Fashion.
• Los artefactos de la reevaluación agrupada de Fashion200k (102,494 juicios calificados) para facilitar la investigación reproducible.

Resultados

Bajo una evaluación justa, ZooClaw-FashionSigLIP2 logra resultados de vanguardia (SOTA) en toda la suite:

• ZooClaw-Fashion: Lidera en R@1, R@10 y MRR tanto para consultas cortas como largas.
• H&M: Lidera en R@10 y MRR.
• Fashion200k (Agrupado): Supera a Marqo-fashionSigLIP por +0.003 en R@10 agrupado y +0.012 en nDCG@10 agrupado (con umbral de relevancia $\ge$ 3).
• Robustez: El modelo mantiene un sólido rendimiento en benchmarks OOD (Fashion200k, H&M) mientras sobresale en el benchmark de dominio in-domain ZooClaw-Fashion, navegando con éxito el compromiso que típicamente afecta a los modelos ajustados.

Significado

El artículo afirma que ZooClaw-FashionSigLIP2 resuelve la tensión entre el rendimiento en el dominio y la generalización OOD mediante una receta simple y efectiva de ajuste fino completo con destilación e interpolación de pesos. Desafía la eficacia de los métodos de eficiencia de parámetros (LoRA) y el simple escalado de la arquitectura para este dominio específico. Además, el trabajo destaca la importancia crítica de la calidad de los benchmarks, demostrando que los benchmarks estándar de recuperación de moda pueden contener sesgos estructurales que oscurecen las capacidades reales de los modelos. Al liberar un protocolo de evaluación corregido y nuevos benchmarks, los autores pretenden proporcionar una base más fiable para la investigación futura en la recuperación de moda.