Resumo Técnico: ZooClaw-FashionSigLIP2

Declaração do Problema

Adaptar codificadores de visão-linguagem (VLEs) de fundação para tarefas de recuperação especializadas apresenta um compromisso fundamental: os ganhos na distribuição alvo frequentemente ocorrem à custa da generalização de fundação fora da distribuição (OOD) do modelo base. A recuperação de moda é um caso rigoroso deste problema, exigindo que os modelos lidem tanto com consultas curtas, baseadas em palavras-chave (ex: "vestido longo floral vermelho") quanto com descrições de catálogo detalhadas e ricas em atributos. Embora os VLEs pré-treinados como o SigLIP2 ofereçam fortes capacidades zero-shot, eles carecem das distinções visuais e textuais finas necessárias para a relevância na moda. Inversamente, o ajuste fino (fine-tuning) específico do domínio costuma sacrificar a robustez OOD, falhando em generalizar para catálogos não vistos ou diferentes estilos de consulta.

Metodologia

Os autores propõem o ZooClaw-FashionSigLIP2, um modelo SigLIP2-base especializado em moda, projetado para resolver a tensão entre especialização e generalização através de uma receita de três estágios:

1. Ajuste Fino Completo com Destilação de Conhecimento:

   • Arquitetura: Os autores utilizam o ajuste fino completo em vez de métodos de eficiência de parâmetros (como LoRA), argumentando que atualizações de rank total são necessárias para absorver objetivos multitarefa e regularizadores de destilação.
   • Objetivo de Treinamento: O modelo é treinado usando uma Perda de Contraste Generalizada (GCL) que incorpora pontuações de relevância graduadas (0–10) para aproveitar rótulos suaves (soft labels). Isso é combinado com uma formulação multitarefa que lida tanto com consultas curtas (≤8 palavras) quanto com consultas longas (30–60 palavras).
   • Destilação: Para evitar o esquecimento catastrófico das capacidades OOD, os autores aplicam o Aprendizado sem Esquecimento (LwF). Uma cópia congelada do modelo base SigLIP2 atua como professor, minimizando a distância de cosseno entre os embeddings de imagem do aluno e do professor.

2. Interpolação de Pesos WISE-FT:

   • Seguindo a abordagem WISE-FT, o modelo final é construído interpolando linearmente entre os pesos do modelo base ($\theta_0$) e os pesos do modelo ajustado ($\theta_{ft}$): $\theta_\alpha = (1-\alpha)\theta_0 + \alpha\theta_{ft}$.
   • O coeficiente de interpolação $\alpha$ é testado para encontrar um ponto de operação que maximize a margem mínima sobre os baselines em todos os benchmarks. Os autores selecionam $\alpha=0.4$, que equilibra a especialização no domínio com a retenção de OOD.

3. Construção de Dados:

   • Treinamento: Derivado de um catálogo proprietário (Gensmo) contendo atributos estruturados (cor, material, estilo, etc.). Consultas curtas e longas são geradas usando o Gemma-4-31B, condicionadas a atributos amostrados ou conjuntos completos de atributos, respectivamente.
   • Avaliação: Os autores introduzem o ZooClaw-Fashion, um novo benchmark de alta qualidade com 2.000 consultas e 12.000 imagens, apresentando rótulos de relevância pontuados por VLM.

Principais Contribuições

1. Desempenho do Modelo e Validação da Receita

O artigo demonstra que a receita proposta (Full FT + Destilação + WISE-FT) supera abordagens alternativas:

• Superioridade sobre o LoRA: Ablações extensas mostram que nenhuma configuração de LoRA iguala o ajuste fino completo em recuperação no domínio ou fornece uma base tão forte para "model soups".
• Superioridade sobre Escalonamento: Simplesmente escalar o backbone (até 1B de parâmetros) gera retornos decrescentes em benchmarks OOD e pode até degradar o desempenho em comparação ao modelo base.
• Superioridade sobre Dados Externos: A adição de dados externos (MARQO-FASHION) degradou consistentemente o desempenho, atribuído ao descompasso de distribuição.

2. Análise de Qualidade do Benchmark e Reavaliação Agrupada

Uma contribuição significativa é a análise sistemática do benchmark Fashion200k. Os autores identificam que o ground truth público é enviesado para a "recuperação de instância de origem da legenda" (vinculando consultas apenas à imagem da qual a legenda foi gerada), favorecendo sistematicamente modelos treinados na mesma distribuição de legendas.

• Reavaliação Agrupada (Pooled Re-evaluation): Para permitir uma comparação justa, os autores aplicam um protocolo de agrupamento estilo TREC. Eles agregam as 10 principais recuperações de todos os sistemas, pontuam-nas usando Gemma-4-31B em uma escala de 1 a 5, e reavaliam as métricas.
• Resultado: Sob esta avaliação justa e agrupada, o ZooClaw-FashionSigLIP2 lidera ou empata com todos os baselines em todas as métricas, enquanto o ground truth original favorecia o Marqo-fashionSigLIP.

3. Lançamento Open-Source

Os autores liberam:

• Os pesos do modelo ZooClaw-FashionSigLIP2.
• O benchmark de avaliação ZooClaw-Fashion.
• Os artefatos de reavaliação agrupada do Fashion200k (102.494 julgamentos pontuados) para facilitar a pesquisa reproduzível.

Resultados

Sob avaliação justa, o ZooClaw-FashionSigLIP2 alcança resultados de estado da arte em toda a suíte:

• ZooClaw-Fashion: Lidera em R@1, R@10 e MRR para consultas curtas e longas.
• H&M: Lidera em R@10 e MRR.
• Fashion200k (Agrupado): Supera o Marqo-fashionSigLIP em +0.003 no R@10 agrupado e +0.012 no nDCG@10 agrupado (com limiar de relevância $\ge$ 3).
• Robustez: O modelo mantém um forte desempenho em benchmarks OOD (Fashion200k, H&M) enquanto excela no benchmark de domínio in-domain ZooClaw-Fashion, navegando com sucesso pelo compromisso que tipicamente aflige modelos com ajuste fino.

Significância

O artigo afirma que o ZooClaw-FashionSigLIP2 resolve a tensão entre o desempenho no domínio e a generalização OOD através de uma receita simples e eficaz de ajuste fino completo com destilação e interpolação de pesos. Ele desafia a eficácia de métodos de eficiência de parâmetros (LoRA) e o simples escalonamento de backbone para este domínio específico. Além disso, o trabalho destaca a importância crítica da qualidade do benchmark, demonstrando que os benchmarks padrão de recuperação de moda podem conter vieses estruturais que obscurecem as reais capacidades dos modelos. Ao liberar um protocolo de avaliação corrigido e novos benchmarks, os autores visam fornecer uma base mais confiável para pesquisas futuras em recuperação de moda.