FashionMV: Product-Level Composed Image Retrieval with Multi-View Fashion Data

Resumo Técnico: FashionMV

1. O Problema: Incompletude de Visão (View Incompleteness)

O artigo identifica uma limitação fundamental nos métodos existentes de Recuperação de Imagem Composta (CIR - Composed Image Retrieval). Atualmente, a CIR opera no nível de imagem: um único imagem de referência + texto de modificação resultam em uma única imagem alvo.

No entanto, no comércio eletrônico de moda, os produtos são exibidos a partir de múltiplos pontos de vista (frente, costas, lado, detalhes). Usuários raciocinam sobre o produto como um todo, não apenas sobre uma única imagem. O artigo define esse descompasso como "Incompletude de Visão" (View Incompleteness).

• Exemplo: Uma modificação pode solicitar "costas abertas" baseada em uma imagem frontal que não mostra as costas. Métodos atuais falham porque não conseguem recuperar detalhes de vistas não observadas na imagem de referência.
• Limitação dos Dados Atuais: Conjuntos de dados existentes (como FashionIQ) e protocolos de avaliação operam estritamente no nível de imagem, ignorando a entidade "produto" que agrega múltiplas imagens.

2. Metodologia e Solução Proposta

Os autores propõem uma solução unificada composta por três pilares: definição de tarefa, construção de dataset e design de modelo.

A. Definição da Tarefa: CIR Multi-Visão (Multi-View CIR)
A tarefa é generalizada do nível de imagem para o nível de produto.

• Entrada: Um conjunto de imagens de múltiplas visões de um produto fonte ($V_{src}$) + texto de modificação ($T_{mod}$).
• Objetivo: Recuperar um produto alvo ($P_{tgt}$) de uma galeria onde cada produto é representado por um embedding unificado que agrega todas as suas visões.

B. Dataset: FashionMV
Foi construído o FashionMV, o primeiro dataset de grande escala para CIR no nível de produto com dados multi-visão.

• Estatísticas: 127.000 produtos, 472.000 imagens e mais de 220.000 triplets CIR.
• Pipeline Automatizado: Construído em três etapas usando Grandes Modelos Multimodais (MLLMs):
  1. Geração de Legendas Multi-visão: Uso do modelo Kimi K2.5 para gerar legendas por imagem, legendas longas (síntese de todas as visões) e legendas curtas.
  2. Filtragem de Alucinações Direcionais: Uso do Qwen3.5 para verificar erros de esquerda/direita (cruciais em moda), removendo produtos com descrições inconsistentes.
  3. Construção de Triplets: Uso do Gemini para selecionar produtos alvo e gerar textos de modificação (curtos e longos) comparando o produto fonte com candidatos, garantindo que as diferenças abranjam múltiplas visões.

C. Modelo: ProCIR (Product-level CIR)
O ProCIR é um framework baseado em um MLLM (Qwen3.5-0.8B) que emprega três mecanismos complementares:

1. Arquitetura de Diálogo em Duas Etapas (Two-Stage Dialogue):

   • Etapa 1 (Percepção): Processa apenas as imagens fonte para gerar um embedding visual puro ($s$).
   • Etapa 2 (Raciocínio): Processa o texto de modificação sobre o contexto da Etapa 1 para gerar o embedding da consulta ($q$).
   • Vantagem: Decopla a percepção visual do raciocínio de modificação, permitindo alinhamento imagem-texto no lado da fonte e inferência de baixa latência (cache de estados da Etapa 1).

2. Alinhamento Baseado em Legendas (Caption-Based Alignment):

   • Utiliza as legendas geradas (longas/curtas) para alinhar os embeddings visuais com representações textuais através de uma perda de contraste (InfoNCE). Isso injeta semântica de nível de produto no espaço de embedding.

3. Guia de Cadeia de Pensamento (Chain-of-Thought - CoT) com Remoção Progressiva:

   • Durante o treinamento, legendas longas são inseridas no bloco de pensamento do modelo para guiar o raciocínio.
   • Uma taxa de retenção ($\rho$) diminui linearmente, removendo gradualmente as legendas até que o modelo internalize o conhecimento sem depender delas na inferência.

4. Ajuste Fino Supervisionado (SFT) Opcional:

   • Uma etapa prévia de SFT para ensinar o modelo a entender produtos e gerar legendas estruturadas antes do treinamento contrastivo.

3. Resultados Experimentais

Os experimentos foram realizados em três benchmarks de moda (DeepFashion, Fashion200K, FashionGen) com 16 configurações (8 variações de mecanismos × 2 inicializações).

• Desempenho Superior: O modelo ProCIR (0.8B parâmetros) superou todos os baselines, incluindo modelos de propósito geral 10 vezes maiores (como Qwen3-V-8B).
  • Exemplo: No DeepFashion, alcançou R@5 de 89.2% (vs. 87.4% do Qwen3-V-8B).
• Ablação e Descobertas Chave:
  1. Alinhamento é Crítico: O mecanismo de alinhamento baseado em legendas foi o único mais importante. Sem ele, a arquitetura de duas etapas performou pior que a base de um único turno.
  2. Diálogo em Duas Etapas é Pré-requisito: É essencial para permitir o alinhamento no lado da fonte (já que o embedding visual puro $s$ é gerado antes da mistura com texto).
  3. Redundância entre SFT e CoT: SFT e CoT servem como caminhos de injeção de conhecimento parcialmente redundantes. Uma vez que o modelo é ajustado via SFT (internalizando a semântica do produto), o uso de CoT torna-se desnecessário e pode até prejudicar o desempenho. A melhor configuração foi MT + Align + SFT (sem CoT).

4. Contribuições Principais

1. Definição Formal: Introduziu a tarefa de CIR Multi-Visão, generalizando a recuperação de imagem composta para o nível de produto.
2. Dataset FashionMV: Criou o primeiro dataset de grande escala para essa tarefa, com pipeline totalmente automatizado, contendo 127k produtos e triplets ricos em informações multi-visão.
3. Framework ProCIR: Propôs uma arquitetura inovadora que desbloqueia a capacidade de modelos multimodais de raciocinar sobre produtos completos, demonstrando que mecanismos de alinhamento e arquitetura de diálogo são mais eficazes do que apenas aumentar o tamanho do modelo.

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica entre a pesquisa acadêmica de CIR e a realidade do comércio eletrônico. Ao demonstrar que a recuperação baseada em produtos (agregando múltiplas visões) é viável e superior, o paper estabelece um novo padrão para sistemas de busca visual em e-commerce. A descoberta de que a injeção de conhecimento via SFT pode substituir o CoT oferece insights valiosos para a eficiência de treinamento de modelos multimodais. O código, modelo e dataset estão disponíveis publicamente, fomentando avanços futuros na área.