FIRE-CIR: Fine-grained Reasoning for Composed Fashion Image Retrieval

Resumo Técnico: FIRE-CIR

1. O Problema

A Recuperação de Imagem Composta (CIR - Composed Image Retrieval) visa encontrar uma imagem alvo que represente uma imagem de referência modificada por uma descrição textual (ex: "esta camisa, mas com mangas mais longas"). Embora os modelos recentes de Visão-Linguagem (VLMs) tenham alcançado bons resultados ao mapear imagens e textos em um espaço de embeddings compartilhado, eles enfrentam limitações críticas no domínio da moda, que exige alta granularidade:

• Cobertura Incompleta: Dificuldade em detectar e aproveitar todos os detalhes intrincados do texto e da imagem.
• Fusão Subótima: As consultas multimodais fundidas frequentemente retêm informações da imagem de referência que são incompatíveis com as restrições do texto de modificação. Isso eleva a classificação de resultados que são apenas parcialmente relevantes.
• Falta de Interpretabilidade: Os métodos baseados em similaridade de embeddings atuam como "caixas pretas", não explicando por que uma imagem foi selecionada.
• Dados de Ajuste Finais Ruins: Modelos existentes que tentam corrigir isso muitas vezes assumem que apenas a imagem alvo é relevante, ignorando que outras candidatas podem também atender à consulta (falsos negativos), o que prejudica o treinamento.

2. Metodologia

O FIRE-CIR (FIne-grained REasoning for Composed fashion Image Retrieval) introduz um framework de raciocínio visual orientado a perguntas para superar essas limitações. Em vez de depender apenas da similaridade de embeddings, o modelo executa um processo de reclassificação (re-ranking) baseado em evidências visuais explícitas.

O processo funciona em três etapas principais:

1. Geração de Perguntas Visuais (Visual Question Generation):

   • O texto de modificação é decomposto automaticamente por um LLM (Large Language Model) em um conjunto de perguntas visuais do tipo "sim/não".
   • Essas perguntas focam em atributos específicos (ex: "A saia é mais larga que na imagem de referência?").
   • O sistema determina se a resposta requer apenas a imagem candidata ou uma comparação entre a imagem de referência e a candidata.

2. Construção de Dataset e Ajuste Fino (Fine-Tuning):

   • Os autores criaram um novo dataset de VQA (Visual Question Answering) específico para moda, contendo mais de 413 mil pares de pergunta-imagem.
   • Balanceamento: Para evitar viés linguístico (onde o modelo apenas adivinha "sim"), o dataset foi balanceado com respostas "sim" e "não" amostrando imagens não-alvo.
   • Anotação Automática: Um VLM maior (InternVL-3-78B) foi usado para anotar automaticamente as imagens não-alvo, permitindo o treinamento sem anotações manuais detalhadas.
   • O modelo VQA (InternVL-3-1B) foi ajustado finamente usando LoRA (Low-Rank Adaptation) neste dataset.

3. Inferência e Fusão de Pontuação:

   • Durante a recuperação, o modelo gera perguntas para cada imagem candidata e calcula a probabilidade de as respostas estarem alinhadas com o texto de modificação, gerando uma pontuação VQA.
   • Essa pontuação é combinada com a pontuação original de um método CIR baseado em similaridade (ex: CLIP4CIR, FashionBLIP-2).
   • Uma função de fusão ponderada (usando uma função sigmoide-like) reclassifica as imagens: penaliza aquelas incompatíveis com o texto e promove aquelas que aplicam corretamente as mudanças, mantendo a similaridade visual geral.

3. Principais Contribuições

• Abordagem de Raciocínio Orientado a Perguntas: Um novo método que permite comparações granulares entre a imagem de referência e as candidatas, decompondo a intenção do usuário em verificações visuais explícitas.
• Dataset VQA Específico para Moda: Um dataset de grande escala, automaticamente anotado e balanceado, que inclui análises de imagem única e dupla, adaptando o raciocínio do modelo ao domínio da moda sem depender de anotações CIR detalhadas.
• Método Plug-in de Reclassificação: Uma solução modular que pode ser integrada a qualquer modelo CIR existente para melhorar seu desempenho e fornecer insights interpretáveis (nível de atributo) sobre as decisões de recuperação.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark Fashion IQ e em duas variantes refinadas (enhFashionIQ e Refined-FashionIQ).

• Desempenho de Recuperação: O FIRE-CIR superou os métodos state-of-the-art (SOTA). Ao combinar com o modelo FashionBLIP-2, alcançou um aumento de 2,43% na Recall@10 média, superando o DetailFusion.
• Melhoria em Modelos Existentes: A aplicação do FIRE-CIR como reclassificador melhorou consistentemente o desempenho de três modelos base (CLIP4CIR, SPRC e FashionBLIP-2) em todas as métricas (Recall e MRR) e em todos os conjuntos de dados testados.
• Análise de Componentes: Estudos de ablação mostraram que a decomposição em múltiplas perguntas, o ajuste fino do modelo VQA e a fusão de pontuação contribuem progressivamente para o ganho de desempenho, especialmente na precisão dos top-10 resultados.
• Eficiência: O modelo utiliza uma arquitetura leve (1B parâmetros) que é cerca de 3 vezes mais rápida que modelos maiores (13B), mantendo alta precisão após o ajuste fino. O tempo de inferência é escalável (ex: ~9,5 segundos por consulta para reclassificar 250 candidatos em uma GPU H100).

5. Significância e Impacto

O FIRE-CIR representa um avanço significativo na recuperação de imagens de moda ao introduzir raciocínio composicional e interpretabilidade em um domínio tradicionalmente dominado por abordagens de "caixa preta".

• Interpretabilidade: Ao gerar perguntas e respostas, o sistema explica quais atributos visuais justificaram a classificação de uma imagem, aumentando a confiança do usuário e do desenvolvedor.
• Robustez: A capacidade de lidar com "falsos negativos" (imagens candidatas que também são relevantes) através do dataset balanceado torna o modelo mais robusto a ruídos nos dados de treinamento.
• Aplicabilidade Prática: A abordagem modular permite que e-commerces de moda integrem essa tecnologia para refinar buscas complexas, melhorando a experiência do usuário ao encontrar produtos que atendem a modificações específicas de estilo.

Em suma, o FIRE-CIR demonstra que a decomposição de consultas complexas em verificações visuais granulares, apoiada por dados de treinamento especializados, supera as limitações dos métodos de fusão de embeddings tradicionais na recuperação de imagens de moda.