FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

Resumo Técnico: FlowCIR

Problema
A Recuperação de Imagem Composta Zero-Shot (ZS-CIR) visa recuperar uma imagem alvo editando uma imagem de referência com base em uma instrução de linguagem natural, sem depender de tripletos anotados de domínios específicos. Os métodos atuais de ZS-CIR dependem predominantemente da inversão textual, que traduz a imagem de referência em um pequeno conjunto de tokens de pseudo-texto e os concatena com a instrução no espaço de incorporação (embedding) de texto. Os autores argumentam que essa abordagem é perdedora e frágil para semânticas finas, pois comprimir uma imagem rica em poucos tokens inevitavelmente descarta pistas visuais. Além disso, aprender projetores de inversão eficazes geralmente requer recursos computacionais substanciais (por exemplo, treinamento multi-GPU em dados de escala web). Adicionalmente, Modelos de Visão-Linguagem (VLMs) como o CLIP têm dificuldade com a negação (por exemplo, "sem cachorro" ou "remover listras"), frequentemente causando o colapso geométrico de conceitos afirmativos e negados no espaço de incorporação, levando a falhas de recuperação em consultas com muita negação.

Metodologia: FlowCIR
O artigo propõe o FlowCIR, um novo paradigma que reformula o ZS-CIR como um transporte semântico condicional dentro do espaço de incorporação de VLMs pré-treinados.

1. Transporte Semântico Condicional via Flow Matching:
   Em vez de manipulação estática de tokens, o FlowCIR trata a composição como um problema de transporte contínuo. Ele aprende um campo de velocidade condicional leve (uma ODE neural) que mapeia a incorporação da instrução relativa ($x_{Tr}$) em direção a uma incorporação de texto alinhada ao alvo ($x_{Tt}$), condicionada à incorporação da imagem de referência ($x_{Ir}$).

   • Treinamento: O modelo é treinado em tripletos sintetizados usando Conditional Flow Matching (CFM). Ele minimiza a perda de regressão entre o campo de velocidade previsto e a velocidade constante real ($x_{Tt} - x_{Tr}$) ao longo de um caminho linear.
   • Objetivo de Recuperação: Uma perda de recuperação contrastiva (InfoNCE) é adicionada, onde a incorporação de texto alvo prevista é combinada com a incorporação da imagem alvo real, utilizando top-$K$ negativos difíceis minerados do lote para aguçar a discriminação.
   • Eficiência: O modelo opera em incorporações de VLM pré-extraídas e treina apenas um módulo de transporte leve (um MLP residual profundo) sem atualizar os codificadores de imagem ou de texto. Isso permite o treinamento em aproximadamente 0,5 horas em uma única GPU.

2. Direcionamento de Múltiplas Negações (Apenas Inferência):
   Para abordar a ambiguidade geométrica da negação em VLMs, os autores propõem uma estratégia de apenas inferência.

   • Mecanismo: Ao receber uma instrução contendo negação (por exemplo, "remover X"), um parser leve decompõe a instrução em uma intenção afirmativa e conceitos negados.
   • Direcionamento (Steering): O método constrói uma incorporação de instrução direcionada que permanece alinhada com a intenção afirmativa, mas é explicitamente repelida das direções geométricas dos conceitos negados (modelados como calotas hiperesféricas). Isso empurra a representação para longe do "colapso de negação" comum no espaço CLIP antes que o processo de transporte comece.

Principais Contribuições

1. Paradigma FlowCIR: Introdução do transporte semântico condicional via flow matching como um mecanismo para CIR zero-shot, substituindo a inversão textual estática por um processo de composição contínuo e guiado por referência.
2. Direcionamento de Múltiplas Negações: Proposição de uma estratégia de apenas inferência para mitigar o modo de falha dos VLMs no tratamento de negação e instruções de remoção, melhorando significativamente a robustez em consultas com muita negação.
3. Eficiência de Treinamento: Demonstração de um protocolo de treinamento computacionalmente eficiente que alcança desempenho competitivo com apenas um módulo de transporte leve treinado por ~0,5 horas em uma única GPU, contrastando com os requisitos de múltiplos dias e múltiplas GPUs dos métodos anteriores baseados em inversão.

Resultos Experimentais
Experimentos extensos foram conduzidos em três benchmarks padrão: CIRR, CIRCO e Fashion-IQ, usando backbones CLIP ViT-B/32 e ViT-L/14.

• Desempenho: O FlowCIR alcança um desempenho forte e competitivo, muitas vezes superando métodos anteriores baseados em inversão textual (ex: SEARLE, Pic2Word) e métodos baseados em geração (ex: Compo-Diff).
  • No CIRR (ViT-L/14), ele melhora o Recall@1 em 2,3% sobre a linha de base pública anterior mais forte.
  • No CIRCO (ViT-L/14), ele melhora o mAP@5 em 14,6% (de 13,0 para 14,9).
  • No Fashion-IQ, atinge o melhor Recall@10 médio e iguala o melhor Recall@50.
• Eficiência: Conforme ilustrado na análise de desempenho-vs-custo do artigo, o FlowCIR alcança desempenho de alto nível com uma fração do tempo de treinamento (0,5h em uma única RTX 3090) comparado às linhas de base que exigem centenas de horas de GPU ou enormes clusters de TPU.
• Estudos de Ablação:
  • O Conditional Flow Matching é identificado como o principal motor de desempenho, provando que modelar a composição como transporte semântico é superior à regressão direta ou às linhas de base de apenas texto.
  • O Multi-Negative Steering fornece ganhos consistentes e complementares, particularmente em consultas com muita negação.
  • Espaço Alvo: O transporte em direção à incorporação de texto alvo (em vez da incorporação de imagem) produz melhores resultados, pois fornece um sinal mais centrado na semântica e um mapeamento mais homogêneo.

Significância e Alegações
O artigo afirma que o FlowCIR oferece um mecanismo principiado e eficiente de treinamento para composição cross-modal que evita as armadilhas da inversão textual e os altos custos das abordagens generativas. Ao formular o CIR como transporte semântico condicional, o método preserva melhor as semânticas finas e permite um processo de composição progressivo e guiado por referência. Os autores posicionam este trabalho como um passo em direção a um novo paradigma para recuperação cross-modal que vai além da composição estática, destacando que métodos baseados em fluxo podem alcançar alta precisão com overhead computacional mínimo. A estratégia de Multi-Negative Steering é destacada como uma solução prática para uma fraqueza conhecida dos modelos do tipo CLIP, melhorando a fidelidade da recuperação sem exigir dados de treinamento ou atualizações de modelo adicionais.