Structured Semantic Supervision for Annotation-Scarce Composed Image Retrieval

Resumo Técnico: Supervisão Semântica Estruturada para Recuperação de Imagens Compostas com Escassez de Anotação

Definição do Problema
A Recuperação de Imagens Compostas (CIR) visa identificar uma imagem alvo combinando uma imagem de referência com uma modificação textual (ex: "mesmo vestido, mas vermelho"). Embora os métodos supervisionados existentes alcancem alto desempenho, eles dependem fortemente de tripletos $\langle I_r, T_m, I_t \rangle$ anotados manualmente, que são caros de produzir e escassos em domínios alvo. Métodos de CIR Zero-Shot (ZS-CIR) tentam contornar isso aproveitando modelos de linguagem-visão (VLMs) pré-treinados, mas enfrentam três obstáculos principais na implantação em domínios alvo: (1) supervisão gerada fracamente restrita que carece de estrutura, (2) representações de vetor único grosseiras que emaranham a preservação do sujeito com as mudanças de atributos, e (3) o alto custo computacional do aprimoramento de consulta de modelos grandes online. Este artigo aborda o desafio de adaptar modelos de CIR para domínios alvo não rotulados, focando na edição de atributos finos e na recuperação de domínio aberto.

Metodologia
O framework proposto introduz um pipeline de supervisão semântica estruturada que converte imagens não rotuladas de domínios alvo em sinais de treinamento reutilizáveis, seguido por uma arquitetura de recuperação de múltiplos vetores.

1. Construção de Âncora Semântica Estruturada:
   Um Agente Semântico offline (utilizando um VLM/LLM como o Qwen-VL-Flash) processa imagens não rotuladas para gerar "âncoras semânticas". Diferente de legendas de texto livre, estas âncoras são restritas por campos e consistem em três componentes:

   • Descrição Global ($\bar{d}$): Uma frase concisa e restrita por template que descreve o sujeito central e o contexto discriminativo.
   • Conjunto de Atributos ($p$): Uma lista de propriedades visuais editáveis (ex: cor, material, comprimento da manga).
   • Conjunto de Entidades ($e$): Objetos ou partes salientes que devem ser preservados ou explicitamente alterados.
     O agente emprega um loop de controle de qualidade envolvendo referências visuais de vizinhos mais próximos para garantir consistência, filtrar alucinações e validar a completude dos campos.

2. Inferência de Âncora Alvo:
   Para uma determinada imagem de referência $I_r$ e um texto de modificação gerado $T_m$, o sistema infere uma âncora alvo $\hat{A}_t = \Gamma(A(I_r), T_m)$. Esta âncora inferida especifica a semântica esperada após a edição, formando um pseudo-triplet $\tilde{\tau} = (I_r, T_m, \hat{A}_t)$ para treinamento. Os textos de modificação são gerados em três formas: atributo único, múltiplos atributos e descritivo coloquial, para cobrir diversas intenções de edição.

3. Representação Multi-Vetor Dirigida por Query-Slot:
   O modelo de recuperação utiliza um backbone CLIP congelado e um Query-Transformer treinável que agrega características de patches de imagem e tokens de texto em $N_q$ slots de consulta ($Z = [z_1, \dots, z_{N_q}]$). Esta abordagem multi-vetor permite que o modelo separe a preservação do sujeito da variação de atributos. Um mecanismo de filtragem de similaridade seleciona os slots mais relevantes para campos semânticos específicos (descrição, atributo, entidade) para reduzir o ruído de regiões irrelevantes.

4. Aprendizado Conjunto Mascarado Multi-Visão:
   Para alinhar o modelo com condições de recuperação do mundo real, é empregada uma estratégia de treinamento multi-visão:

   • Text-Mask (Máscara de Texto): Mascara todo o texto para aprender representações de galeria estáveis, apenas de imagem.
   • Img-Mask (Máscara de Imagem): Mascara aleatoriamente patches de imagem enquanto retém o texto de atributo para forçar o alinhamento consciente de atributos.
   • No-Mask (Sem Máscara): Utiliza referência e texto completos para simular a modelagem de consulta online.
     O objetivo geral combina perda de preservação, perda de alinhamento de âncora estruturada (através dos campos de descrição, atributo e entidade) e perda de consistência multi-visão.

Principais Contribuições

1. Protocolo de Supervisão Gerada Estruturada: Um framework reutilizável que organiza a supervisão gerada em um esquema restrito por campos (descrição global, atributos, entidades) via um agente offline, permitindo a adaptação de domínio alvo sem tripletos manuais.
2. Representação Multi-Vetor Dirigida por Query-Slot: Uma arquitetura cross-modal que desacopla explicitamente a semântica do sujeito das variações de atributos usando múltiplos vetores de recuperação e filtragem de similaridade, abordando os problemas de emaranhamento de embeddings de vetor único.
3. Treinamento de Consistência Mascarado Multi-Visão: Uma estratégia de treinamento que alinha o indexamento da galeria, o aprendizado consciente de atributos e a modelagem de consulta online sob diferentes condições de visibilidade de informação (Text-Mask, Img-Mask, No-Mask).

Resultados Experimentais
O método foi avaliado no FashionIQ (moda de detalhes finos) e CIRR (domínio aberto) sob uma configuração de adaptação de domínio alvo zero-shot.

• FashionIQ: A abordagem alcançou uma média de R@10 de 31,81 e R@50 de 53,07 (usando ViT-L/14). Isso superou o baseline zero-shot mais forte (FTI4CIR) em 2,42 e 2,19 pontos percentuais, respectivamente. Também superou outros métodos de ZS-CIR como SEARLE e LinCIR.
• CIRR: O modelo obteve R@1 = 24,20, R@5 = 55,18, R@10 = 66,71 e R@50 = 90,30. Embora ligeiramente inferior a alguns métodos supervisionados em precisão relacional de topo, demonstrou forte recall amplo (alto R@50), competitivo com métodos como LDRE e FTI4CIR.
• Estudos de Ablação: A remoção dos componentes de âncora estruturada (Sujeito, Atributo, Contexto) ou das estratégias de mascaramento multi-visão resultou em quedas significativas de desempenho, confirmando a necessidade de supervisão estruturada e das visões de treinamento específicas.

Significância e Alegações
O artigo afirma que a supervisão semântica estruturada oferece uma rota controlável para adaptar modelos de CIR para domínios alvo onde tripletos anotados não estão disponíveis. Ao organizar os dados gerados em campos explícitos e usar uma representação multi-vetor, o método lida efetivamente com a edição de atributos finos (particularmente em moda) sem exigir anotação manual cara ou inferência online pesada.

Os autores observam modestamente que, embora o framework se destaque em edições baseadas em atributos e detalhes locais, enfrenta desafios com edições que exigem raciocínio relacional complexo, mudanças de perspectiva ou intenção abstrata. A significância reside na mudança do paradigma de "escala de dados gerados" para "estrutura da supervisão gerada", fornecendo uma solução de adaptação offline leve para busca visual interativa e cenários de e-commerce, onde o feedback do usuário é frequentemente específico de atributos.