TEMA: Anchor the Image, Follow the Text for Multi-Modification Composed Image Retrieval

1. Problema e Motivação

A Recuperação de Imagem Composta (CIR - Composed Image Retrieval) permite que os usuários recuperem uma imagem-alvo utilizando uma consulta multimodal composta por uma "imagem de referência" e um "texto de modificação". Embora o campo tenha avançado, os métodos atuais enfrentam limitações críticas quando aplicados a cenários do mundo real que exigem modificações complexas:

• Cobertura Insuficiente de Entidades (Insufficient Entity Coverage): Os textos de modificação tradicionais são curtos e focam apenas em alterações salientes, ignorando frequentemente entidades secundárias que também precisam ser modificadas.
• Desalinhamento Cláusula-Entidade (Clause-Entity Misalignment): Em cenários reais, uma única cláusula de texto pode restringir múltiplas entidades (ex: "mudar três cães para huskies"), ou múltiplas cláusulas podem restringir a mesma entidade (ex: alterar a bainha, o ombro e o cinto de um vestido simultaneamente). Modelos existentes falham ao tentar mapear essas relações complexas "um-para-muitos" e "muitos-para-um".
• Falta de Dados Adequados: Os conjuntos de dados existentes (como FashionIQ e CIRR) utilizam textos curtos e pouco detalhados, não refletindo a complexidade das instruções de modificação necessárias em aplicações práticas.

2. Metodologia Proposta: TEMA

Os autores propõem o TEMA (Text-oriented Entity Mapping Architecture), o primeiro framework CIR projetado para lidar com múltiplas modificações, mantendo compatibilidade com modificações simples. A arquitetura consiste em dois componentes principais:

A. Novos Conjuntos de Dados (M-FashionIQ e M-CIRR)

Para superar a falta de dados, os autores construíram duas novas versões dos conjuntos de dados clássicos:

• M-FashionIQ (domínio de moda) e M-CIRR (domínio aberto).
• Processo de Anotação: Utilizaram Modelos de Linguagem Multimodal (MLLMs, especificamente Llama 3.2) para gerar Textos de Modificação Múltipla (MMT - Multi-Modification Texts). Esses textos são instruções ricas e detalhadas que descrevem passo a passo a transformação da imagem de referência para a alvo.
• Validação: Um processo híbrido (IA + revisão humana) foi aplicado para garantir consistência, precisão e diversidade, eliminando alucinações e garantindo que o texto de modificação dependa da imagem de referência.

B. Arquitetura do Modelo TEMA

O TEMA utiliza um codificador de imagem e texto baseado no BLIP e introduz duas inovações:

1. Assistente de Análise de MMT (MMT Parsing Assistant - PA):

   • Função: Atua apenas durante o treinamento.
   • Mecanismo: Utiliza um LLM para resumir o texto de modificação complexo (MMT) em uma frase concisa que lista todas as entidades a serem modificadas.
   • Detector de Consistência: Verifica se o resumo cobre todas as entidades mencionadas no MMT original, garantindo que nenhuma entidade seja ignorada.
   • Objetivo: Fornecer um "guia" forte para o modelo focar nas entidades corretas, mitigando o problema de cobertura insuficiente.

2. Mapeamento de Entidades Orientado a MMT (MMT-oriented Entity Mapping - EM):

   • Função: Atua tanto no treinamento quanto na inferência.
   • Mecanismo: Utiliza consultas aprendíveis (learnable queries) para agrupar as múltiplas cláusulas de texto relacionadas à mesma entidade visual.
   • Mapeamento Textual: Consolida as cláusulas do texto em representações de entidades específicas, guiadas pelo resumo gerado pelo PA.
   • Mapeamento Visual: Agrupa as características visuais locais da imagem de referência correspondentes às mesmas entidades.
   • Objetivo: Resolver o desalinhamento cláusula-entidade, consolidando informações dispersas e alinhando-as com as entidades visuais corretas.

Funções de Perda: O modelo é treinado com uma combinação de perda de classificação baseada em lote, regularização ortogonal (para garantir que as representações de diferentes entidades sejam semanticamente independentes) e uma estratégia de destilação guiada por resumo.

3. Principais Contribuições

1. Identificação de Lacunas: Demonstrar empiricamente que os modelos CIR atuais sofrem significativamente em cenários de múltiplas modificações devido à falta de cobertura de entidades e desalinhamento estrutural.
2. Novos Benchmarks: Criação dos datasets M-FashionIQ e M-CIRR, que contêm anotações ricas em instruções (MMT), servindo como novos padrões para avaliar a capacidade de CIR em cenários realistas.
3. Framework TEMA: Proposta de uma nova arquitetura que introduz o conceito de mapeamento de entidades orientado a texto, permitindo que o modelo aprenda a cobrir múltiplas entidades e agregue múltiplas cláusulas de modificação de forma robusta.
4. Desempenho Superior: Validação de que o TEMA supera os métodos state-of-the-art (SOTA) tanto nos cenários de múltiplas modificações (novos datasets) quanto nos cenários tradicionais (datasets originais).

4. Resultados Experimentais

• Desempenho em M-FashionIQ e M-CIRR: O TEMA alcançou os melhores resultados em todas as métricas (R@10, R@50) em comparação com baselines fortes (como TIRG, CLVC-Net, BLIP4CIR, Candidate).
  • No M-FashionIQ, obteve um R@10 de 50.59% (vs. 47.38% do melhor baseline anterior).
  • No M-CIRR, obteve um R@5 de 88.17% (vs. 84.61% do baseline).
• Generalização: O modelo manteve alto desempenho nos datasets originais (FashionIQ e CIRR), provando que a arquitetura não sacrifica a capacidade de lidar com modificações simples.
• Estudos de Ablação:
  • A remoção do módulo PA causou uma queda drástica de desempenho, confirmando a importância do resumo de entidades para o treinamento.
  • A remoção do módulo EM também resultou em queda significativa, validando a necessidade de agrupar cláusulas e entidades.
  • A análise de sensibilidade mostrou que o número de canais nas consultas aprendíveis (N) e os hiperparâmetros de perda estão otimizados para capturar a complexidade das modificações.
• Análise Qualitativa: Visualizações de atenção (Grad-CAM) mostraram que o resumo gerado pelo PA foca corretamente em todas as regiões de interesse da imagem, e o TEMA consegue recuperar imagens-alvo que modelos concorrentes falham em encontrar (reduzindo falsos negativos).

5. Significado e Impacto

O trabalho avança o campo da Recuperação de Imagem Composta ao:

• Aproximar a CIR da Aplicação Real: Ao introduzir textos de modificação detalhados e multi-entidade, o TEMA permite que sistemas de busca por imagem atendam a necessidades de usuários mais complexas e específicas, indo além de simples trocas de cor ou estilo.
• Resolver Problemas Fundamentais de Alinhamento: A abordagem de mapeamento de entidades oferece uma solução técnica elegante para o problema de como alinhar múltiplas instruções textuais com múltiplos objetos visuais sem anotações explícitas de alinhamento.
• Estabelecer Novos Padrões: Os datasets M-FashionIQ e M-CIRR estabelecem um novo padrão para avaliação, forçando a comunidade a desenvolver modelos capazes de entender instruções complexas e multi-objeto, essenciais para a próxima geração de interfaces homem-máquina multimodais.

Em resumo, o TEMA representa um salto qualitativo na capacidade dos sistemas de recuperação de imagens de entender e executar instruções de modificação complexas, combinando dados ricos em anotações com uma arquitetura neural inovadora focada no mapeamento semântico entre texto e entidades visuais.