Pix2Key: Controllable Open-Vocabulary Retrieval with Semantic Decomposition and Self-Supervised Visual Dictionary Learning

O artigo apresenta o Pix2Key, um método de recuperação de imagens composta que utiliza dicionários visuais de vocabulário aberto e aprendizado auto-supervisionado para melhorar a correspondência de intenções e a diversidade dos resultados, superando as abordagens supervisionadas e zero-shot existentes.

O essencial

Imagine que você está procurando um vestido específico na internet. Você tem uma foto de um modelo que gosta, mas quer algo diferente: "Gosto deste vestido, mas quero que seja azul, sem listras e com manga curta".

O problema é que a maioria dos sistemas de busca atuais funciona como um tradutor um pouco confuso. Eles tentam transformar sua foto e seu pedido em uma única frase de texto (como um "resumo") e procuram por isso. O resultado? Muitas vezes, eles esquecem detalhes pequenos (como o formato do pescoço) ou devolvem apenas cópias quase idênticas do original, sem a variedade que você queria.

É aqui que entra o Pix2Key, o novo sistema apresentado neste artigo. Vamos explicar como ele funciona usando uma analogia simples: o "Menu de Pedidos" vs. a "Frase Mágica".

1. O Problema: A "Frase Mágica" Perfeita (Mas Falha)

Os métodos antigos tentam comprimir sua foto e seu pedido em uma única "frase mágica" ou um único "token" (uma palavra-chave).

• A Analogia: É como se você dissesse a um garçom: "Quero o prato do dia, mas mude tudo". O garçom tenta adivinhar o que você quer, mas acaba entregando algo genérico ou esquecendo que você não queria cebola.
• O Resultado: A busca perde os detalhes finos (como o tipo de tecido ou o padrão) e devolve resultados repetitivos.

2. A Solução Pix2Key: O "Menu de Pedidos" (Dicionário Visual)

O Pix2Key muda a regra do jogo. Em vez de transformar a imagem em uma frase, ele transforma a imagem em um Dicionário Visual (uma lista estruturada de fatos).

• Como funciona:

  • A Foto de Referência: O sistema olha para a foto e cria uma lista de "chaves e valores", como um formulário preenchido:
    • Cor: Rosa
    • Padrão: Listrado
    • Estação: Verão
  • O Pedido de Edição: O sistema analisa seu texto ("quero azul, sem listras") e transforma isso em um menu de instruções com sinais claros:
    • ✅ Adicionar: Cor = Azul
    • ❌ Remover: Padrão = Listrado
    • ⚪ Manter (Âncora): Estação = Verão (isso significa: "não mude isso, mantenha o verão")

• A Mágica da Busca:
  Agora, em vez de adivinhar, o sistema compara o seu "Menu de Pedidos" com o "Menu" de milhões de roupas no banco de dados. Ele sabe exatamente o que você quer mudar, o que quer evitar e o que deve permanecer igual. É como ter um assistente de compras que lê seu pedido ponto a ponto, em vez de apenas ouvir um resumo.

3. O "Treinamento Secreto" (V-Dict-AE)

O papel também apresenta uma parte chamada V-Dict-AE. Pense nisso como um treinamento de "olho clínico" para o sistema.

• A Analogia: Imagine que você quer ensinar um aluno a descrever uma foto com perfeição, mas você não tem um professor humano para corrigir cada desenho. Então, você dá ao aluno a foto e pede para ele tentar reconstruir a foto a partir da descrição dele. Se a reconstrução ficar ruim, o aluno sabe que esqueceu um detalhe importante (como a textura do tecido).
• O Resultado: O sistema aprende sozinho, olhando apenas para imagens, a capturar detalhes finos e importantes. Isso faz com que, quando você pedir "sem listras", ele realmente entenda o que é uma listra e não confunda com um padrão xadrez.

4. A Diversidade: Não Apenas "Mais do Mesmo"

Outro problema comum é que, ao buscar algo, você recebe 10 resultados que são quase idênticos (10 vestidos azuis listrados idênticos).

O Pix2Key tem um filtro de diversidade.

• A Analogia: Imagine que você pediu "um carro vermelho". Um sistema ruim te mostra 100 modelos do mesmo carro vermelho. O Pix2Key, ao ver que você quer um carro vermelho, te mostra: um sedan, um SUV, um conversível e um hatchback, todos vermelhos, mas com estilos diferentes.
• Ele equilibra a satisfação do seu pedido (o carro é vermelho?) com a variedade (são carros diferentes?), para que você tenha opções reais para escolher.

Resumo dos Benefícios

1. Controle Total: Você define exatamente o que mudar, o que tirar e o que manter. Nada fica ao acaso.
2. Sem "Aprendizado" Caríssimo: Diferente de sistemas antigos que precisam de milhões de exemplos de "foto A + texto B = foto C" (o que é caro e difícil de conseguir), o Pix2Key aprende sozinho com imagens e depois usa essa inteligência para entender seus pedidos.
3. Resultados Mais Ricos: Ele devolve uma lista de opções variadas e precisas, em vez de cópias repetidas.

Em suma: O Pix2Key transforma a busca por imagens de um "chute no escuro" baseado em frases vagas para uma conversa estruturada e precisa, onde você diz exatamente o que quer, e o sistema entende cada detalhe, desde a cor até o padrão, entregando uma lista de opções variadas e perfeitas para o seu gosto.

Resumo técnico

1. O Problema: Recuperação de Imagem Composta (CIR)

A Recuperação de Imagem Composta (CIR) é um problema de busca multimodal onde a consulta consiste em uma imagem de referência combinada com uma instrução de edição em linguagem natural. O objetivo do sistema é recuperar imagens que realizem a mudança solicitada pela edição, preservando simultaneamente o conteúdo visual relevante da imagem original.

Desafios Atuais:

• Abordagens Supervisionadas Clássicas: Dependem de tripletos (imagem de referência, edição, imagem alvo) para aprender uma função de fusão explícita. Isso é caro para escalar e tende a criar representações fundidas que perdem pistas de baixo nível (fine-grained) e tornam a preservação de atributos não transparente.
• Abordagens Zero-Shot Recentes: Frequentemente usam modelos de linguagem-vision (VLM) para gerar legendas da imagem de referência e reescrevê-las com a edição. Isso cria um "gargalo de perda de informação", onde detalhes sutis (como formato de gola ou tipo de manga) podem ser perdidos ao condensar a imagem em uma única frase. Além disso, a busca baseada em similaridade a um único embedding fundido tende a retornar resultados repetitivos (homogêneos), carecendo de diversidade.
• Limitações de Avaliação: A maioria dos benchmarks avalia apenas se a imagem alvo específica foi recuperada, sem medir quão bem a lista inteira satisfaz as restrições de atributos ou quão diversa é a lista.

---

2. Metodologia: Pix2Key

O Pix2Key propõe uma nova arquitetura que representa tanto as consultas quanto os candidatos como dicionários visuais de vocabulário aberto, permitindo um controle intencional explícito e uma reclassificação (reranking) consciente da diversidade.

A. Dicionários Visuais de Vocabulário Aberto (Open-Vocabulary Visual Dictionaries)

Em vez de fundir imagem e texto em um único vetor, o sistema converte imagens em estruturas de dados organizadas:

• Representação da Imagem: Cada imagem do banco de dados é convertida em um dicionário de fatos do tipo chave-valor (ex: {cor: azul, padrão: listrado, material: linho}).
• Representação da Consulta: A consulta composta é decomposta em um dicionário assinado (signed dictionary) com polaridade:
  • Positivo (+1): Atributos desejados (adicionar/reforçar).
  • Negativo (-1): Atributos a evitar (remover/contradizer).
  • Neutro/Âncora (0): Atributos não especificados explicitamente, mas que devem ser preservados (âncoras de contexto).
• Processo: Um modelo VLM (como Qwen-VL) extrai esses dicionários. A edição de texto é decomposta em atualizações assinadas que sobrescrevem ou adicionam restrições ao dicionário da imagem de referência.

B. Indexação e Pontuação de Relevância

• Indexação: Os dicionários são serializados em strings curtas e codificados por um encoder de texto congelado (OpenCLIP) para criar embeddings no espaço textual.
• Pontuação de Relevância: A similaridade é calculada separadamente para as partes positiva, neutra e negativa da consulta. A pontuação final é uma combinação ponderada que maximiza a correspondência com os atributos desejados, minimiza a correspondência com os indesejados e preserva as âncoras.

C. Reclassificação Consciente da Diversidade (Diversity-Aware Reranking)

Para evitar listas de resultados repetitivos, o Pix2Key aplica um algoritmo de reclassificação baseado em MMR (Maximal Marginal Relevance).

• O sistema seleciona iterativamente os itens que maximizam a relevância para a intenção do usuário, mas que também são maximamente distintos (em termos de distância coseno) dos itens já selecionados na lista.
• Isso permite um trade-off controlável pelo usuário entre a estrita satisfação da restrição e a variedade dos resultados.

D. V-Dict-AE: Autoencoder de Dicionário Visual Auto-supervisionado

Para melhorar a qualidade dos tokens do dicionário sem depender de tripletos CIR específicos, os autores introduzem o V-Dict-AE:

• É um módulo pré-treinado de forma auto-supervisionada usando apenas imagens.
• Objetivo: Um autoencoder aprende a codificar imagens em sequências de tokens compactos (slots) alinhados com um encoder de texto congelado e um decoder de difusão congelado.
• Mecanismo: O modelo tenta reconstruir a imagem original a partir dos slots aprendidos através do decoder de difusão. Isso força a representação a preservar evidências visuais de baixo nível essenciais para a recuperação, sem necessidade de anotações de CIR.

---

3. Contribuições Principais

1. Framework Pix2Key: Um sistema de recuperação sem treinamento (training-free) que utiliza dicionários visuais para tornar as restrições de intenção explícitas e controláveis, eliminando a necessidade de tripletos supervisionados.
2. Mecanismo de Reranking: Integração de reclassificação consciente da diversidade com a representação baseada em dicionário, permitindo equilibrar satisfação de restrições e variedade de resultados.
3. V-Dict-AE: Um autoencoder visual auto-supervisionado que refina a representação dos dicionários, melhorando a compreensão de atributos finos sem dados de CIR específicos.
4. Benchmark DFMM-Compose: Uma nova avaliação derivada do DeepFashion-MM que inclui rótulos de atributos estruturados e descrições de edição. Permite avaliar não apenas a precisão (Recall), mas também a consistência de atributos (AC) e a diversidade intra-lista (ILD).

---

4. Resultados Experimentais

Os resultados foram avaliados nos benchmarks FashionIQ, CIRR e no novo DFMM-Compose.

• Precisão (Recall):
  • No FashionIQ, o Pix2Key superou consistentemente métodos de fusão ingênua e abordagens zero-shot baseadas em legendas (como CIReVL).
  • A variante Pix2Key + V-Dict-AE alcançou os melhores resultados em todas as categorias (Vestidos, Camisas, Tops), superando métodos que usam tokenização pré-treinada (como SEARLE e Pic2Word).
  • No CIRR, o método obteve o melhor Recall@K entre todos os métodos comparados, incluindo os que usam pré-treinamento de tokens.
• Consistência de Intenção e Diversidade (DFMM-Compose):
  • O Pix2Key demonstrou uma consistência de atributos (AC@50) significativamente superior, indicando que a lista de resultados satisfaz melhor as instruções de edição detalhadas do que métodos baseados em reescrita de legendas.
  • O método alcançou a maior diversidade intra-lista (ILD@50), provando que a reclassificação baseada em dicionários não sacrifica a relevância para obter variedade.
• Ablações:
  • A análise mostrou que o uso combinado de restrições positivas, negativas e âncoras é crucial para o desempenho.
  • O pré-treinamento V-Dict-AE trouxe ganhos adicionais de ~2.3 pontos no Recall@10, confirmando que a representação refinada ajuda na captura de detalhes finos.

---

5. Significado e Impacto

O trabalho Pix2Key representa um avanço significativo na área de recuperação de imagens composta ao:

1. Desacoplar a fusão multimodal: Em vez de fundir imagem e texto em um vetor opaco, ele utiliza uma interface estruturada (dicionário) que é interpretável e controlável.
2. Resolver o problema da diversidade: Oferece uma solução prática para o problema de resultados repetitivos em buscas de imagem, permitindo que os usuários explorem variações válidas de uma mesma intenção.
3. Reduzir dependência de dados supervisionados: Ao utilizar pré-treinamento auto-supervisionado (V-Dict-AE) e modelos VLM pré-treinados, o método torna-se mais escalável e robusto a ruídos em anotações de dados, que são comuns em conjuntos de dados de CIR.
4. Aplicações Práticas: A abordagem é altamente relevante para e-commerce (busca por roupas com alterações específicas), design criativo e organização de conteúdo visual, onde o controle fino sobre o que mudar e o que manter é essencial.

Em resumo, o Pix2Key transforma a recuperação de imagens composta de um problema de "fusão cega" para um processo de correspondência de restrições estruturadas, oferecendo maior precisão, controle e diversidade nos resultados.