Geometry-Aware CLIP Retrieval via Local Cross-Modal Alignment and Steering

Título: Recuperação CLIP Consciente de Geometria via Alinhamento Local Cross-Modal e Direcionamento (Steering)

1. O Problema

A recuperação de imagens baseada em texto (Image-Text Retrieval) utilizando modelos como o CLIP (Contrastive Language-Image Pre-training) é tipicamente formulada como um problema de similaridade pontual em um espaço de embeddings compartilhado. Embora o CLIP alcance um forte alinhamento global, o artigo identifica que muitas falhas de recuperação surgem de inconsistências geométricas locais:

• Falhas de Ordenação Local: Itens vizinhos no espaço de embeddings são frequentemente ordenados incorretamente, levando a confusões sistemáticas (ex.: confundir um pentágono com um hexágono).
• Colapso Estrutural: O CLIP comprime todas as informações de uma imagem (múltiplos objetos e suas relações espaciais) em um único vetor global. Isso destrói a estrutura local necessária para recuperações composicionais finas (ex.: "um gato vermelho em cima de um sofá azul" vs. "um sofá vermelho em cima de um gato azul").
• Limitações do Ajuste Fino (Fine-tuning): Métodos anteriores focam em otimizar a relevância pontual ou ajustar o modelo globalmente, o que pode distorcer ou colapsar estruturas semânticas mais finas, em vez de resolver o problema da estrutura do vizinhança local.

O trabalho propõe tratar a recuperação não como uma busca por similaridade pontual, mas como um problema de alinhamento de vizinhança local.

2. Metodologia

A abordagem proposta opera em duas frentes principais: reclassificação (reranking) estrutural e direcionamento (steering) condicional à consulta.

A. Reclassificação Estrutural (Structure-Aware Reranking)

Em vez de confiar apenas na similaridade de cosseno entre vetores globais, o método propõe decompor a consulta e as imagens candidatas em representações por objeto e alinhá-las estruturalmente.

• Decomposição por Objeto: Utilizando anotações de cena (ou gerando embeddings de texto para objetos individuais), o método cria conjuntos de vetores para a consulta ($Q = \{q_1, ..., q_M\}$) e para cada imagem candidata ($C_i = \{c_1, ..., c_N\}$).
• Transporte Ótimo Fused Gromov-Wasserstein (FGW): O núcleo da metodologia é o uso do FGW para reclassificar os candidatos. O FGW minimiza simultaneamente:
  1. Custo de Recurso (Feature Cost): Similaridade entre objetos correspondentes (ex.: "gato" com "gato").
  2. Distorção Estrutural (Structural Distortion): Preservação da geometria interna (relações entre objetos). Se dois objetos na consulta estão distantes, seus correspondentes na imagem também devem estar distantes.
• Vantagem sobre Hungarian Matching: Enquanto o algoritmo de Hungarian (correspondência 1-a-1 rígida) é eficaz para o Top-1, o FGW utiliza transporte "soft" (fracionário), permitindo pontuações contínuas que distinguem melhor candidatos estruturalmente próximos, melhorando métricas em todo o conjunto de vizinhança (R@5, R@10, nDCG).

B. Direcionamento Local (Local Steering)

O trabalho introduz um mecanismo de "steering" (direcionamento) condicionado à consulta para corrigir atributos específicos sem retreinar o modelo.

• Direções de Conceito: São derivadas direções vetoriais no espaço de texto baseadas em vizinhanças contrastivas (ex.: a diferença entre "garrafa deitada" e "garrafa em pé").
• Aplicação: Essas direções são usadas para "empurrar" o embedding da consulta em direção a atributos desejados, remodelando a vizinhança local de recuperação.
• Limitação da Composição Simples: O estudo mostra que tentar fundir múltiplos vetores direcionados (um por objeto) em um único vetor de consulta resulta em interferência severa e degradação de desempenho. A solução é aplicar o steering apenas para definir as direções, mas usar o FGW para a comparação estrutural final.

3. Principais Contribuições

1. Reclassificação como Alinhamento de Vizinhança: A formulação da recuperação como um problema de alinhamento local, demonstrando que falhas de recuperação fina são frequentemente falhas de reordenação local. A introdução de um procedimento de reclassificação baseado em transporte ótimo (FGW) restaura a consistência estrutural.
2. Steering para Correção de Atributos: Demonstração de que direções de conceito derivadas localmente podem remodelar a vizinhança de recuperação para atributos desejados, permitindo controle fino sem retreinamento.
3. Avaliação Abrangente: Avaliação em benchmarks sintéticos (Shapes, CLEVR-HOPE) e do mundo real (Urban1K, Visual Genome, SugarCrepe), mostrando ganhos significativos especialmente em cenários composicionais multi-objeto.

4. Resultados

Os resultados experimentais demonstram melhorias substanciais em relação à linha de base do CLIP:

• Urban1K (Imagens Reais com Legendas Longas): A reclassificação local com Hungarian aumentou o Recall@1 (R@1) de 42.8% para 78.4%.
• CLEVR-HOPE (Recuperação Composicional Sintética):
  • O CLIP base obteve R@10 de 0.230.
  • O direcionamento ingênuo (multi-objeto) piorou o desempenho (0.094).
  • O FGW reranking elevou o R@10 para 0.682 e o R@1 de 0.091 para 0.725 no Visual Genome.
• Análise de Falhas: O FGW superou consistentemente a similaridade de cosseno e o matching de Hungarian em métricas de ranking global (nDCG), provando que a preservação da geometria relacional é crucial para a qualidade da recuperação, não apenas para o primeiro resultado.
• Interferência: A análise confirmou que a fusão simples de vetores de objetos (composição) destrói a estrutura necessária para a recuperação, enquanto o FGW preserva essa estrutura.

5. Significado e Conclusão

Este trabalho muda o paradigma de como a recuperação multimodal é abordada:

• Foco na Estrutura Local: Demonstra que a qualidade da recuperação e a controlabilidade dependem criticamente da estrutura local, que pode ser explorada no momento da inferência (inference-time) sem a necessidade de retreinar o modelo base (CLIP).
• Solução para Composicionalidade: Resolve o problema de "binding" (ligação) de atributos a objetos em cenas complexas, onde modelos globais falham ao não distinguir qual atributo pertence a qual objeto.
• Eficiência: O método adiciona apenas uma sobrecarga computacional moderada, pois opera apenas sobre um pequeno conjunto de candidatos (top-k) já filtrados, tornando-o viável para sistemas de produção.

Em suma, o artigo prova que a recuperação de alta precisão em cenários complexos exige não apenas alinhamento global, mas uma consciência geométrica local que respeite as relações entre os objetos dentro da imagem e da consulta.