Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference

Título: Revisitando a Composicionalidade em Modelos Visão-Linguagem de Codificador Duplo: O Papel da Inferência

1. O Problema

Os Modelos Visão-Linguagem (VLMs) de codificador duplo, como o CLIP e suas variantes (SigLIP, Perception Encoder), são fundamentais para tarefas de recuperação imagem-texto e reconhecimento zero-shot. No entanto, eles frequentemente falham em raciocínio composicional, comportando-se como sistemas "bag-of-words" (saco de palavras).

• Exemplo clássico: O modelo não consegue distinguir consistentemente entre "um cachorro preto e um gato branco" e "um gato preto e um cachorro branco".
• Hipótese do Artigo: A limitação não reside necessariamente na qualidade das representações aprendidas pelos codificadores pré-treinados, mas sim no protocolo de inferência padrão. A maioria dos VLMs utiliza uma similaridade cosseno global entre vetores de imagem e texto agregados (pooled). Esse mecanismo global colapsa informações multimodais em um único vetor, descartando as correspondências finas entre regiões da imagem e segmentos de texto necessárias para o "ligamento" (binding) composicional.

2. Metodologia

Os autores propõem uma abordagem em duas etapas para isolar e resolver o gargalo da inferência:

A. Estudo Diagnóstico (Inferência Estruturada):

• Objetivo: Verificar se a imposição de alinhamento região-segmento melhora o desempenho sem atualizar os pesos do modelo.
• Protocolo SGI (Structure-Guided Inference):
  1. Geração de crops (recortes) da imagem para representar regiões potenciais.
  2. Decomposição determinística da legenda em segmentos (ex: "cachorro preto", "gato branco").
  3. Cálculo de similaridade cosseno entre cada crop e cada segmento de texto.
  4. Agregação das melhores correspondências para gerar uma pontuação final.
• Benchmarks: Uso do BISCOR-CTRL, um novo conjunto de dados sintético baseado em CLEVR, projetado especificamente para avaliar raciocínio composicional sob condições controladas (sem correlações espúrias), focando em casos de "troca" (SWAP) de atributos e objetos.

B. Aprendizado de Alinhamento (Transformer Leve):

• Objetivo: Aprender a realizar esse alinhamento fino diretamente a partir das representações congeladas.
• Arquitetura: Introdução de um Transformer de Alinhamento Leve que opera sobre os embeddings de patches (visuais) e tokens (textuais) extraídos dos codificadores congelados.
  • O Transformer permite atenção cruzada entre patches e tokens.
  • Apenas os parâmetros do Transformer são treinados; os codificadores de visão e texto permanecem congelados.
• Comparativos: O método é comparado com:
  1. Fine-tuning completo (atualizando todos os pesos).
  2. Transformer aplicado apenas a embeddings globais (sem acesso a patches/tokens).
  3. Métodos anteriores de treinamento composicional end-to-end (como NegCLIP, TripletCLIP, FSC-CLIP).

3. Principais Contribuições

1. Identificação do Gargalo: Demonstração de que a falha na composicionalidade em VLMs de codificador duplo é primariamente um problema de mecanismo de inferência (matching global) e não de capacidade representacional.
2. Protocolo SGI: Evidência de que forçar o alinhamento região-segmento em tempo de inferência, sem re-treinar o modelo, melhora drasticamente o desempenho composicional.
3. Arquitetura de Alinhamento Eficiente: Proposta de um módulo de alinhamento leve que extrai o potencial composicional latente em modelos pré-treinados, superando o fine-tuning completo em cenários de generalização.
4. Novo Benchmark (BISCOR-CTRL): Criação de um dataset controlado de distribuição fora (OOD) para isolar o raciocínio composicional de vieses de dataset.

4. Resultados

Diagnóstico (SGI em Modelos Congelados):

• O uso de similaridade cosseno global resultou em pontuações extremamente baixas no BISCOR-CTRL (média de 1-9 pontos).
• A aplicação do protocolo SGI (alinhamento estruturado) aumentou as pontuações para 25-56 pontos, provando que as representações pré-treinadas contêm a informação necessária, mas não são exploradas corretamente.

Aprendizado de Alinhamento vs. Fine-tuning:

• Desempenho In-Domain (SUGARCREPE, BIVLC): O método proposto (TFLocal - Transformer sobre patches/tokens congelados) igualou ou superou o fine-tuning completo.
• Generalização Out-of-Distribution (BISCOR-CTRL):
  • Fine-tuning completo e métodos end-to-end anteriores mostraram ganhos insignificantes ou nulos na generalização para o BISCOR-CTRL (ex: CLIP foi de 1.4 para 1.9).
  • O método TFLocal obteve ganhos massivos: CLIP saltou de 1.4 para 15.1 e o Perception Encoder (PE) de 8.5 para 30.0.
• Abordagem Global vs. Local: Adicionar capacidade de modelo (Transformer) apenas sobre embeddings globais não melhorou o desempenho, confirmando que o acesso a representações locais (patches/tokens) é crucial.

5. Significado e Conclusão

O trabalho redefine a compreensão das limitações dos VLMs de codificador duplo. Os autores concluem que:

• A incapacidade de raciocínio composicional não é devido à falta de informação nos vetores de embedding, mas à forma como essa informação é consultada (matching global vs. alinhamento local).
• É possível obter generalização robusta e raciocínio composicional superior sem re-treinar os grandes modelos base, apenas aprendendo mecanismos de alinhamento leve sobre representações congeladas.
• Isso sugere que a comunidade deve reavaliar os protocolos de inferência e avaliação, focando em mecanismos que explorem a estrutura local já presente nos modelos modernos, em vez de apenas escalar o treinamento ou a capacidade do modelo.

Em suma, o artigo demonstra que a chave para o raciocínio composicional robusto em VLMs reside na mecânica de alinhamento durante a inferência, e não apenas na qualidade das representações aprendidas.