CLIP Behaves like a Bag-of-Words Model Cross-modally but not Uni-modally

Este trabalho demonstra que, embora o modelo CLIP apresente comportamento de "saco de palavras" na alinhamento cruzado de modalidades, as informações de ligação entre atributos e objetos já estão codificadas em suas representações unimodais e podem ser recuperadas de forma eficiente por meio de uma simples transformação linear, sem a necessidade de re-treinamento dos codificadores.

O essencial

Imagine que o CLIP é um tradutor de imagens e textos muito famoso, usado por milhões de pessoas e empresas. A ideia dele é simples: ele olha para uma foto e sabe exatamente qual frase descreve melhor aquela cena, e vice-versa.

Por anos, os especialistas acharam que o CLIP tinha um problema grave: ele parecia ser um "Saco de Palavras" (Bag-of-Words).

O Problema: O Tradutor "Desatento"

Pense no CLIP como um aluno muito inteligente, mas um pouco desatento na hora de ler.

• Se você mostrar uma foto de um quadrado laranja e um triângulo azul, o CLIP consegue identificar que tem um "quadrado", "laranja", "triângulo" e "azul".
• Mas, se você perguntar: "Qual é a frase certa?", ele muitas vezes erra. Ele pode achar que a foto combina com a frase "um quadrado azul e um triângulo laranja".

Ele vê as peças do quebra-cabeça (as palavras), mas não consegue montar a imagem mental correta de como elas se encaixam. Ele trata a frase como uma lista de compras bagunçada, sem se importar com a ordem ou quem pertence a quem.

A Descoberta: O Segredo Estava na Memória

Os autores deste novo estudo (publicado na ICLR 2026) decidiram investigar: "O CLIP é burro de verdade, ou ele só está confuso?"

Eles descobriram algo surpreendente: O CLIP não é burro. Na verdade, ele sabe exatamente quem é quem!

Imagine que o CLIP tem duas memórias separadas:

1. Memória Visual: Quando ele olha a foto, ele guarda uma nota mental precisa: "Ah, o quadrado é laranja e o triângulo é azul".
2. Memória Textual: Quando ele lê a frase, ele também guarda uma nota precisa: "O quadrado é laranja e o triângulo é azul".

O problema não é que ele não sabe a informação. O problema é que, quando ele tenta comparar a nota visual com a nota textual, ele perde o fio da meada. É como se você tivesse duas listas de compras perfeitas, mas quando tentava juntá-las, você as misturava sem querer.

A Solução: O "Ajuste Fino" (LABCLIP)

A grande sacada do artigo é que eles não precisaram reescrever o cérebro do CLIP (o que seria caro e demorado). Eles apenas criaram um pequeno "tradutor" linear (uma camada simples de matemática) que ajusta a forma como o CLIP lê as frases antes de compará-las com as fotos.

Pense nisso como colocar óculos novos no CLIP.

• Antes: Ele olhava para a frase e via apenas as palavras soltas.
• Depois: Com os "óculos" (a transformação linear), ele consegue ver a estrutura: "O quadrado é laranja, o triângulo é azul".

Quando eles aplicaram esse ajuste, o CLIP passou a acertar quase 100% das vezes em testes onde antes errava na metade das vezes.

Por que isso é importante?

1. Economia de Recursos: Antigamente, para consertar esse problema, teríamos que treinar o CLIP do zero (como se fosse uma criança aprendendo a ler de novo), o que custaria milhões de dólares e muita energia. Agora, basta adicionar essa pequena camada de ajuste. É como dar um "patch" de software em vez de comprar um computador novo.
2. Banco de Dados Existente: Isso significa que todos os sistemas que já usam o CLIP hoje podem ficar mais inteligentes instantaneamente, sem precisar reprocessar todas as fotos e textos que já existem.
3. Compreensão Real: O estudo prova que a inteligência para entender a composição (quem é dono de qual cor) já estava lá, escondida. Só faltava o alinhamento certo para usá-la.

Resumo em uma Analogia

Imagine que o CLIP é um detetive que tem duas testemunhas:

• A Testemunha da Foto diz: "Vi um homem de chapéu vermelho e um cachorro de coleira azul".
• A Testemunha do Texto diz: "Vi um homem de chapéu vermelho e um cachorro de coleira azul".

O problema era que, quando o detetive juntava as duas histórias, ele as misturava e dizia: "O homem tinha a coleira azul e o cachorro o chapéu vermelho".

O estudo descobriu que ambas as testemunhas estavam certas. O erro estava apenas no modo como o detetive comparava as histórias. Ao criar um novo método de comparação (o LABCLIP), o detetive finalmente conseguiu entender a história correta sem precisar treinar as testemunhas de novo.

Conclusão: O CLIP já sabia tudo o que precisava saber; ele só precisava de um pequeno ajuste para conectar os pontos corretamente.

Resumo técnico

1. O Problema: A Limitação de Composicionalidade do CLIP

Os modelos de linguagem e visão (VLMs), como o CLIP (Contrastive Language-Image Pretraining), são amplamente utilizados devido ao seu espaço de incorporação compartilhado. No entanto, estudos recentes identificaram uma falha fundamental: o CLIP frequentemente falha na composicionalidade, especificamente na capacidade de vincular atributos aos objetos corretos em cenas complexas.

• Comportamento "Bag-of-Words" (BoW): O modelo tende a tratar entradas (imagens e textos) como conjuntos desordenados de conceitos. Por exemplo, para uma imagem de "um quadrado laranja e um triângulo azul", o CLIP pode associá-la incorretamente à legenda "um quadrado azul e um triângulo laranja", falhando em distinguir a estrutura e a ligação correta entre atributo e objeto.
• A Lacuna de Diagnóstico: Trabalhos anteriores atribuíram essa falha à falta de informação de vinculação (binding) nos próprios codificadores (image/text encoders). A questão central não resolvida era: a informação de vinculação existe dentro das representações unimodais (imagem ou texto isoladamente), mas falha na alinhamento cruzado? Ou a informação simplesmente não existe nos embeddings?

2. Metodologia e Investigação

Os autores propõem uma investigação sistemática para distinguir entre a falta de informação interna e a falha de alinhamento cruzado.

2.1. Avaliação Unimodal (Probing Linear)

Para verificar se a informação de vinculação existe isoladamente, os autores utilizaram sondas lineares (linear probing):

• Abordagem: Eles congelaram os codificadores do CLIP e treinaram classificadores lineares simples para prever o atributo de um objeto específico (ex: a cor de um cubo) a partir dos embeddings de imagem e texto separadamente.
• Datasets Sintéticos: Utilizaram datasets controlados como CLEVR, PUG:SPAR e um novo dataset proposto, PUG:SPARE (que remove viéses posicionais presentes no PUG:SPAR), garantindo que o modelo não aprendesse atalhos baseados na posição.
• Teste de Robustez: Aumentaram o número de objetos na cena para testar a estabilidade da vinculação.
• Busca Conjunção (Conjunctive Search): Realizaram um experimento visual onde o modelo deve identificar um objeto definido apenas pela combinação única de atributos (ex: uma "esfera vermelha" em meio a "cubos vermelhos" e "esferas verdes"), testando se o embedding visual captura a ligação específica e não apenas a frequência de conceitos.

2.2. Proposta de Correção: LABCLIP

Com base na hipótese de que a informação existe, mas está mal alinhada, os autores propuseram o LABCLIP (Linear Attribute Binding CLIP):

• Mecanismo: Em vez de re-treinar os pesados codificadores do CLIP, eles aplicam uma transformação linear simples (uma matriz $A$) aos embeddings de texto antes do cálculo da similaridade com os embeddings de imagem.
• Treinamento: A matriz $A$ é treinada contrastivamente usando pares negativos sintéticos. Esses negativos são criados permutando (embaralhando) os pares atributo-objeto nas legendas (ex: mudar "cubo vermelho e esfera azul" para "cubo azul e esfera vermelha"), sem alterar a imagem.
• Objetivo: Forçar o alinhamento cruzado a respeitar a estrutura de vinculação que já está presente nos embeddings unimodais.

3. Resultados Principais

3.1. Descoberta Unimodal: O CLIP não é BoW internamente

• Provas de Vinculação: As sondas lineares alcançaram alta acurácia (ex: >95% em texto e >90% em imagem no CLEVR) ao prever atributos de objetos específicos. Isso demonstra que os embeddings do CLIP já contêm a informação de vinculação atributo-objeto de forma linearmente separável.
• Robustez: A capacidade de vinculação no texto permanece alta mesmo com muitos objetos. Na imagem, a acurácia cai levemente com o aumento da complexidade, mas permanece muito acima do acaso.
• Busca Conjunção: O modelo conseguiu identificar objetos com ligações únicas em cenas congestionadas, provando que os embeddings visuais não são meras coleções de BoW.
• Conclusão Parcial: O problema não é a falta de conhecimento nos codificadores, mas sim a falha no alinhamento cruzado durante a fase de pré-treinamento contrastivo padrão.

3.2. Eficácia do LABCLIP

• Recuperação de Desempenho: A aplicação da transformação linear $A$ recuperou drasticamente o desempenho na vinculação cruzada.
  • Em datasets sintéticos (CLEVR, PUG), a acurácia saltou de ~50% (chance aleatória) para >90-95%, aproximando-se do limite superior de um CLIP totalmente ajustado (fine-tuned).
  • Em benchmarks do mundo real (ARO, SugarCrepe, COCO), o LABCLIP superou significativamente o CLIP base, alcançando desempenho comparável a modelos ajustados com negativos duros (NegCLIP).
• Alinhamento de Sondas: Após o alinhamento, a similaridade entre os coeficientes das sondas lineares de imagem e texto aumentou drasticamente (de ~0.2 para ~0.75), confirmando que a transformação alinhou as estruturas de vinculação.

4. Contribuições Chave

1. Diagnóstico Preciso: Demonstrou que a falha de composicionalidade do CLIP não reside na falta de informação nos embeddings unimodais, mas sim na ineficiência do mecanismo de alinhamento cruzado em preservar essas informações.
2. Método Leve (LABCLIP): Introduziu uma solução computacionalmente eficiente que requer apenas o treinamento de uma camada linear leve (apenas ~262K parâmetros) sobre os embeddings de texto congelados, sem necessidade de re-treinar os codificadores ou re-extrair features.
3. Compatibilidade Reversa: O método é modular e pode ser aplicado diretamente em bancos de dados vetoriais existentes de CLIP, permitindo melhorias pós-hoc em sistemas implantados sem custo de re-treinamento massivo.
4. Novos Datasets: Propôs o PUG:SPARE, um dataset sintético que remove viéses posicionais para uma avaliação mais rigorosa da vinculação atributo-objeto.

5. Significado e Impacto

Este trabalho muda a perspectiva sobre as limitações dos VLMs. Em vez de assumir que modelos como o CLIP precisam de arquiteturas mais complexas ou re-treinamento massivo para entender composicionalidade, o estudo mostra que a informação necessária já está presente.

• Eficiência: A descoberta de que uma simples transformação linear pode corrigir o alinhamento sugere que a otimização de sistemas VLMs existentes pode ser feita de forma muito mais barata e rápida.
• Direção Futura: Abre caminho para o desenvolvimento de adaptadores (adapters) leves focados especificamente em tarefas de raciocínio composicional, garantindo que os modelos pré-treinados sejam utilizados de forma mais eficaz em tarefas que exigem compreensão detalhada de cenas complexas.

Em resumo, o CLIP "sabe" como vincular atributos a objetos dentro de cada modalidade, mas precisa de um "tradutor" linear simples para fazer essa informação funcionar corretamente entre imagem e texto.