💬 NLP

Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models

Este artigo identifica que modelos de linguagem-visão de codificador duplo falham no raciocínio composicional devido a uma interface de similaridade de "Saco de Conceitos" e propõe um método livre de treinamento chamado LCSE (Edição de Pontuação com Restrição Lógica) que separa a extração de evidências da execução de restrições para melhorar significativamente a precisão lógica enquanto preserva o desempenho de recuperação.

Autores originais: Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

Publicado 2026-07-28

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a "ver" o mundo mostrando a ele milhões de imagens e descrevendo-as com palavras. Este é o mundo dos Modelos de Visão-Linguagem (VLMs), um ramo da inteligência artificial onde computadores aprendem a combinar imagens com texto. A maneira mais popular pela qual esses robôs aprendem é construindo um "mapa" compartilhado onde imagens semelhantes e palavras semelhantes ficam próximas umas das outras. Quando você faz uma pergunta ao robô, ele simplesmente mede a distância entre suas palavras e as imagens para encontrar a melhor correspondência. É como um grande jogo de "quente ou frio", onde o robô fica "mais quente" (mais confiante) à medida que encontra imagens que se parecem com as palavras que você digitou.

No entanto, existe um problema complicado com esse simples jogo de distância. Embora o robô seja ótimo em identificar coisas individuais — como um "cachorro" ou uma "bola" — ele costuma se confundir quando você pede para combinar essas coisas com lógica, como "um cachorro, mas sem uma bola" ou "um gato e um pássaro". O robô tende a ignorar as partes "mas sem" ou "e" e apenas procura pelas palavras que ele conhece. É como se o robô estivesse jogando um jogo de "Saco de Palavras" (Bag of Words), onde ele apenas conta quantas vezes uma palavra aparece, esquecendo completamente as regras da frase. Este artigo investiga por que isso acontece e propõe uma nova maneira inteligente de corrigir a lógica do robô sem ter que retreinar todo o seu céreço.

O Problema: O "Saco de Conceitos" do Robô

Os autores deste artigo descobriram que os modelos de IA padrão, que deveriam ser inteligentes o suficiente para entender frases complexas, estão na verdade se comportando como um bibliotecário muito literal e levemente confuso. Imagine que você pede a este bibliotecário um livro sobre "um carro vermelho sem um motorista". Em vez de encontrar um carro sem motorista, o bibliotecário lhe entrega um livro sobre um carro vermelho com um motorista, porque o bibliotecário está tão focado nas palavras "vermelho" e "carro" que ignora completamente a palavra "sem".

Em termos técnicos, esses modelos usam uma pontuação de "similaridade escalar". Pense nesta pontuação como um número único que diz o quão bem uma imagem corresponde a um texto. O artigo mostra que, quando você pede uma combinação de ideias (como "A e não B"), o modelo não faz de fato a matemática da lógica. Em vez disso, ele apenas faz a média das evidências de "A" e das evidências de "B". É como fazer uma vitamina: se você pede "morangos, mas sem bananas", o modelo apenas mistura os morangos e as bananas e lhe entrega uma mistura, porque ele pensa que a instrução "não" é apenas mais um ingrediente para ser misturado, em vez de uma regra para remover um ingrediente.

Os pesquisadores testaram isso pedindo aos modelos que encontrassem imagens que correspondessem a regras lógicas específicas, como "guarda-chuva e sem pessoa". Mesmo quando o modelo conseguia ver claramente uma pessoa na imagem, ele ainda classificava aquela imagem como uma boa correspondência porque a palavra "pessoa" estava na consulta. O modelo não estava falhando em ver a pessoa; estava falando em não usar a lógica da frase para filtrar a pessoa.

A Investigação: Por que a Lógica Falha

Para entender por que isso acontece, os autores não apenas adivinharam; eles realizaram uma "cirurgia" no cérebro do modelo. Eles olharam dentro do texto que o modelo lê para ver se as palavras de lógica (como "não" ou "e") estavam realmente mudando o significado da frase. Eles descobriram que a lógica estava lá, escondida dentro do texto, mas era fraca demais para mudar a pontuação final.

Imagine que o embedding de texto (a representação digital da frase) é uma equipe de duas pessoas carregando uma caixa pesada. Uma pessoa representa os "conceitos" (os substantivos como "cachorro" ou "carro") e a outra representa a "lógica" (o "e" ou o "não"). O artigo descobriu que a pessoa do "conceito" é um gigante, enquanto a pessoa da "lógica" é uma criança pequena. Quando ambos empurram a caixa para decidir qual imagem escolher, o gigante empurra tão forte que o empurrão da criança é completamente ignorado. O resultado? A caixa se move na direção dos conceitos, e a lógica se perde no meio do caminho.

Os autores também verificaram se simplesmente retreinar o modelo (ensinando-lhe novos exemplos) resolveria o problema. Eles descobriram que, mesmo após treinar o modelo com milhares de exemplos de "não" e "sem", o modelo ainda tinha dificuldades. É como tentar ensinar uma pessoa que é naturalmente canhota a escrever perfeitamente com a mão direita apenas dando a ela mais prática; a memória muscular subjacente (como o modelo combina as pontuações) é o verdadeiro gargalo, não a falta de prática.

A Solução: Inferência Fatorada e LCSE

Como o "músculo lógico" interno do modelo é fraco demais para corrigir o problema, os autores propuseram uma nova estratégia chamada Inferência Fatorada. Em vez de pedir ao modelo para fazer a matemática de uma só vez, eles decidiram dividir o trabalho em dois passos separados:

Extração de Evidência: Primeiro, peça ao modelo congelado (inalterado) para simplesmente identificar os conceitos individuais. "Existe um cachorro? Sim, 90% de certeza. Existe um gato? Sim, 80% de certeza."
Execução de Restrições: Em seguida, pegue esses números e faça a matemática da lógica fora do modelo. Se o usuário disse "cachorro mas sem gato", o sistema pega a pontuação do "cachorro" e subtrai a pontuação do "gato" (ou inverte a pontuação do gato para representar "sem gato") e os combina usando regras lógicas estritas.

Para fazer isso funcionar sem quebrar a capacidade do modelo de lidar com frases normais, eles introduziram um método chamado LCSE (Edição de Pontuação Restrita pela Lógica). Pense no LCSE como um editor inteligente. Ele ouve a resposta original do modelo, mas se a frase contiver uma regra de lógica (como "não" ou "e"), o editor intervém e ajusta a pontuação final apenas o suficiente para que a lógica funcione. Se a frase for simples, o editor deixa a pontuação intacta. Dessa forma, o modelo mantém sua "personalidade" e habilidades de recuperação originais, mas finalmente obedece às regras da lógica.

Os Resultados: Um Grande Salto na Lógica

Os resultados deste novo método foram impressionantes. Os autores testaram seu sistema em um novo benchmark que construíram chamado FACTOR-Bench, projetado especificamente para testar se um modelo entende a lógica.

O Jeito Antigo: Os melhores modelos existentes (mesmo aqueles que foram especialmente treinados para entender negação) acertaram cerca de 73,2% das questões de lógica.
O Novo Jeito (LCSE): O método dos autores, usando os mesmos modelos subjacentes, mas com seu novo "editor", saltou para 85,5% de precisão.
Ainda Melhor: Quando aplicaram este método a um modelo mais novo e forte chamado SigLIP 2, a precisão disparou para 90,7%.

Eles também testaram em um desafio diferente chamado NegBench, que foca em perguntas de "não" e "sem". O modelo padrão acertou apenas 27,2%, mas com o LCSE, a precisão melhorou para 65,2%. Crucialmente, essa enorme melhoria na lógica não prejudicou a capacidade do modelo de realizar buscas normais; manteve o mesmo alto desempenho para a recuperação de imagens padrão.

Por Que Isso Importa

Este artigo sugere que o problema não é que os modelos de IA não consigam "ver" ou "ler" bem o suficiente; é que a maneira como eles combinam informações é fundamentalmente falha para tarefas complexas. Ao separar o ato de "ver" (encontrar os conceitos) do ato de "pensar" (aplicar as regras de lógica), podemos tornar esses modelos muito mais inteligentes sem precisar reconstruí-los do zero. É um lembrete de que, às vezes, a melhor maneira de consertar um robô inteligente não é ensinando-lhe mais fatos, mas dando-lhe uma calculadora melhor para os fatos que ele já conhece.

Resumo Técnico: Similaridade Não é Lógica: Inferência Fatorada para Modelos de Visão-Linguagem de Codificador Duplo

1. Declaração do Problema

Modelos de Visão-Linguagem (VLMs) de codificador duplo, como o CLIP e o SigLIP, mapeiam imagens e textos em um espaço de incorporação (embedding) compartilhado usando uma interface de similaridade escalar (tipicamente similaridade de cosseno ou produto escalar). Embora altamente eficaz para recuperação zero-shot, essa interface falha em satisfazer restrições composicionais envolvendo operadores lógicos (negação, conjunção, disjunção).

O problema central é um efeito de "Saco de Conceitos" (Bag-of-Concepts) ao nível da interface. Quando uma consulta contém operadores lógicos (ex: "guarda-chuva e sem pessoa"), o escore de similaridade escalar aproxima-se de um pooling de média das evidências para conceitos individuais, em vez de executar o operador lógico. Consequentemente:

A negação falha: Consultas como "sem pessoa" frequentemente recuperam imagens que contêm uma pessoa porque o escore de similaridade rastreia a presença do conceito, não sua ausência.
A conjunção é instável: Consultas como "A e B" frequentemente recuperam imagens que contêm apenas A ou apenas B.
A exclusão falha: Consultas que visam excluir conceitos (ex: "nem A nem B") sistematicamente recuperam imagens que contêm esses conceitos.

Os autores rastreiam essa falha não à falta de informação dependente de operador nas incorporações de texto (que existe, mas é fraca), mas ao mecanismo de execução: o escore de produto escalar agrega evidências de uma forma que suprime a semântica dos operadores, comportando-se como uma operação de pooling de média suave, independentemente da estrutura lógica.

2. Metodologia: Inferência Fatorada e LCSE

O artigo propõe a Inferência Fatorada, um paradigma que separa a extração de evidência da execução de restrições. Em vez de depender da similaridade holística de uma consulta composta, o método extrai evidências atômicas para cada conceito e executa os operadores lógicos externamente.

2.1. Edição de Escore com Restrição Lógica (LCSE)

A principal contribuição é o LCSE, um método livre de treinamento que modifica o escore de similaridade de um VLM congelado para impor restrições lógicas enquanto preserva o desempenho padrão de recuperação. O processo envolve quatro etapas:

Parsing (Análise): Uma consulta é analisada em conceitos visuais ( $c_i$ ), suas polaridades (presente/ausente, $n_i$ ) e o operador lógico ( $o$ ).
Extração de Evidência: O VLM congelado codifica a imagem e cada frase de conceito atômico de forma independente para gerar escores de presença ( $p_i$ ). Esses escores são calibrados da similaridade bruta para probabilidades usando uma função sigmoide.
Execução de Restrição:
- Ajuste de Polaridade: Para conceitos negados, o escore é invertido ( $1 - p_i$ ).
- Agregação: Os escores ajustados são agregados usando uma média de potência ( $M_\gamma$ $M_{γ}$ ).
  - A conjunção ( $A \land B$ ) usa $\gamma < 0$ (aproximando-se do mínimo).
  - A disjunção ( $A \lor B$ ) usa $\gamma \gg 1$ (aproximando-se do máximo).
  - Isso substitui o pooling de média implícito do escore holístico por uma agregação funcional de verdade.
Edição de Escore (A etapa "LCSE"): Para evitar a perda de informação holística (contexto da cena, estilo, layout espacial) que não é capturada pelos escores de conceitos atômicos, o método aplica uma correção leve ao escore holístico original ( $s_{hol}$ ):
$s_{LCSE} = s_{hol} + \frac{1}{\beta} \left( \text{logit}(p_{logic}) - \text{logit}(p_{soft}) \right)$
Onde $p_{logic}$ é o escore de restrição agregado e $p_{soft}$ é a média simples dos escores de conceito. Este termo ajusta o escore holístico apenas quando o operador lógico exige uma agregação não-média (ex: conjunção estrita ou negação). Se não houver operadores presentes, a correção desaparece e o método retorna ao padrão de recuperação holística.

3. Principais Contribuições

Análise Mecanística da Falha de Restrição: Os autores fornecem uma "decomposição de resíduo de span" das incorporações de texto, demonstrando que, embora sinais dependentes de operador existam no componente residual, eles são muito fracos ou desalinhados para influenciar o ranking sob o escore de produto escalar padrão. O componente de span (dominado pela evidência do conceito) aproxima-se do pooling de média, causando a falha.
Interface Livre de Treinamento (LCSE): Um método para executar restrições booleanas explicitamente sobre evidências atômicas sem retreinar os codificadores. Ele preserva o comportamento de recuperação padrão onde as restrições não se aplicam.
FACTOR-Bench: Um novo benchmark projetado para testar a semântica de operadores booleanos usando pares de legendas contrastivos de operadores (mesmos conceitos, operadores diferentes) com presença/ausência de conceitos validada como verdade fundamental (ground-truth).
Validação Empírica: Avaliação extensiva mostrando que o LCSE supera significativamente as linhas de base ajustadas (fine-tuned) em restrições lógicas, mantendo o desempenho de recuperação zero-shot.

4. Resultados Experimentais

Os autores avaliaram o LCSE no FACTOR-Bench, NegBench e tarefas de retenção de recuperação padrão usando backbones CLIP e SigLIP 2.

Acurácia no FACTOR-Bench:
- LCSE (CLIP): Alcançou 85,5% de acurácia, superando significativamente a melhor linha de base ajustada (NegationCLIP com 73,2%).
- LCSE (SigLip 2): Alcançou 90,7% de acurácia, demonstrando que uma melhor evidência atômica traduz-se em uma melhor execução de restrição.
- Tratamento de Negação: No MCQ do NegBench, o LCSE melhorou a acurácia de 56,2% (NegCLIP-NegFull) para 60,3% para o CLIP, e de 27,2% para 65,2% para o SigLIP 2.
Retenção de Recuperação: Ao contrário dos modelos ajustados que frequentemente degradam a recuperação padrão (Correlação de Rank $\rho \approx 0,63\text{--}0,85$ ), o LCSE preserva o desempenho de recuperação padrão quase perfeitamente ( $\rho = 0,999$ para CLIP, R@5 inalterado).
Análise Estratificada: O ganho de desempenho do LCSE escala com a qualidade da evidência atômica. Quando a detecção de conceito é confiável (AUC > 0,90), o LCSE atinge 90,4% de acurácia, enquanto o escore holístico atinge apenas 57,8%.
Ablação: O método funciona através de diferentes backbones e estratégias de agregação. O componente de "Edição de Escore" é crucial; removê-lo (usando apenas o escore fatorado) degrada a recuperação em consultas de linguagem natural que carecem de operadores explícitos.

5. Significância e Alegações

O artigo alega que a falha dos VLMs em lidar com a lógica composicional é primariamente um gargalo ao nível da interface (como os escores agregam evidências) e não uma falha de nível de representação (o que os codificadores representam).

Escopo Modesto: Os autores declaram explicitamente que sua análise e método são validados em operadores booleanos sobre conceitos visuais (um a dois conceitos, com alguma extensão para 3-4 conceitos). Eles não alegam resolver toda a razão composicional (ex: ligação de atributos, relações, contagem), mas sugerem que o princípio da inferência fatorada pode se estender se houver evidência atômica confiável disponível.
Impacto Prático: O método oferece uma solução livre de treinamento que pode ser aplicada a VLMs congelados existentes para permitir consultas estruturadas e filtragem sem a instabilidade ou os requisitos de dados do ajuste fino (fine-tuning).
Limitações: A abordagem depende da capacidade de analisar a estrutura booleana (tratada por um parser de LLM com alta precisão) e da qualidade da detecção de conceito atômico do codificador subjacente. Se o codificador não puder detectar um conceito de forma confiável, a execução externa não poderá recuperar a correção.

Em resumo, o artigo argumenta que "Similaridade Não é Lógica" e propõe a Inferência Fatorada como um mecanismo para desacoplar a extração de evidência da execução de restrições lógicas, alcançando alta acurácia em tarefas lógicas enquanto mantém as capacidades robustas de recuperação zero-shot dos VLMs padrão.