💻 computer science

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

Este artigo revela que os Grandes Modelos de Linguagem Multimodais codificam com sucesso evidências visuais de grão grosso, mas têm dificuldade em controlar de forma confiável sua dependência delas em relação aos vieses linguísticos, uma limitação que pode ser mitigada por meio de ajuste fino supervisionado e direcionamento de ativação.

Autores originais: Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

Publicado 2026-07-30

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está conversando com um robô superinteligente que leu quase todos os livros já escritos e assistiu a milhões de horas de filmes. Este robô é um "Modelo de Linguagem de Grande Escala Multimodal" (MLLM). É como um bibliotecário genial que conhece tudo sobre o mundo a partir de seus dados de treinamento — seu "conhecimento prévio". Mas este robô também tem olhos. Ele pode olhar para uma imagem e combinar o que vê com o que sabe. A grande questão que os cientistas têm feito é: quando o robô olha para uma imagem que contradiz o que ele sabe (como a foto de um cavalo com cinco patas), ele falha porque não consegue ver a pata extra ou porque vê a pata, mas decide ignorá-la? Este artigo mergulha nesse mistério, tratando o cérebro do robô como uma história de detetive para descobrir onde ocorre a falha: nos "sentidos" (ver) ou na "tomada de decisão" (usar o que se vê).

Os pesquisadores, liderados por Jiaang Li e colegas, propuseram-se a resolver este enigma usando uma investigação inteligente em duas partes. Primeiro, eles queriam saber se o robô estava realmente "vendo" as coisas estranhas nas imagens. Para testar isso, eles não apenas fizeram perguntas ao robô; eles tentaram reconstruir as imagens a partir dos sinais internos do cérebro do robô. Eles descobriram que, mesmo quando o robô dava a resposta errada, o "projeto" da imagem estranha (como um cavalo com cinco patas) ainda estava claramente visível em seus pensamentos finais. Era como se os olhos do robô estivessem funcionando perfeitamente, mas seu cérebro estivesse escolhendo fechá-los. Isso descartou a ideia de que o robô fosse apenas cego aos detalhes.

Em seguida, a equipe criou um novo jogo chamado "WhatIfVis" para testar o quão bem o robô conseguia alternar entre confiar em seus olhos e confiar em sua memória. Eles mostraram ao robô imagens que quebravam as regras da natureza (como uma melancia vermelha) e pediram que ele respondesse a perguntas de duas maneiras: "Olhe apenas para a imagem" ou "Ignore a imagem e use o que você sabe". Eles descobriram que, sem treinamento adicional, o robô era um pouco instável. Às vezes, ele ignorava a imagem e dava a resposta do livro didático (como dizer que uma melancia é verde mesmo quando ela é vermelha). Outras vezes, ele ficava tão preso à imagem que não conseguia seguir instruções para ignorá-la. O robô não estava quebrado; ele apenas não tinha um "interruptor" confiável para decidir quando olhar e quando pensar.

No entanto, a boa notícia é que os pesquisadores encontraram o interruptor. Ao dar ao robô um pouco de prática (chamada de Ajuste Fino Supervisionado) em apenas um tipo de imagem complicada, eles o ensinaram a controlar sua atenção. Melhor ainda, eles descobriram um "botão" específico dentro do cérebro do robô — uma única direção matemática — que poderia ligar ou desligar o foco do robô sem a necessidade de instruções verbais. Quando giravam esse botão, o robô tornava-se muito melhor em seguir as regras, fosse olhando para a imagem ou ignorando-a.

O estudo também comparou como o robô lidava com imagens versus frases escritas. Eles descobriram que era muito mais fácil fazer o robô seguir uma frase escrita que quebrava as regras do que uma imagem. É como se o robô fosse um ouvinte muito melhor do que um observador. Essa lacuna, na verdade, aumentava à medida que os robôs se tornavam mais inteligentes e maiores, sugerindo que, conforme esses modelos crescem, eles podem se tornar ainda mais teimosos em relação a ignorar o que veem.

No fim, o artigo sugere que, para as coisas grandes e óbvias que estudamos (como cor, tamanho e quantas patas um animal tem), esses modelos de IA não estão falhando porque não conseguem ver. Eles falham porque não aprenderam uma maneira consistente de decidir quando confiar em seus olhos e quando confiar em sua memória. Mas, como os pesquisadores encontraram um "botão" específico que controla esse comportamento, isso significa que poderemos consertá-lo no futuro, ensinando esses cérebros digitais a serem mais flexíveis e confiáveis quando o mundo não parecer exatamente como seus livros didáticos.

Resumo Técnico: Ver ou Saber? Sensibilidade ao Contexto Visual em Modelos de Linguagem de Grande Escala Multimodais

1. Definição do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) integram entradas visuais com os ricos conhecimentos paramétricos pré-treinados de modelos de linguagem (LLMs). Embora eficazes para muitas tarefas, eles frequentemente falham em tarefas centradas na visão quando a evidência visual conflita com seu conhecimento de mundo interno. O campo tradicionalmente atribuiu essas falhas a déficits de percepção (Hipótese H1), argumentando que os codificadores de visão descartam detalhes finos, forçando o modelo a recorrer aos seus conhecimentos prévios (priors).

No entanto, os autores observam um modo de falha duplo:

Falhas dominadas pelo conhecimento prévio (Prior-dominant): O modelo ignora a entrada visual anômala (ex: um cavalo com 5 pernas) e responde com base em seu conhecimento prévio (4 pernas).
Falhas dominadas pelo contexto (Context-dominant): O modelo ignora instruções explícitas para ignorar a imagem e responde com base na evidência visual mesmo quando esta contradiz o conhecimento canônico (ex: responder "Vermelho" para a casca de uma melancia quando questionado sobre sua cor habitual).

O artigo postula que o problema central não é necessariamente que o modelo não consiga ver a evidência, mas que ele carece de uma política controlável de quando confiar no contexto visual versus nos conhecimentos paramétricos (Hipótese H2). Isso é denominado Sensibilidade ao Contexto Visual. Os autores visam desmembrar a percepção (ver) da utilização (usar) para determinar onde reside o gargalo e se ele pode ser controlado.

2. Metodologia

O estudo emprega uma abordagem de três frentes para isolar e abordar a falha de utilização:

A. Sondagem da Percepção via Reconstrução de Imagem (Testando H1)

Para determinar se a evidência visual é degradada antes de chegar ao backbone do LLM, os autores realizam uma sonda generativa.

Configuração: Eles congelam os MLLMs e tentam reconstruir imagens contrafatuais apenas a partir dos tokens de imagem da última camada.
Design: Utilizando um framework adaptado do Metaquery, eles pareiam um MLLM congelado com um conector treinável e um decodificador de imagem (SANA). Crucialmente, o conector e o decodificador são treinados apenas em imagens do mundo real, nunca tendo visto os contrafatuais.
Objetivo: Se o decodificador conseguir reconstruir com sucesso os atributos contrafatuais (ex: contagem anômala de membros) a partir dos tokens do MLLM congelado, a evidência visual foi preservada na representação, refutando H1.

B. O Benchmark WhatIfVis (Testando H2)

Para medir a capacidade do modelo de alternar entre o contexto visual e o conhecimento prévio, os autores introduzem o WhatIfVis, um benchmark de 3.049 amostras contrafatuais.

Estrutura: Abrange cinco dimensões de granularidade grossa: Espacial-Temporal, Cor, Contagem, Tamanho e Peso.
Mecanismo: Cada exemplo pareia uma imagem (ou afirmação textual) contrafatual com uma pergunta. O modelo é testado sob duas instruções de intenção estritas:
1. Dominante pelo contexto: "Considere apenas a imagem/afirmação".
2. Dominante pelo conhecimento prévio: "Ignore a imagem/afirmação".
Métrica: Eles utilizam a PairAcc (Acurácia de Par), uma métrica conjuntiva que exige que o modelo responda corretamente para ambas as intenções no mesmo exemplo. Isso isola a capacidade de controlar a sensibilidade ao contexto, em vez de apenas a acurácia em uma única tarefa.

C. Patching de Ativação e Direcionamento de Subespaço

Para localizar e controlar o mecanismo que rege a troca entre visão e conhecimento prévio:

Patching de Ativação: Usando modelos com Ajuste Fino Supervisionado (SFT) que seguem ambas as intenções de forma confiável, os autores aplicam rastreamento causal (activation patching) para identificar as camadas específicas onde a troca é computada.
Direcionamento de Subespaço (Subspace Steering): Eles hipotetizam que a troca é codificada em um subspace unidimensional (um vetor) dentro do fluxo residual. Eles aprendem um vetor unitário $u$ que abrange este subspace.
Controle: Em vez de usar instruções de texto, eles aplicam uma constante escalar $c(w)$ ao longo deste vetor aprendido durante a inferência para direcionar o modelo para o contexto visual ou para o conhecimento prévio.

3. Principais Descobertas e Resultados

1. A Evidência Visual é Preservada (Refutando H1)

Sucesso de Reconstrução: Em três famílias distintas de modelos (Qwen2.5-VL, Qwen3.5, Gemma-4), atributos contrafatuais de granularidade grossa (identidade, pose, contagem, cor dominante) foram reconstruídos com sucesso a partir dos tokens de imagem da última camada.
Evidência Métrica: As reconstruções a partir de tokens contrafatuais foram metricamente mais próximas da referência contrafatual do que da imagem do mundo real (ex: mIoU > 0,86 para contrafatuais vs. < 0,83 para imagens reais).
Conclusão: A evidência visual não é degradada durante a percepção. A falha em usá-la é um problema de utilização, não de percepção.

2. Modelos Vanilla Carecem de Controle Estável (Confirmando H2)

Fragilidade: Modelos vanilla (não-SFT) mostram uma sensibilidade ao contexto instável. Eles frequentemente seguem a imagem para alguns atributos (ex: Cor), mas ignoram para outros (ex: Peso), ou vice-versa.
Colapso da PairAcc: Modelos vanilla alcançam quase zero de PairAcc em tarefas de raciocínio intenso (Contagem, Peso) e pontuações baixas em outras, indicando que não conseguem alternar de forma confiável entre as intenções sob demanda.
SFT Melhora a Controlabilidade: O Ajuste Fino Supervisionado em um único subconjunto (Espacial-Temporal) eleva significativamente a PairAcc em todas as tarefas e modelos, demonstrando que a controlabilidade é uma capacidade aprendível e generalizável.

3. A Troca é Localizada e Controlável

Localização de Camadas: O patching de ativação revela que a troca entre visão e conhecimento prévio é resolvida em uma banda estreita e recorrente de camadas (parte média a superior) específica para cada arquitetura.
Vetor de Direcionamento: Um único vetor aprendido neste subspace atua como um "botão de ajuste". Aplicar este vetor sem qualquer instrução de intenção melhora a controlabilidade sobre o modelo vanilla (elevando a PairAcc macro de 14,7% para 37,7%).
Especificidade: Vetores aleatórios no mesmo subspace degradam o desempenho, confirmando que o efeito provém da direção específica aprendida, e não apenas de uma intervenção de rank-1.

4. Assimetria Entre Modalidades

Texto vs. Visão: O gap de modalidade é significativo. A sensibilidade ao contexto baseada em texto é muito mais controlável do que a sensibilidade ao contexto visual.
Escalabilidade: À medida que o tamanho do modelo aumenta, o gap de controlabilidade entre texto e visão se alarga (ex: de 9,1 pp para 20,6 pp no Qwen2.5-VL).
Causa Raiz: O déficit é primariamente uma falha em seguir a evidência visual sob demanda, não uma falha em sobrescrevê-la. A capacidade de ignorar a evidência (intenção de conhecimento prévio) é quase idêntica entre as modalidades.

4. Significância e Alegações

O artigo afirma que desloca o gargalo nas falhas de MLLM da percepção para a utilização.

Redefinição do Problema: Para atributos grosseiros, os MLLMs codificam a evidência visual fielmente, mas carecem de uma política consistente e controlável de quando usá-la. O problema não é "cegueira", mas "confiança não confiável".
Identificação do Mecanismo: A troca entre visão e conhecimento prévio é uma propriedade localizada e compacta da arquitetura da rede, residindo em camadas específicas e controlável via um vetor aprendido.
Controle sem Instruções: Os autores demonstram que a sensibilidade ao contexto visual pode ser direcionada efetivamente sem instruções de prompt explícitas, simplesmente manipulando um vetor de subspace aprendido.
Gap de Modalidade: O trabalho destaca uma assimetria fundamental onde os MLLMs são significativamente melhores em seguir contrafatuais textuais do que visuais, um gap que persiste e cresce com a escala do modelo.

Os autores concluem que separar "ver" de "usar" permite uma base mais sólida para construir modelos multimodais que possam ser explicitamente direcionados a atender à evidência visual quando esta contradiz seus conhecimentos prévios.