💬 NLP

Pathways of Visual Information Flow in Vision-Language Models

Este artigo revela que modelos de visão-linguagem utilizam dois caminhos distintos e dependentes da tarefa para o fluxo de informações visuais — uma rota direta e uma rota mediada por texto — que exibem uma flexibilidade notável e podem alternar para um mecanismo de contingência sob intervenções específicas.

Autores originais: Israfel Salazar, Stella Frank, Dan Oneata, Desmond Elliott, Constanza Fierro

Publicado 2026-07-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Israfel Salazar, Stella Frank, Dan Oneata, Desmond Elliott, Constanza Fierro

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem-Visão (VLM) como um detetive altamente qualificado que está tentando resolver um mistério com base em uma fotografia e uma pergunta escrita. O artigo faz uma pergunta simples, mas profunda: Como o detetive realmente olha para a foto para encontrar a resposta? O detetive olha para a foto diretamente ou ele primeiro descreve a foto para um colega, que então diz ao detetive a resposta?

Os pesquisadores descobriram que esses modelos de IA não usam apenas uma maneira de pensar. Em vez disso, eles possuem duas "rotas" ou caminhos diferentes para levar a informação da imagem até a resposta final, e alternam entre eles dependendo da situação.

Aqui está uma análise de suas descobertas usando analogias simples:

1. Os Dois Caminhos

Pense no cérebro da IA como um escritório movimentado com duas maneiras de levar um arquivo do "Departamento de Imagens" para o "Tomador de Decisão Final" (o último token que digita a resposta).

A Rodovia Direta (Caminho Direto):
- Como funciona: O Tomador de Decisão Final olha diretamente para o Departamento de Imagens. Eles pegam a informação visual diretamente, como pegar um arquivo direto de uma mesa.
- Quando é usado: O artigo descobriu que este é o caminho principal para Reconhecimento de Objetos (ex: "O que é este objeto?"). É rápido e direto. O modelo vê uma estrela e diz "estrela" sem precisar falar sobre ela primeiro.
A Rota do Mensageiro (Caminho Mediado por Texto):
- Como funciona: O Departamento de Imagens não fala diretamente com o Tomador de Decisão Final. Em vez disso, eles entregam a informação visual ao "Escritor de Perguntas" (os tokens de texto). O Escritor de Perguntas processa a imagem, transforma-a em palavras e, então, passa essa informação para o Tomador de Decisão Final.
- Quando é usado: Este é o caminho principal para Relações Espaciais (ex: "Onde está a xícara em relação ao prato?"). O modelo parece precisar "pensar sobre" a relação em palavras antes de responder.

2. O Mecanismo de Alternância

A descoberta mais surpreendente é que o modelo não fica preso em apenas uma rota. É como um motorista que geralmente pega a rodovia, mas pode mudar instantaneamente para uma estrada secundária se a rodovia estiver bloqueada.

Dependência da Tarefa: O modelo escolhe a rota com base no trabalho.
- Tarefas simples de identificação: Usa a Rodovia Direta.
- Tarefas de relacionamento complexas: Usa a Rota do Mensageiro.
Dependência dos Dados: A rota pode mudar com base no tipo de imagem. Por exemplo, ao identificar onde um objeto está (Localização), o modelo usa a Rodovia Direta em formas simples geradas por computador, mas muda para a Rota do Mensageiro ao observar fotos complexas do mundo real.
Dependência do Prompt: Até mesmo a maneira como você faz a pergunta altera a rota. Se você der ao modelo uma lista de múltipla escolha (ex: "É A, B ou C?"), ele tende a mudar para a Rota do Mensageiro. Se você deixá-lo responder livremente, ele frequentemente pega a Rodovia Direta.

3. A Descoberta do "Plano de Contingência"

Esta é a parte mais crítica do artigo. Os pesquisadores testaram o que acontece se eles "quebrarem" uma das rotas.

O Experimento: Eles usaram uma técnica chamada "patching causal" (imagine trocar a memória do detetive com um cenário diferente) e "knockouts de atenção" (imagine colocar uma venda nos olhos do detetve para que ele não possa olhar diretamente para a foto).
O Resultado:
- Quando bloquearam a Rodovia Direta, o modelo não falhou. Em vez disso, ele mudou instantaneamente para a Rota do Mensageiro e ainda assim obteve a resposta correta!
- Mesmo para tarefas onde o modelo geralmente olha diretamente para a foto (como reconhecer um objeto), se você forçar o modelo a parar de olhar, ele ainda pode resolver o problema baseando-se nas descrições de texto que gerou ao longo do caminho.

4. Por Que Isso Importa (O Momento "Aha!")

O artigo explica que estudos anteriores se confundiram porque olharam apenas para um lado da história.

Alguns pesquisadores bloquearam o caminho direto e viram o modelo ainda funcionando, concluindo então que o modelo sempre usa a rota de texto.
Outros observaram o comportamento normal e viram o modelo olhando diretamente para a imagem, concluindo então que a rota de texto não era necessária.

A Verdade: O modelo possui ambos os caminhos ativos ao mesmo tempo. Ele geralmente escolhe o mais eficiente para a tarefa específica. No entanto, se você mexer com o modelo (como bloquear um caminho), ele ativa seu "plano de contingência".

A Lição: Você não pode assumir que sabe como uma IA pensa apenas quebrando partes dela. Se você quebrar a "Rodovia Direta", a IA pode simplesmente pegar a "Rota do Mensageiro" e ainda ter sucesso, fazendo parecer que ela nunca precisou da rodovia em primeiro lugar. O artigo mostra que esses modelos são incrivelmente flexíveis, possuindo múltiplas maneiras de resolver o mesmo quebra-cabeça, dependendo de como você os questiona e do que você permite que façam.

Resumo Técnico: Caminhos de Fluxo de Informação Visual em Modelos de Visão-Linguagem

Declaração do Problema

Embora os Modelos de Visão-Linguagem (VLMs) resolvam tarefas multimodais complexas com sucesso, os mecanismos específicos pelos quais a informação visual é roteada e integrada dentro do modelo de linguagem durante a geração de texto permanecem obscuros. Pesquisas anteriores produziram conclusões conflitantes sobre esses mecanismos: alguns estudos sugerem que a informação visual flui diretamente dos tokens de imagem para o token de saída final (caminho direto), enquanto outros argumentam que a informação visual é sempre mediada por tokens de texto/consulta antes de atingir o token final (caminho mediado por texto).

Uma limitação crítica nos trabalhos anteriores é a dependência de intervenções de atenção (ex: attention knockouts). Esses métodos testam primariamente a necessidade (se um modelo consegue resolver uma tarefa sem um componente específico) em vez do uso (se o modelo tipicamente usa esse componente durante a inferência padrão). Consequentemente, permanece incerto como os VLMs realmente roteiam a informação sob condições normais e se existem caminhos alternativos como contingências latentes (fallbacks).

Metodologia

Os autores empregam patching causal com exemplos contrafatuais para distinguir entre o que os modelos podem fazer versus o que eles tipicamente fazem. O estudo utiliza um design experimental controlado através de três tarefas visuais:

Reconhecimento de Objetos: Identificação de entidades.
Relações Espaciais: Raciocínio sobre posições entre entidades.
Localização de Objetos: Mapeamento de entidades para posições globais.

Dados: Os experimentos são conduzidos em ambos os datasets sintéticos (formas coloridas com primitivas controladas) e datasets naturais (ex: COCO, Visual Genome, What's Up) para testar a generalização.

Modelos: O estudo avalia o Qwen3-VL-4B, InternVL3.5-4B e LLaVA-1.5-7B.

Intervenções:

Causal Patching: Representações ocultas de um input contrafactual (imagem diferente, mesmo texto) são inseridas na passagem direta (forward pass) de um input original em camadas específicas. Isso mede a "Pontuação de Restauração", indicando se o conjunto de tokens patcheados contém informação suficiente para alterar a previsão do modelo.
Attention Knockouts: Arestas de atenção específicas são suprimidas para testar a necessidade de um caminho.
Corrupted-Input Patching: Representações de texto de uma imagem válida são inseridas (patched) em uma execução de inferência onde a imagem foi substituída por ruído aleatório, testando se os tokens de texto sozinhos codificam sinal visual suficiente.

Definições de Caminho:

Caminho Direto ( $r_{I \to last}$ ): O token final atende diretamente aos tokens de imagem.
Caminho Mediado por Texto ( $r_{I \to T} \to r_{T \to last}$ ): A informação visual é transferida dos tokens de imagem para os tokens de texto/consulta, que são então lidos pelo token final.

Resultados Principais

1. Seleção de Caminho Dependente da Tarefa

O estudo identifica que os VLMs utilizam caminhos distintos dependendo da tarefa específica:

Reconhecimento de Objetos: Depende do caminho direto. O causal patching mostra que o token final lê a informação visual diretamente dos tokens de imagem ao longo da rede; realizar o patch nos tokens de texto não tem efeito sobre o output.
Relações Espaciais: Depende do caminho mediado por texto. A informação visual é transferida para os tokens de texto em camadas intermediárias. Uma vez que essa transferência ocorre, o patch nos tokens de imagem não afeta mais a previsão, indicando que o token final depende das representações de texto.
Localização de Objetos: A seleção do caminho é modulada pela distribuição de dados.
- Em dados sintéticos, os modelos usam o caminho direto.
- Em dados naturais, os modelos mudam para o caminho mediado por texto, provavelmente devido à maior complexidade visual e à necessidade de ancoragem em cenas ricas em distratores.

2. Modulação por Design de Prompt

O design do prompt influencia a seleção de caminho. Para reconhecimento de objetos, um protocolo de geração "aberto" (texto livre) mantém o caminho direto. No entanto, um protocolo de "escolhas" (selecionar de um conjunto fixo de candidatos) induz uma mudança para o caminho mediado por texto, sugerindo que as restrições do espaço de saída alteram a estratégia de roteamento interno.

3. Caminhos como Contingências Flexíveis (Fallbacks)

Uma descoberta significativa é que esses caminhos não são rígidos; eles coexistem como alternativas de reserva.

Corrupted-Input Patching: Quando o input da imagem é substituído por ruído, os modelos ainda podem recuperar respostas corretas usando apenas o caminho mediado por texto. Isso ocorre mesmo para tarefas (como reconhecimento de objetos) onde o caminho direto é dominante sob inferência normal.
Attention Knockouts: Bloquear o caminho direto ( $r_{I \to last}$ ) tem impacto negligenciável na acurácia. O modelo consegue redirecionar com sucesso através do caminho mediado por texto para manter o desempenho. Por outro lado, interromper o caminho mediado por texto causa quedas substanciais de desempenho.

Significância e Alegações

O artigo afirma fornecer uma caracterização mecanística do fluxo de informação visual, unificando descobertas anteriormente conflitantes na literatura. Os autores argumentam que:

Viés de Intervenção: Intervenções baseadas em ablação padrão (como attention knockouts) correm o risco de ativar caminhos de contingência (fallback pathways). A capacidade de um modelo de resolver uma tarefa sem um componente não implica que ele normalmente usa esse componente. Isso explica por que diferentes estudos reportaram mecanismos contraditórios para as mesmas tarefas.
Flexibilidade de Mecanismos Internos: Os VLMs possuem estratégias de roteamento flexíveis. O caminho mediado por texto codifica informação visual suficiente para resolver tarefas mesmo quando o fluxo visual direto é ablado ou corrompido.
Implicação Metodológica: Para caracterizar com precisão como os modelos processam informação, pesquisadores devem combinar intervenções sensíveis ao uso (causal patching) com testes de necessidade (knockouts). Confiar em um único método pode levar a conclusões incompletas ou enganosas sobre o comportamento do modelo.

Os autores concluem que a integração da informação visual em VLMs não é um mecanismo único e fixo, mas um sistema dinâmico onde a seleção de caminho depende da tarefa, da distribuição de dados e do design do prompt, com o roteamento mediado por texto servindo como um mecanismo de contingência robusto e latente.