Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models

Este estudo revela que, embora as informações sobre nós e estruturas globais sejam linearmente codificadas precocemente no codificador visual de modelos de linguagem e visão grandes (LVLMs), as informações sobre arestas só emergem tardiamente nos tokens de texto, o que explica as dificuldades desses modelos na compreensão de relações direcionais em diagramas.

O essencial

Imagine que você tem um super-herói da inteligência artificial chamado LVLM (Modelo Grande de Visão e Linguagem). Ele é incrível: consegue olhar para uma foto de um bolo e descrever o sabor, ou ver uma paisagem e contar quantas árvores tem. Ele é muito bom em "ver" o mundo.

Mas, quando esse super-herói olha para um diagrama (como um mapa de metrô, um organograma de uma empresa ou um gráfico de fluxo), ele começa a tropeçar. Ele consegue ver as caixinhas (os "nós"), mas parece ter muita dificuldade em entender as setas e linhas que conectam essas caixinhas (as "bordas").

Este artigo é como um raio-X da mente desse super-herói para descobrir por que ele comete esses erros.

A Grande Descoberta: "Nós são Cedo, Bordas são Tarde"

Os pesquisadores criaram um laboratório especial com desenhos feitos por computador (diagramas sintéticos) para testar o cérebro do robô. Eles queriam saber: em qual parte do cérebro do robô a informação fica clara e organizada?

Eles descobriram uma regra curiosa, que pode ser resumida assim:

1. As Caixinhas (Nós) são fáceis de ver

Imagine que o diagrama é uma sala cheia de pessoas (as caixinhas) e fios conectando elas.

• O que acontece: Assim que o robô olha para a foto, ele já consegue identificar perfeitamente quem é quem. Ele sabe a cor da camisa da pessoa A, a forma da cabeça da pessoa B e quantas pessoas existem na sala.
• A analogia: É como se, ao entrar na sala, o robô já tivesse um olho mágico que aponta para cada pessoa e diz: "Olá, você é vermelho, você é um quadrado, você é o número 5". Essa informação está clara e organizada logo no início do processamento visual.

2. As Setas (Bordas) são difíceis de entender

Agora, tente explicar para o robô: "A seta vermelha sai da pessoa A e vai para a pessoa B".

• O que acontece: No momento em que o robô está "olhando" a foto (na parte visual do cérebro), ele não consegue separar a informação da seta. A seta parece estar "escondida" ou misturada com o fundo. O robô vê a linha, mas não entende o que ela significa (quem conecta quem) naquele momento.
• A analogia: É como se o robô visse a sala cheia de pessoas, mas os fios que as conectam fossem invisíveis para ele enquanto ele olha a foto. Ele só consegue "ver" a conexão quando começa a pensar e falar (na parte de linguagem do cérebro).

O Processo de "Tradução"

O estudo mostra que o robô funciona em duas etapas principais:

1. A Câmera (Visão): Ela tira a foto e identifica bem as pessoas (nós) e a quantidade total de coisas. Mas ela "engole" as setas. A informação sobre as setas não fica clara aqui.
2. O Tradutor (Linguagem): O robô pega a foto e começa a ler a pergunta: "Qual a cor da seta entre A e B?". É neste momento, quando ele está processando as palavras da pergunta, que a informação sobre as setas finalmente se organiza e fica clara na memória dele.

Resumo da analogia:
Imagine que você está em uma festa.

• Nós (Caixinhas): Você vê as pessoas imediatamente. "Ali está o João, ali está a Maria".
• Bordas (Setas): Você não sabe quem está conversando com quem só olhando. Você precisa ouvir alguém dizer: "O João está falando com a Maria" para entender a conexão.
• O robô faz a mesma coisa: ele vê as pessoas, mas precisa "ouvir" a pergunta para entender quem está conectado a quem.

Por que isso importa?

Isso explica por que os robôs atuais são ótimos em descrever imagens, mas ruins em raciocinar sobre diagramas complexos.

• Eles têm uma "visão" forte para objetos isolados.
• Mas eles têm uma "visão" fraca para relações (quem conecta quem) dentro da imagem. Eles só conseguem entender essas relações quando transformam a imagem em palavras e começam a raciocinar com texto.

A Conclusão

Os pesquisadores provaram isso "desligando" partes do cérebro do robô. Quando eles apagaram a memória das caixinhas (nós), o robô parou de funcionar. Mas, quando eles tentaram apagar a memória das setas na parte visual, não mudou nada, porque a seta ainda não estava "armazenada" ali de forma útil. A seta só estava pronta para ser usada quando o robô já estava na fase de linguagem.

Em suma: Para os robôs, ver os objetos é fácil e imediato. Entender como eles se conectam é um processo tardio que acontece apenas quando eles começam a "pensar" com palavras. Para melhorar os robôs no futuro, precisamos ensinar a parte visual deles a entender as conexões desde o primeiro olhar, sem precisar esperar pela parte de linguagem.

Resumo técnico

1. Problema e Motivação

Os Grandes Modelos Visão-Linguagem (LVLMs) demonstraram desempenho robusto em benchmarks de compreensão de diagramas. No entanto, eles ainda enfrentam dificuldades significativas ao entender relações entre elementos, especificamente aquelas representadas por arestas direcionadas (setas e linhas), como direção de fluxo, conectividade e caminhos.

Embora os modelos consigam identificar elementos locais (como a cor ou forma de um nó), a compreensão de como esses elementos se conectam estruturalmente permanece fraca. O objetivo deste trabalho é investigar as causas internas dessa limitação, analisando como e quando as informações sobre nós, arestas e estrutura global são representadas e tornam-se acessíveis dentro da arquitetura do LVLM.

2. Metodologia

Os autores desenvolveram uma abordagem controlada para sondar as representações internas dos modelos, evitando vieses de dados naturais.

• Dataset Sintético: Foi criado um dataset de diagramas sintéticos baseados em grafos direcionados.

  • Controle: Cada diagrama possui 5 nós com cores, formas e identificadores (letras) controlados. As arestas têm estilos (sólido/tracejado) e direções controladas.
  • Variações: O dataset inclui duas variantes: Drand (layout de nós aleatório) para treinamento e Dfix (layout fixo) para avaliação controlada, garantindo que o modelo não use atalhos baseados em posição espacial fixa.
  • Categorias de Análise:
    1. Single (Único): Informação localizada em um único nó (ex: cor do nó A).
    2. Multiple (Múltiplo): Informação que requer a relação entre dois nós (ex: cor da aresta entre A e B, direção da aresta).
    3. Global: Informação que requer a visão de todo o grafo (ex: contagem total de nós).

• Técnicas de Análise:

  1. Probing (Sondagem): Treinamento de classificadores lineares simples nas camadas ocultas do Codificador de Visão e do Modelo de Linguagem (tanto na parte de entrada de imagem quanto na de texto) para verificar se a informação é linearmente separável (decodificável) em cada etapa.
  2. Intervenção Causal: Substituição das representações ocultas (hidden states) de patches com alta precisão de sondagem por vetores médios de outros patches. Se a precisão do VQA (Visual Question Answering) cair drasticamente, isso confirma que aquela representação é causalmente necessária para o raciocínio.

• Modelos Analisados: O foco principal foi o Qwen3-VL-8B-Instruct, com validação em Qwen2.5-VL, LLaVA1.5 e Gemma3.

3. Principais Contribuições

1. Dataset Sintético Controlado: Introdução de um dataset de diagramas que permite análise granular de elementos visuais básicos, eliminando ruídos de dados naturais.
2. Descoberta de Assincronia de Representação: Evidência de que a informação de nós e estrutura global é codificada linearmente cedo (no codificador de visão), enquanto a informação de arestas só se torna linearmente separável tardiamente (nos tokens de texto do modelo de linguagem).
3. Validação Causal: Demonstração, através de intervenção, de que as representações lineares encontradas no codificador de visão são efetivamente usadas pelo modelo para inferência, e não apenas artefatos passivos.

4. Resultados Chave

A. Sondagem no Codificador de Visão (Vision Encoder)

• Informação de Nós (Single) e Global: Torna-se linearmente decodificável nas camadas mais profundas do codificador de visão.
  • A informação de nós (ex: cor) está localizada nos patches correspondentes à posição do nó.
  • A informação global (ex: contagem de nós) está distribuída amplamente, inclusive em patches de fundo.
• Informação de Arestas (Multiple): A precisão da sondagem para atributos de arestas (cor, estilo, direção) permanece baixa (próxima ao nível de acaso) em todas as camadas do codificador de visão. Isso indica que o codificador de visão não possui uma representação linear clara das relações de arestas.

B. Sondagem no Modelo de Linguagem (Language Model)

• Transição de Imagem para Texto: Ao passar pelo adaptador (projector), a informação de nós e global é preservada, mas a informação de arestas continua difícil de decodificar linearmente na entrada de imagem do modelo de linguagem.
• Codificação Tardia nas Arestas: A precisão da sondagem para informações de arestas aumenta drasticamente apenas nos tokens de texto (especificamente nos tokens que mencionam os nós ou arestas na pergunta).
  • Isso sugere que o modelo de linguagem realiza uma agregação seletiva de informações visuais dispersas para construir uma representação linear da relação (aresta) apenas quando condicionado pelo texto.

C. Intervenção Causal

• Nós e Global: A corrupção das representações no codificador de visão (onde a sondagem foi bem-sucedida) causou uma queda drástica na precisão do VQA para atributos de nós e contagem global. Isso prova que essas representações lineares são causalmente usadas.
• Arestas: A intervenção no codificador de visão não afetou significativamente o desempenho em tarefas de arestas (que já eram ruins), sugerindo que o modelo depende de mecanismos não-lineares ou da integração tardia no modelo de linguagem para essas tarefas.

5. Significado e Conclusão

O artigo conclui que a dificuldade dos LVLMs em entender diagramas não é uniforme, mas depende do tipo de informação visual:

1. Nós são "Antigos" (Early): A informação sobre elementos individuais (nós) e a estrutura global é codificada cedo e de forma acessível no codificador de visão.
2. Arestas são "Tardias" (Late): A informação relacional (arestas) não é representada linearmente no espaço visual inicial. Ela requer um processo de composição mais complexo e abstrato que ocorre apenas no modelo de linguagem, condicionado pela linguagem natural.

Implicações:

• A falha em entender a direção de setas ou conexões complexas não é apenas uma falta de dados, mas uma limitação arquitetural na forma como a informação relacional é integrada.
• Para melhorar a compreensão de diagramas, futuras arquiteturas devem focar em mecanismos que permitam a codificação linear e acessível de relações estruturais antes da fase de integração texto-imagem, ou melhorar a capacidade do modelo de linguagem de sintetizar essas relações a partir de representações visuais não-lineares.

Em suma, o trabalho revela que os LVLMs tratam elementos visuais isolados e relações estruturais de maneiras fundamentalmente diferentes em seus estágios de processamento, explicando por que falham em tarefas que exigem raciocínio relacional complexo.