💻 computer science

Direct Visual Grounding by Directing Attention of Visual Tokens

Este artigo propõe uma nova perda de atenção KL (KLAL) que supervisiona diretamente a atenção dos tokens visuais aos tokens de linguagem relevantes em Modelos de Visão-Linguagem, melhorando assim o desempenho em tarefas de grounding visual ao abordar os sinais de atenção insuficientes fornecidos pela predição padrão de próximo token.

Autores originais: Parsa Esmaeilkhani, Longin Jan Latecki

Publicado 2026-08-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Parsa Esmaeilkhani, Longin Jan Latecki

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores podem olhar para uma imagem e falar sobre ela, exatamente como você e eu conversamos sobre uma foto em nossos telefones. Este é o reino dos Modelos de Visão-Linguagem (VLMs), um ramo da inteligência artificial que tenta construir uma ponte entre o que uma câmera vê e o que um humano diz. Pense nesses modelos como tradutores superinteligentes que pegam uma imagem, decompõem-na em minúsculas peças de quebra-cabeça digital chamadas "tokens visuais" e as misturam com palavras para responder a perguntas como "Qual é a cor do gato?" ou "Quantas maçãs existem?".

Por muito tempo, os cientistas pensaram que esses modelos estavam ficando realmente bons nisso. Mas havia um mistério persistente: às vezes, mesmo quando a resposta estava correta, o computador parecia ignorar a imagem inteiramente. Era como se um aluno estivesse fazendo uma prova, lendo a pergunta, dando uma olhada rápida no diagrama e, em seguida, respondendo baseando-se inteiramente no que lembrou de um livro didático, esquecendo completamente de olhar para as linhas e formas específicas bem à sua frente. A grande questão para os pesquisadores era: Por que o "cérebro" do computador para de prestar atenção nas pistas visuais na hora de dar a resposta final? Este artigo mergulha exatamente nesse problema, tentando descobrir se podemos ensinar esses modelos de IA a realmente olhar para as partes certas da imagem quando falam.

O Problema: O "Fantasma" na Máquina

Conheça o Modelo de Visão-Linguagem. Você pode pensar nele como um robô muito falante que leu um milhão de livros e olhou para um milhão de fotos. Quando você faz uma pergunta sobre uma imagem, ele decompõe a imagem em uma grade de pequenos quadrados (tokens visuais) e os mistura com as palavras que você digitou.

Aqui está a parte estranha: o artigo descobriu que, nos momentos finais do pensamento, logo antes de o robô digitar sua resposta, ele frequentemente para de olhar para a imagem. É como um chef que tem todos os ingredientes sobre o balcão, mas, na hora de montar o prato, decide ignorar a comida e apenas adivinhar qual deve ser o sabor com base em uma receita que memorizou. Os pesquisadores descobriram que a "atenção" que o computador dá às partes mais importantes da imagem (como a interseção de duas linhas ou um objeto específico) é quase zero. É como se as pistas visuais fossem fantasmas — presentes no sistema, mas invisíveis para a parte do cérebro que escreve a resposta.

O artigo argumenta que a forma padrão como esses modelos são treinados (chamada de "Previsão do Próximo Token") é como um professor que apenas avalia a redação final, mas nunca verifica se o aluno realmente olhou para as fotos de referência. O computador aprende a adivinhar a próxima palavra corretamente, mas não aprende o porquê de aquela ser a palavra certa ou qual parte da imagem a tornou correta.

A Solução: Um "Laser de Apontador" para a Atenção

Para corrigir isso, os autores criaram um novo truque de treinamento inteligente chamado Perda de Atenção KL (KLAL).

Imagine que você está ensinando um cachorro a buscar uma bola. Na forma antiga, você apenas diria "Bom garoto!" quando ele trouxesse a bola de volta, mas o cachorro poderia ter apenas corrido aleatoriamente e por sorte acabou pegando a bola. Na nova forma proposta por este artigo, você usa um laser de apontador. Toda vez que o cachorro olha para a bola, você brilha a luz nela e diz: "Sim! Olhe bem ali!"

No mundo dos computadores, o "laser de apontador" é um sinal matemático especial que força o modelo a focar sua atenção nos pixels específicos da imagem que importam para a resposta.

Se a pergunta for "Quantas vezes estas linhas se cruzam?", o laser aponta para os locais exatos onde as linhas se interceptam.
Se a pergunta for "Este nó está conectado àquele?", o laser traça o caminho da linha que os conecta.

O modelo é então punido (via uma função de perda) se olhar para qualquer outro lugar. É como dizer ao robô: "Você não pode apenas adivinhar a resposta; você tem que provar que está olhando para o lugar certo na imagem."

O Que Eles Descobriram: De Adivinhar para Ver

Os pesquisadores testaram essa ideia em algumas tarefas complicadas que exigem raciocínio visual preciso, como contar quantas vezes duas linhas onduladas se cruzam ou traçar um caminho através de um gráfico complexo para ver se dois pontos estão conectados. Eles até criaram um novo jogo chamado "Rastreamento de Linha" (Line Tracing), onde o computador tem que seguir um caminho através de um labirinto de pontos.

Aqui está o que aconteceu quando eles ligaram o "laser de apontador" (KLAL):

Melhores Respostas: Os modelos melhoraram significamente nas tarefas. Por exemplo, na tarefa de "Interseção de Linhas", um modelo melhorou sua precisão de cerca de 47% para mais de 70% quando adicionaram este novo método de treinamento. Em uma tarefa de "Apontamento" (onde o modelo tem que dizer exatamente onde um objeto está), a melhoria foi massiva, saltando de um palpite quase aleatório para acertar quase metade das vezes.
Melhor Foco: A parte mais emocionante não foi apenas a pontuação; foi como o modelo pensava. Quando os pesquisadores observaram os "mapas de atenção" do modelo (que mostram onde o computador está olhando), viram uma mudança dramática. Antes do novo treinamento, o modelo olhava para partes aleatórias da imagem. Após o treinamento, a atenção do modelo estava firmemente travada nos pontos de interseção ou no objeto específico, exatamente como um humano olharia.
Memória Mais Forte: O artigo também descobriu que esse treinamento não apenas mudou onde o modelo olhava; ele de fato tornou a memória interna da imagem do computador mais forte. Os "pesos" digitais das partes importantes da imagem tornaram-se mais pesados e distintos, o que significa que o modelo realmente "entendeu" os dados visuais melhor, não apenas as palavras.

O Veredito

O artigo sugere que a razão pela qual esses modelos de IA às vezes falham em tarefas visuais simples não é porque não são inteligentes o suficiente, mas porque não estão sendo ensinados a olhar adequadamente. Ao adicionar um sinal direto de "laser de apontador" durante o treinamento, eles forçaram os modelos a conectar suas palavras diretamente aos pixels que elas representam.

Os resultados mostram que este método funciona em diferentes tipos de modelos, desde modelos de código aberto até alguns dos maiores sistemas de IA comerciais. Até mesmo os modelos comerciais mais avançados tiveram dificuldades nessas tarefas geométricas específicas até que este método fosse aplicado. Os autores concluem que, se queremos que a IA entenda verdadeiramente o mundo, não podemos apenas deixá-la adivinhar; temos que ensiná-la a prestar atenção nas coisas certas, assim como um professor guia os olhos de um aluno para a parte correta de um diagrama.

Em resumo, o artigo prova que quando você força uma IA a olhar para as evidências antes de falar, ela para de alucinar e começa a realmente enxergar.

Resumo Técnico: Ancoragem Visual Direta através do Direcionamento da Atenção de Tokens Visuais

Definição do Problema
Modelos de Linguagem-Visão (VLMs) integram tokens visuais e textuais dentro de módulos de Grandes Modelos de Linguagem (LLMs), mas frequentemente falham em tarefas que exigem raciocínio visual preciso, como inferência geométrica, contagem de objetos e verificação de relações espaciais. Um problema crítico identificado é que, nas camadas finais do LLM, os tokens de resposta alocam pouca ou nenhuma atenção aos tokens visuais mais relevantes para a consulta. Em vez disso, o modelo frequentemente recorre a vieses linguísticos (language priors), levando a alucinações ou respostas incorretas, mesmo quando a informação visual está presente. A perda padrão de Predição do Próximo Token (NTP) fornece um sinal insuficiente para direcionar a atenção do modelo para regiões visuais específicas, resultando em um cenário onde os tokens visuais são efetivamente ignorados ou tratados de forma igual a tokens irrelevantes.

Metodologia
Os autores propõem um novo framework de treinamento que introduz a Perda de Atenção KL (KLAL) para supervisionar diretamente o mecanismo de atenção dos VLMs. A hipótese central é que o alinhamento explícito da distribuição de atenção dos tokens de resposta de linguagem com as regiões visuais de verdade fundamental (ground truth - GT) melhora o desempenho.

Supervisão de Atenção: O método calcula a distribuição de atenção dos tokens visuais em relação ao token de resposta final gerado. Essa distribuição é tratada como um vetor de probabilidade.
Construção da Verdade Fundamental (GT): Mapas de atenção de GT são construídos automaticamente sem exigir novos rótulos manuais:
- Tarefas Sintéticas: Mapas são derivados da geometria da tarefa (ex: patches contendo interseções de linhas ou caminhos conectando nós).
- Imagens Reais: Mapas são projetados a partir de anotações padrão (caixas delimitadoras ou anotações de pontos) usando funções de suavização.
Função de Perda: A proposta de KLAL minimiza a divergência de Kullback-Leibler (KL) entre a distribuição de atenção prevista pelo modelo e a distribuição de GT construída em todas as camadas do LLM.
Objetivo de Treinamento: A perda total combina a perda NTP padrão com a KLAL: $L_{total} = L_{NTP} + \lambda L_{KLAL}$ . Esta abordagem é agnóstica ao modelo, não requer modificações arquitetônicas e não necessita de cabeças adicionais específicas para a tarefa (ex: para segmentação ou localização).

Principais Contribuições

Nova Função de Perda: Introdução da KLAL, que ancora diretamente os tokens de linguagem de resposta aos tokens visuais relevantes através do alinhamento de distribuições de atenção via divergência KL.
Evidência Empírica: Demonstração de que a melhoria da atenção em regiões de imagem relevantes correlaciona-se diretamente com o aumento do desempenho em tarefas visuais, oferecendo melhor explicabilidade através de mapas de atenção.
Melhoria de Embedding: Descoberta de que o método melhora os embeddings profundos dos tokens visuais, fazendo com que tokens de alta norma se concentrem nas regiões da imagem mais relevantes para a resposta correta.
Novo Dataset: Criação de um dataset sintético de Rastreamento de Linhas (Line Tracing) para avaliar a capacidade dos VLMs de rastrear caminhos e determinar a conectividade entre nós em grafos complexos, uma tarefa na qual até modelos comerciais enfrentam dificuldades.
Avaliação Abrangente: Benchmarking extensivo de VLMs de código aberto e comerciais em tarefas de raciocínio geométrico, apontamento (pointing) e compreensão de expressão de referência (REC).

Resultos Experimentais
O método foi avaliado em cinco datasets: Line Intersection, Line Tracing, Grid Patch pointing, PixMo-Points e RefCOCO.

Tarefas Geométricas: Nas tarefas de Line Intersection e Line Tracing, adicionar KLAL ao ajuste fino (finetuning) de NTP superou significativamente os modelos base e o ajuste fino apenas de NTP. Por exemplo, o Qwen2.5-VL melhorou de 47,62% para 70,23% em Line Intersection e de 49,62% para 62,21% em Line Tracing.
Tarefas de Apontamento: A abordagem gerou ganhos substanciais na localização de coordenadas. O Qwen2.5-VL alcançou 44,90% de precisão em Grid Patch e 35,77% em PixMo-Points com NTP+KLAL, superando tanto os modelos base quanto outros baselines de última geração, como GPT-4o e Gemini-2.0 Flash.
Generalização: Experimentos de transferência entre datasets mostraram que o NTP+KLAL permitiu uma transferência eficaz entre datasets de apontamento, enquanto o NTP sozinho falhou em generalizar.
Ancoragem no Mundo Real: No dataset RefCOCO, o método proporcionou melhorias mensuráveis de precisão (ex: 91,45% vs. 90,05% na validação), mesmo para modelos que já apresentavam alto desempenho.
Visualização de Atenção: Mapas de atenção confirmaram que modelos treinados com KLAL focaram significativamente mais nas regiões alvo (ex: pontos de interseção) em comparação com os modelos base, onde a atenção era difusa ou desalinhada.

Significância e Alegações
O artigo afirma que a principal limitação no desempenho atual dos VLMs em tarefas visuais é a falta de supervisão direta para a atenção visual dentro do módulo LLM. Ao traçar uma analogia com o aprendizado na primeira infância — onde a supervisão direta liga a dominância visual ao aprendizado de palavras — os autores argumentam que sua abordagem transforma a exposição passiva em aprendizado ativo. A significância deste trabalho reside na demonstração de que:

O NTP padrão é insuficiente para ancorar tokens visuais.
A supervisão direta de atenção via divergência KL é uma solução simples, eficaz e agnóstica ao modelo que melhora tanto a precisão da resposta quanto a interpretabilidade das decisões do modelo.
Mesmo VLMs comerciais avançados exibem fraquezas fundamentais em raciocínio geométrico e de conectividade, que podem ser mitigadas através desta supervisão de atenção direcionada.

O Problema: O "Fantasma" na Máquina

A Solução: Um "Laser de Apontador" para a Atenção

O Que Eles Descobriram: De Adivinhar para Ver

O Veredito

Mais como este