🤖 machine learning

Transcoders Trace Visual Grounding and Hallucinations in Vision-Language Models

Este artigo apresenta uma estrutura centrada em funções que utiliza Transcoders para interpretar Modelos Visão-Linguagem, demonstrando que essa abordagem produz uma ancoragem visual mais estável do que os Autoencoders Esparsos e permite a previsão de alucinações por meio de análise de grafos mecanísticos.

Autores originais: Dimitrios Damianos, Leon Voukoutis, Georgios Skyrianos, Vassilis Katsouros, Georgios Paraskevopoulos

Publicado 2026-05-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dimitrios Damianos, Leon Voukoutis, Georgios Skyrianos, Vassilis Katsouros, Georgios Paraskevopoulos

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo Visão-Linguagem (VLM) como um tradutor altamente talentoso, mas um tanto misterioso. Ele observa uma imagem e escreve uma história sobre ela. Sabemos que ele funciona bem, mas não sabemos realmente como decide quais palavras escrever com base em quais partes da imagem. É como assistir a um mágico tirando um coelho de um chapéu; vemos o resultado, mas o truque dentro do chapéu é uma caixa preta.

Este artigo tenta abrir aquele chapéu e explicar o truque. Aqui está a decomposição do que eles fizeram, usando analogias simples.

1. O Problema: A "Foto Estática" vs. O "Filme"

Os métodos anteriores para entender esses modelos eram como tirar uma fotografia estática do cérebro do tradutor em um único momento. Eles usavam ferramentas chamadas "Autoencoders Esparsos" (SAEs) para observar o que o modelo estava "pensando" em uma camada específica.

Os autores argumentam que isso é falho porque o tradutor não está apenas sentado imóvel; ele está constantemente trabalhando. Ele está recebendo uma entrada visual e transformando-a ativamente em texto. Uma foto estática perde a ação.

A Solução: Eles usaram uma nova ferramenta chamada Transcodificador.

A Analogia: Se um SAE é uma fotografia de um carro estacionado numa garagem, um Transcodificador é um vídeo do motor funcionando. Ele não olha apenas para as peças do carro; observa como o motor transforma o combustível em movimento. Ele foca na função (o trabalho sendo feito) em vez de apenas no estado (como os dados parecem).

2. O Experimento: Encontrando a "Ancoragem Visual"

Os pesquisadores queriam ver se essa nova ferramenta de "vídeo do motor" poderia explicar melhor como o modelo conecta uma imagem a uma palavra específica.

O Teste: Eles pediram ao modelo para descrever uma imagem. Em seguida, usaram suas ferramentas para adivinhar qual parte da imagem era mais importante para uma palavra específica (por exemplo, a palavra "cachorro").
A "Ablação" (O Teste da Borracha): Para verificar se a suposição estava correta, eles pegaram uma borracha digital e removeram (ablamaram) a parte específica da imagem que achavam ser importante.
- O Resultado: Quando apagaram as partes identificadas pelo Transcodificador, o modelo ficou muito confuso e parou de escrever a palavra "cachorro" corretamente. Quando apagaram as partes identificadas pelo antigo método SAE, o modelo mal percebeu.
- A Metáfora: É como tentar adivinhar qual ingrediente faz um bolo ter gosto de chocolate. Se você remover o ingrediente identificado pelo Transcodificador, o bolo para de ter gosto de chocolate. Se você remover o ingrediente identificado pelo método antigo, o bolo ainda tem um bom gosto. O Transcodificador encontrou o verdadeiro chocolate.

3. A Verificação de "Ancoragem Falsa"

Para garantir que o Transcodificador não estava apenas adivinhando aleatoriamente ou ficando confuso, eles realizaram um teste de truque chamado "Ancoragem Visual Falsa".

O Cenário: Eles fizeram perguntas matemáticas ao modelo (como "O que é 20 + 30?") ou perguntas de conhecimento geral ("Qual é a capital da França?"), mas mostraram uma imagem aleatória de um gato. A resposta não tem nada a ver com o gato.
O Resultado: O Transcodificador ignorou corretamente a imagem do gato. Ele não tentou ligar o gato à resposta. Os métodos antigos às vezes tentavam forçar uma conexão onde não existia nenhuma.
A Conclusão: O Transcodificador é inteligente o suficiente para saber quando uma imagem é apenas uma distração e não relevante para a resposta.

4. O Detetive de "Alucinação"

Finalmente, os pesquisadores analisaram quando o modelo "alucina" — quando ele afirma com confiança fatos que não estão na imagem.

A Investigação: Eles trataram o processo de pensamento interno do modelo como um mapa rodoviário ou um circuito impresso. Eles traçaram o caminho que a informação percorreu, da imagem até a palavra final.
A Descoberta: Eles descobriram que, quando o modelo diz a verdade, o "mapa rodoviário" tem um aspecto. Quando ele mente (alucina), o mapa rodoviário tem um aspecto diferente.
- A Diferença: As alucinações pareciam viajar por caminhos mais curtos, mais congestionados e mais concentrados. É como se a verdade percorresse uma rota longa e cênica, verificando muitos marcos, enquanto a mentira pega um atalho por um túnel, ignorando o entorno.
A Previsão: Eles construíram um simples "detector de mentiras" (um classificador logístico) que olhava apenas para a forma desses mapas rodoviários. Sem ler o texto ou ver a imagem, esse detector conseguia adivinhar se o modelo estava alucinando com cerca de 68% de precisão (o que é significativamente melhor do que um chute aleatório).

Resumo

Em resumo, este artigo diz:

Pare de olhar para instantâneos; assista ao filme. Usar "Transcodificadores" para observar como o modelo processa a informação é melhor do que apenas olhar para o que ele guarda em sua memória.
Ele encontra as conexões certas. Este método identifica corretamente quais partes de uma imagem realmente importam para as palavras sendo escritas.
Mentiras têm uma forma diferente. Mesmo sem ler a saída, podemos dizer se um modelo está mentindo apenas olhando para a "fiação" interna de como ele calculou a resposta.

Os autores concluem que essa abordagem "centrada na função" nos oferece um mapa mais claro e confiável de como esses modelos de IA realmente funcionam.

Resumo Técnico: Transcoders Rastreiam Grounding Visual e Alucinações em Modelos Visão-Linguagem

Declaração do Problema

Modelos Visão-Linguagem (VLMs) generativos, como Gemma 3 e LLaVA, alcançaram desempenho state-of-the-art no raciocínio multimodal. No entanto, os mecanismos internos que transformam entradas visuais em texto permanecem pouco compreendidos. A pesquisa existente em interpretabilidade depende principalmente de Autoencoders Esparsos (SAEs) para decompor representações residuais estáticas. Embora os SAEs tenham fornecido insights sobre as operações de Modelos de Linguagem de Grande Escala (LLMs), eles tratam fundamentalmente o modelo como uma sequência de estados independentes. Consequentemente, falham em isolar as atualizações funcionais específicas que impulsionam a interação cross-modal entre informações visuais e linguísticas. O trabalho atual de interpretabilidade em VLMs está amplamente confinado a codificadores contrastivos ou análise de estado estático, carecendo de uma explicação causal de como o grounding visual é implementado durante a inferência em backbones generativos.

Metodologia

Os autores propõem um framework centrado em função baseado em Transcoders para abordar essas limitações. Diferentemente dos SAEs, que reconstroem estados ocultos estáticos ( $y=x$ ), os Transcoders atuam como aproximações esparsas de subcamadas MLP, reconstituindo a própria transformação computacional ( $y = \text{MLP}(x)$ ). Essa mudança da decomposição baseada em estado para a baseada em função permite que os Transcoders sirvam como um proxy causal para o cálculo por camadas.

Configuração Experimental:

Modelo: O framework é aplicado ao Gemma 3-4B-IT.
Arquitetura: Transcoders e SAEs são integrados com uma expansão de 16× (40.960 características) em cada camada.
Treinamento: Um currículo de duas etapas totalizando 500M de tokens: um aquecimento de apenas texto de 200M de tokens seguido por uma fase multimodal de 300M de tokens utilizando COCO, VQAv2 e CLEVR.
Esparsidade: Uma configuração de top-64 é adotada, pois produz desempenho de reconstrução superior (medido pela Fração de Variância Não Explicada, FVU) em comparação com regularização L1 e outras variantes top-k.

Protocolos de Avaliação:

Grounding Visual (Ablação): Mapas de atribuição são gerados para identificar patches de imagem relevantes para tokens alvo. Os autores realizam ablação nesses patches para medir mudanças na probabilidade do token ( $\Delta p$ ) e na entropia ( $\Delta H$ ).
Análise Contrafactual (Falso Grounding Visual): Tarefas aritméticas e simbólicas são emparelhadas com imagens para testar se os métodos de atribuição atribuem relevância visual espúria quando a resposta é independente da imagem.
Detecção de Alucinações: Propriedades estruturais de grafos computacionais (derivados de rastreamentos de circuitos) são extraídas para distinguir entre saídas corretas e alucinadas. Um classificador de regressão logística é treinado nessas características estruturais.

Contribuições Principais

1. Decomposição Funcional Multimodal

O estudo demonstra que os Transcoders produzem atribuições mais estáveis e semanticamente fiéis para tokens com grounding visual em comparação com os SAEs.

Evidência: Em estudos de ablação, a remoção de patches identificados por Transcoders resultou em uma diminuição significativamente maior na probabilidade do token e em um aumento maior na entropia do que a remoção de patches identificados por SAEs.
Especificidade: Uma análise contrafactual de "Falso Grounding Visual" confirmou que as atribuições dos Transcoders são específicas para interações visão-linguagem. Em tarefas solucionáveis sem entrada visual, os Transcoders atribuíram importância negligenciável aos patches de imagem, enquanto os SAEs mostraram comportamento menos discriminativo.

2. Rastreamento Mecanístico Cross-Modal

Os autores utilizam o rastreamento de circuitos para identificar caminhos computacionais que ligam embeddings visuais a tokens de texto dentro do backbone do LLM.

Descobertas: Tokens com grounding visual (substantivos, adjetivos) dependem de um pequeno subconjunto localizado de regiões da imagem. Esses caminhos formam cadeias computacionais estruturadas, revelando como a informação se propaga de entradas visuais específicas para influenciar a geração de tokens. Isso fornece uma visão mecanicista da implementação do grounding visual.

3. Análise Estrutural de Alucinações

O artigo introduz um método para analisar alucinações através da lente da estrutura do grafo computacional.

Métricas: Cinco descritores estruturais foram extraídos: Profundidade Média do Caminho, Span de Camada, Distância de Token, Entropia de Contribuição e Fração do Top-1 de Características.
Observações: Saídas alucinadas exibiram diferenças sutis, mas estatisticamente significativas, em comparação com saídas corretas, especificamente mostrando menor distância de token, menor entropia de contribuição e uma maior Fração do Top-1 de Características. Isso sugere que as alucinações envolvem interações de tokens mais localizadas e uso concentrado de características.
Previsão: Um classificador logístico treinado nessas cinco características estruturais alcançou um AUC de 0,68 na distinção entre alucinações e gerações corretas, superando tanto a chance aleatória quanto as linhas de base da classe majoritária.

Resultados e Significância

O artigo afirma que a mudança da decomposição baseada em estado para a baseada em função produz uma explicação mecanicista mais útil de VLMs generativos. A significância principal reside em demonstrar que a decomposição de circuitos centrada em função pode:

Isolar Mecanismos Causais: Rastrear com sucesso como entradas visuais impulsionam tokens de texto específicos, oferecendo uma imagem mais clara da interação cross-modal do que a análise de estado estático.
Detectar Modos de Falha: Fornecer um sinal preditivo para alucinações multimodais baseado exclusivamente na estrutura interna do grafo de computação, sem acesso ao texto gerado ou referências externas.

Os autores enfatizam que, embora o desempenho preditivo para detecção de alucinações (AUC 0,68) seja modesto e preliminar, ele estabelece uma prova de conceito de que estruturas internas de circuitos carregam informações relevantes para a confiabilidade do modelo. Eles posicionam este trabalho como uma fundação para futuras ferramentas de interpretabilidade e potenciais intervenções mecanicistas, como direção baseada em grounding visual ou mitigação de alucinações, embora declarem explicitamente que não se reivindica desempenho competitivo contra detectores no nível de saída.

O estudo conclui que os Transcoders oferecem um toolkit robusto para analisar os "circuitos modulares" de VLMs, preenchendo a lacuna entre atribuição de características e análise de grafo de computação ligado através das camadas da rede.