🤖 machine learning

Information-Regularized Attention for Visual-Centric Reasoning

Este artigo introduz a Atenção Regularizada por Informação (IRA), um mecanismo de atenção estocástica que regula explicitamente o fluxo de informação visual em modelos de visão-linguagem para mitigar alucinações e instabilidade ao transformar a incerteza da representação em ruído local independente, aumentando assim o ancoramento visual e a estabilidade do treinamento.

Autores originais: Guohao Sun, Xiaofang Wang, Yash Patel, Mengchen Liu, Zhiqiang Tao, Praveen Krishnan

Publicado 2026-07-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Guohao Sun, Xiaofang Wang, Yash Patel, Mengchen Liu, Zhiqiang Tao, Praveen Krishnan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno muito inteligente (um Modelo de Visão-Linguagem) a olhar para uma imagem e responder perguntas sobre ela. Geralmente, ensinamos esse aluno mostrando milhares de imagens e pedindo que ele adivinhe a próxima palavra de uma frase.

O problema, como os autores deste artigo descobriram, é que esse aluno às vezes fica "distraído" ou "confuso". Ele pode olhar para a foto de um cachorro e dizer com confiança: "Isso é um gato", ou pode focar no ruído do fundo em vez do objeto principal. Isso acontece porque as notas internas do aluno (os dados visuais) estão ficando poluídas com muita informação inútil, como estática em um canal de rádio.

Aqui está uma divisão simples do que o artigo propõe para consertar:

O Problema: O "Rádio com Ruído"

Pense na informação visual que o modelo recebe como um sinal de rádio. No treinamento padrão, o modelo tenta aprender tudo de uma vez. Mas, como ele está tentando prever a próxima palavra, ele acaba captando acidentalmente "estática" (detalhes irrelevantes) e "sinais ruins" (alucinações). É como tentar ouvir uma música clara enquanto alguém grita números aleatórios no seu ouvido. O modelo fica sobrecarregado e sua atenção fica presa nas coisas erradas (um fenômeno que o artigo chama de "sumidouros de atenção" ou attention sinks, onde o modelo apenas encara um token sem importância em vez de toda a imagem).

A Solução: "Atenção Regularizada por Informação" (IRA)

Os autores introduzem uma nova ferramenta chamada Atenção Regularizada por Informação (IRA). Você pode pensar nisso como um fone de ouvido com cancelamento de ruído inteligente para o céreulo do modelo.

Em vez de apenas deixar o modelo ler os dados visuais como eles são, a IRA adiciona intencionalmente um pouco de "caos controlado" (ruído aleatório) às notas internas do modelo antes de ele tomar uma decisão.

Veja como funciona usando uma analogia criativa:

A Etapa "Estocástica" (Adicionando o Ruído): Imagine que você está tentando descrever uma pintura para um amigo. Se você apenas encarar a pintura, pode ficar preso em um minúsculo ponto de poeira. Mas se você fosse solicitado a descrevê-la usando óculos levemente embaçados (o "ruído"), você seria forçado a ignorar o minúsculo ponto e focar nas formas grandes e importantes.
- No artigo, esse efeito de "óculos embaçados" é a atenção estocástica. Ela força o modelo a ser incerto sobre os detalhes minúsculos e a focar apenas nos sinais fortes e claros que realmente importam para a resposta.
O "Filtro Inteligente" (Condicionado pela Incerteza): O modelo não adiciona ruído em qualquer lugar. Ele é inteligente sobre isso.
- Se o modelo já estiver muito confiante sobre uma parte da imagem (baixa incerteza), o sistema diz: "Ok, mantenha isso claro; não mexa nisso".
- Se o modelo estiver confuso ou se os dados parecerem bagunçados (alta incerteza), o sistema diz: "Esta parte está instável; vamos adicionar um pouco de ruído aqui para forçá-lo a conferir novamente e encontrar a verdadeira verdade".
- Isso é como um professor que só ajuda um aluno quando ele está travado, em vez de reescrever todo o ensaio dele por ele.
O Resultado: Um Caminho Mais Reto: O artigo mede a "curvatura" do caminho de pensamento do modelo.
- Sem a IRA: O caminho de pensamento do modelo é como uma montanha-russa — sinuoso, instável e propenso a bater (alucinar).
- Com a IRA: O caminho torna-se uma rodovia suave e reta. O modelo se move de olhar para a imagem até dar a resposta sem fazer desvios desnecessários e confusos.

O Que Eles Descobriram?

Quando testaram este novo método:

Menos Alucinação: O modelo parou de inventar fatos sobre as imagens.
Melhor Foco: Ele parou de ficar preso em detalhes irrelevantes do fundo (reduzindo o "sumidouro de atenção").
Raciocínio Mais Inteligente: Ele melhorou em tarefas complexas, como responder perguntas que exigiam combinar o que viu com o que sabia, porque suas "notas" internas ficaram mais limpas e confiáveis.

A Conclusão

O artigo afirma que, ao adicionar intencionalmente um pouco de "incerteza" (ruído) ao processamento visual do modelo de uma forma inteligente e controlada, podemos torná-lo mais certo e confiável. É um pouco como sacudir um pote de castanhas misturadas para fazer com que as maiores subam para o topo; o ruído ajuda os sinais visuais importantes a se destacarem do lixo.

Esta abordagem não apenas faz o modelo responder melhor; ela muda fundamentalmente a forma como o modelo "pensa" sobre as imagens, tornando seu mapa interno do mundo mais suave e estável.

Resumo Técnico: Atenção Regularizada por Informação para Raciocínio Centrado em Visão

Definição do Problema
Os modelos de visão-linguagem (VLMs) estabeleceram-se como um paradigma para o aprendizado multimodal, mas sofrem de problemas significativos de confiabilidade, incluindo alucinação de objetos, fundamentação visual fraca e esquecimento catastrófico após o ajuste fino de instrução de parâmetros completos. Os autores argumentam que essas falhas decorrem de uma falta de controle explícito sobre o aprendizado de representação visual durante o objetivo padrão de predição do próximo token. Sob os paradigmas de treinamento atuais, os embeddings visuais são otimizados passivamente apenas através da supervisão linguística. Isso permite que sinais visuais irrelevantes ou ruidosos se propaguem através das camadas de atenção, levando a "sumidouros de atenção" (onde a atenção colapsa em tokens semanticamente não informativos) e interações cross-modais espúrias. As abordagens de dados existentes, que dependem da expansão dos sinais de supervisão (por exemplo, otimização de preferência), falham em regularizar diretamente as próprias representações de características.

Metodologia: Atenção Regularizada por Informação (IRA)
Para abordar esses problemas, o artigo propõe a Atenção Regularizada por Informação (IRA), um mecanismo de atenção estocástica projetado para regular explicitamente a quantidade de informação visual injetada nos estados ocultos das camadas intermediárias do transformer.

Formulação Teórica da Informação: O método enquadra o problema como uma tarefa de inferência variacional. Em vez de tratar os estados ocultos $h$ como mapeamentos determinísticos de $x$ , a IRA introduz uma variável latente estocástica $z$ ao injetar ruído aleatório nos estados de valor do módulo de atenção antes que eles entrem no cálculo da atenção. Isso transforma a propagação determinística dos embeddings visuais em um processo estocástico.
Arquitetura: Uma cabeça paramétrica leve é anexada a cada camada do transformer para produzir uma distribuição posterior $q_\phi(z | v)$ , onde $v$ representa os estados de valor. Esta posterior é aproximada usando um truque de reparametrização ( $z = v + \Delta_\phi(v) + \sigma_q \epsilon$ ), permitindo que o modelo aprenda perturbações adaptativas e estimativas de incerteza sem overhead adicional de codificação.
Objetivo de Regularização: O objetivo de treinamento inclui um termo de divergência de Kullback-Leibler (KL) entre a posterior aprendida e uma prior dependente de dados $p_\lambda(z | \lfloor v \rfloor)$ . A prior é centrada no estado de valor original desconectado (usando uma operação de stop-gradient) para evitar o colapso trivial entre posterior e prior.
Ponderação Condicionada pela Incerteza: Reconhecendo que nem todos os tokens visuais requerem igual regularização, os autores introduzem um mecanismo de ponderação por token. A magnitude da regularização é ajustada adaptativamente com base em dois fatores:
1. Importância: A massa média de atenção atribuída a um token pelos contextos de linguagem.
2. Incerteza: A entropia da distribuição de atenção cross-modal.
  Tokens que são pouco importantes (baixa atenção) e incertos (alta entropia) recebem uma regularização mais forte, enquanto detalhes visuais críticos são preservados.
Aplicação Específica por Camada: Experimentos indicam que aplicar a IRA nas camadas médias a tardias (especificamente 60%–80% da profundidade do transformer) produz o melhor desempenho, pois essas camadas equilibram o raciocínio abstrato com sinais de fundamentação visual retidos.

Principais Contribuições

Mecanismo Inovador: A proposta da IRA, que regula as representações visuais no nível da representação antes que entrem na atenção cross-modal, controlando explicitamente o fluxo de informação visual durante o ajuste fino de parâmetros completos.
Insights Geométricos: A demonstração de que a IRA melhora a geometria da representação. Os autores introduzem uma métrica de curvatura para analisar trajetórias neurais, descobrindo que a IRA produz trajetórias mais suaves e lineares através das camadas, o que se correlaciona com dinâmicas de treinamento estáveis e melhor fundamentação.
Mitigação de Sumidouros de Atenção: A identificação de uma correlação entre sumidouros de atenção e curvatura representacional. A IRA mostra-se capaz de suprimir sumidouros de atenção e reduzir a proporção de tokens que recebem atenção excessiva e não informativa.

Resultos
Os autores avaliaram a IRA em VLMs de código aberto (InternVL2, InternVL2.5 e LLaVA-OneVision) em vários benchmarks:

Desempenho Geral: A IRA superou consistentemente o SFT (Supervised Fine-Tuning) padrão em benchmarks intensivos em raciocínio (ex: MMMU, STEM, General QA) e tarefas intensivas em conhecimento (OK-VQA).
Robustez: O método melhorou o desempenho em benchmarks de detecção de alucinação (POPE, HallusionBench) e reduziu o viés em tarefas de visão de baixo nível (VLM-are-biased, VLM-are-blind).
Generalização: A IRA demonstrou melhor generalização para tarefas Out-of-Distribution (OOD), incluindo compreensão de múltiplas imagens (MuirBench, BLINK) e compreensão de vídeo (MVBench).
Análise de Representação: A análise quantitativa mostrou que os modelos IRA exibiram mudanças de curvatura menores (trajetórias mais retas) e redução significativa nas proporções de sumidouros de atenção em comparação com as bases de SFT.
Ablação: Remover a ponderação guiada pela incerteza ou a prior dependente de dados levou à degradação do desempenho, confirmando a necessidade de regularização adaptativa e ancoragem às representações pré-treinadas.

Significância e Alegações
O artigo afirma que a atenção estocástica não é meramente um regularizador, mas um contribuinte fundamental para o aprendizado de representação dentro de arquiteturas generativas. Ao regular explicitamente a informação injetada nos estados ocultos, a IRA aborda a causa raiz das alucinações visuais e da instabilidade: a propagação descontrolada de sinais visuais ruidosos. Os autores postulam que melhorar a confiabilidade dos VLMs requer ir além do pós-treinamento centrado em dados para regular diretamente as representações de características dentro da arquitetura generativa. Além disso, o trabalho sugere que a atenção deve ser vista não apenas como um mecanismo de ponderação, mas como uma métrica para avaliar a qualidade da representação interna, oferecendo uma nova direção para a construção de sistemas multimodais mais confiáveis e interpretáveis. Os autores observam que, embora os experimentos atuais sejam limitados a modelos de 8B parâmetros devido a restrições de recursos, eles esperam que as descobertas escalem para modelos maiores.

O Problema: O "Rádio com Ruído"

A Solução: "Atenção Regularizada por Informação" (IRA)

O Que Eles Descobriram?

A Conclusão

Mais como este