Resumo Técnico: Ouvir torna a Visão Clara para VLMs

Declaração do Problema

Modelos de Linguagem-Visão (VLMs) requerem um alinhamento semântico confiável entre texto e visão para garantir que as previsões sejam fundamentadas nas regiões visuais corretas, em vez de dependerem de vieses linguísticos (language priors). Abordagens existentes tipicamente avaliam esse alinhamento analisando as distribuições de atenção de tokens do lado da resposta (tokens gerados durante o processo de decodificação).

No entanto, os autores observam que confiar nos tokens do lado da resposta frequentemente leva ao desalinhamento. Especificamente:

1. Deriva de Decodificação (Decoding Drift): À medida que o modelo gera respostas de forma autorregressiva, os vieses linguísticos de tokens previamente gerados acumulam-se no contexto. Isso causa uma deriva na atenção, onde as regiões de maior atenção deixam de corresponder ao token semântico pretendido (por exemplo, atendendo à asa de um pato em vez do seu pescoço quando questionado sobre "pescoço do pato").
2. Viés Estrutural: Tokens estruturais, como marcadores de fronteira de modalidade (ex: <vision start>, <vision end>), frequentemente abrangem todo o contexto e geram alta atenção para áreas não relacionadas ao intervalo semântico alvo, introduzindo ruído sistemático.

Esses problemas resultam em mapas de atenção que falham em refletir com precisão a verdadeira evidência visual que sustenta um token específico, prejudicando a confiabilidade da interpretabilidade e das avaliações de fundamentação (grounding).

Metodologia: PV-TAM

Para abordar essas distorções, os autores propõem o Prompt-Vision Token Activation Map (PV-TAM), um framework que desloca a perspectiva da geração dinâmica do lado da resposta para a semântica fixa do lado do prompt.

Componentes Principais

1. Extração do Lado do Prompt:
   Em vez de analisar tokens de resposta gerados, o PV-TAM extrai mapas de ativação de token-para-visão diretamente dos tokens do prompt (a consulta de entrada). Como os tokens do prompt são entradas fixas e não sofrem com o acúmulo de contexto autorregressivo, eles fornecem uma base mais estável para a fundamentação de token-para-visão.

2. Denoising de Tokens Estruturais:
   O framework identifica que tokens estruturais especiais (delimitadores) introduzem viés espacial. Para mitigar isso, o PV-TAM emprega um Filtro de Redução de Ruído (Denoising Filter):

   • Ele extrai os mapas de ativação do token alvo ($A^t$) e de seus dois tokens estruturais adjacentes ($A^{s_1}, A^{s_2}$).
   • Ele estima o viés estrutural como a média dos mapas dos tokens estruturais adjacentes.
   • Ele subtrai este viés do mapa alvo: $D_t = A^t - \frac{1}{2}(A^{s_1} + A^{s_2})$.
   • Uma truncagem ReLU é aplicada para reter apenas a evidência positiva.
   • Justificativa Teórica: Sob as suposições de decomposição aditiva e desvios de fronteira não enviesados, este processo produz um mapa não enviesado que representa o sinal semântico do alvo mais um ruído residual de média zero.

3. Refinamento Guiado pelo Primeiro Plano (Opcional):
   Para reduzir ainda mais a interferência de regiões de fundo salientes, mas irrelevantes, o método aplica opcionalmente uma máscara de probabilidade de primeiro plano (gerada por um modelo de remoção de fundo pronto como o rembg) via multiplicação elemento a elemento.

Métricas de Avaliação

Ao contrário das métricas tradicionais do tipo IoU que dependem puramente da sobreposição de máscaras binarizadas, o PV-TAM introduz métricas que aproveitam a distribuição de pico da atenção e a intensidade de ativação:

• Target–Global Ratio (TGR): Mede a proporção da energia de ativação total que cai dentro da região alvo.
• Target–Dominant Ratio (TDR): Mede a proporção da energia de ativação na região alvo em relação à região de primeiro plano dominante (isolando o foco do alvo do ruído de fundo).
• Min Distance (Min-Dist): Calcula a distância geométrica entre os picos de atenção salientes e o centro da região alvo real (ground-truth).

Principais Contribuições

1. Prompt-Vision Token Activation Map (PV-TAM): Um novo framework que utiliza tokens do lado do prompt para extrair mapas de ativação, evitando efetivamente a deriva de decodificação e o emaranhamento contextual inerentes à geração do lado da resposta.
2. Denoising de Token de Estrutura: Um método para identificar e subtrair o viés espacial sistemático introduzido por marcadores de fronteira de modalidade, resultando em um mapa de ativação "limpo" que reflete melhor o alinhamento semântico puro.
3. Avaliação Orientada ao Alinhamento: O design das métricas TGR e TDR, que quantificam a precisão da localização analisando a distribuição e intensidade da atenção em vez de apenas a sobreposição binária de máscara, fornecendo uma medida mais sensível dos modos de falha de alinhamento.

Resultados Experimentais

Os autores avaliaram o PV-TAM no PartImageNet (segmentação de partes finas) e no RefCOCO (compreensão de expressão de referência) usando múltiplos backbones de VLM, incluindo Qwen2-VL, Qwen2.5-VL e InternVL.

• Desempenho: O PV-TAM superou consistentemente os baselines de última geração (incluindo TAM, Grad-CAM, CP-LRP e Attention Rollout) nas métricas TGR, TDR e Min-Dist.
• Prompt vs. Resposta: Em estudos controlados onde o mesmo modelo foi testado com extração tanto do lado do prompt quanto do lado da resposta, a abordagem do lado do prompt rendeu consistentemente um alinhamento superior, confirmando que os tokens do lado da resposta são propensos à deriva.
• Generalização: O método demonstrou desempenho robusto através de diferentes escalas de modelos (de 1B a 7B parâmetros) e arquiteturas.
• Ablação: A remoção de qualquer uma das estratégias — seja a do lado do prompt ou o filtro de redução de ruído — resultou em quedas significativas de desempenho, validando a necessidade de ambos os componentes.

Significância e Alegações

O artigo afirma que ouvir o prompt (analisar tokens de entrada fixos) torna a visão mais clara para os VLMs ao contornar o ruído introduzido durante a geração autorregressiva.

• Utilidade Diagnóstica: O PV-TAM serve como uma ferramenta diagnóstica prática para analisar o alinhamento semântico em VLMs sem depender de saídas geradas.
• Alinhamento Emergente: Os resultados sugerem que o alinhamento fino entre palavra e região pode emergir naturalmente como um subproduto do processo de geração de seguimento de prompt, mesmo sem perdas explícitas de alinhamento de token durante o treinamento.
• Aplicações Futuras: Os autores propõem que essas explicações do lado do prompt poderiam servir como sinais de fundamentação leves para destilação de conhecimento (fornecendo máscaras pseudo-suaves para modelos menores) e como base para regularização consciente do alinhamento durante o treinamento para melhorar as capacidades de linguagem-visão.

O trabalho enfatiza que, embora o alinhamento de atenção não garanta uma explicação causal, ele oferece uma perspectiva mais estável e precisa para avaliar e melhorar as capacidades de fundamentação de grandes VLMs.