Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models

Resumo Técnico: Supervisão por Logit Lens para Explicações ao Nível de Patch em Modelos de Visão-Linguagem

Problema
Modelos de Visão-Linguagem (VLMs) autorregressivos modernos, como LLaVA e Qwen-VL, combinam codificadores visuais com Grandes Modelos de Linguagem (LLMs) para gerar texto fluente. No entanto, à medida que os tokens visuais se propagam pelas camadas de atenção do LLM, eles sofrem transformações significativas e misturam-se com tokens de linguagem. Os autores argumentam que essa "mistura de modalidades não controlada" faz com que os embeddings visuais percam sua correspondência direta com as regiões específicas da imagem (patches) das quais se originaram. Consequentemente, a conexão entre um token visual e o conteúdo semântico de seu patch de origem torna-se diluída. Isso leva a dois problemas principais:

1. Explicação Fraca ao Nível de Patch: As visualizações padrão de Logit Lens (que projetam embeddings para probabilidades de vocabulário) frequentemente falham em produzir mapas de confiança nítidos e localizados, particularmente em VLMs mais recentes como o Qwen2.5-VL.
2. Alucinação e Degradação de Grounding: Tokens visuais podem ser efetivamente ignorados ou sua informação pode ser totalmente transferida para tokens de linguagem, permitindo que os modelos alucinem descrições de objetos mesmo quando a evidência visual correspondente é removida ou está ausente.

Metodologia: Perda de Logit Lens (LLL)
Para abordar o desacoplamento dos tokens visuais de suas regiões de imagem de origem, os autores propõem a Perda de Logit Lens (LLL), um objetivo auxiliar leve aplicado durante o ajuste fino (fine-tuning).

• Conceito Central: O método utiliza a técnica de Logit Lens, que projeta os embeddings das camadas intermediárias ($h_l$) através da matriz de desincorporação (unembedding matrix $U_\theta$) do LLM para gerar uma distribuição de probabilidade sobre o vocabulário.
• Mecanismo: Ao contrário da perda padrão de Predição do Próximo Token (NTP), que apenas supervisiona a geração de tokens de texto, a LLL supervisiona diretamente os tokens visuais.
  • Para tokens visuais ($s$) correspondentes a patches de imagem dentro de uma caixa delimitadora (bounding box) de um objeto alvo (conjunto $\mathcal{P}'$), a perda maximiza a probabilidade do token de vocabulário que descreve esse objeto (ex: <cat>).
  • Para tokens visuais fora da região do objeto (conjunto $\mathcal{P} \setminus \mathcal{P}'$), a perda minimiza a probabilidade desse token de vocabulário específico.
• Formulação: A perda total é definida como $L_{total} = L_{NTP} + \lambda L_{LLL}$, onde $\lambda$ é definido empiricamente como 0.5. O termo LLL é uma perda de entropia cruzada aplicada à distribuição do vocabulário derivada dos embeddings dos tokens visuais na camada final do LLM.
• Distinção Chave: A abordagem não requer modificações arquiteturais (sem decodificadores de máscara, cabeças de localização ou módulos de predição de caixa delimitadora). Ela depende exclusivamente dos existentes embeddings de tokens visuais e da cabeça de projeção de vocabulário. O sinal de supervisão é derivado diretamente de anotações de caixas delimitadoras para identificar quais patches correspondem ao conceito alvo, mas o modelo não é treinado para gerar coordenadas; em vez disso, ele é treinado para alinhar o representação interna do patch com o conceito semântico.

Principais Contribuições

1. Novo Grounding Visual: Introdução da LLL, que restringe explicitamente os embeddings dos tokens visuais para permanecerem semanticamente alinhados com os conceitos de linguagem que descrevem suas regiões de imagem conforme passam pelas camadas do LLM.
2. Localização Intrínseca: Diferente de trabalhos anteriores que predizem caixas delimitadoras ou máscaras como saídas externas, a LLL incorpora a consciência de localização diretamente nos embeddings profundos dos tokens visuais. Isso cria um vínculo intrínseco entre patches visuais e conceitos textuais sem modificar a arquitetura do modelo.
3. Melhoria da Explicabilidade: O método melhora significativamente a qualidade dos mapas de confiança de objetos do Logit Lens. Modelos ajustados com LLL produzem mapas mais nítidos e localizados que refletem com precisão quais patches de imagem o modelo associa a conceitos textuais específicos.
4. Sinal de Gradiente Direto: Os autores demonstram que a LLL fornece um sinal de gradiente direto para os tokens visuais, enquanto o sinal da NTP padrão deve propagar-se através das camadas de atenção, resultando frequentemente em um sinal fraco para os tokens visuais.

Resultados Experimentais
Os autores avaliaram a LLL no LLaVA-v1.5-7B e Qwen2.5-VL-7B em várias métricas:

• Segmentação de Expressão de Referência (RES): Usando mapas de Logit Lens para gerar máscaras de segmentação (via limiarização ou prompting de um SAM congelado), os modelos ajustados com LLL mostraram melhorias significativas nos scores de cIoU sobre os modelos base e apenas com NTP. Com o pós-processamento do SAM, o Qwen2.5-VL+LLL alcançou desempenho comparável aos modelos especializados em grounding de estado da arte (SOTA).
• Alucinação de Objetos (POPE): No benchmark POPE, a LLL reduziu as alucinações de objetos, aumentando a precisão de "Sim/Não". Notavelmente, modelos ajustados apenas em RefCOCO (dados de localização) e avaliados em POPE mostraram melhoria de precisão com LLL, enquanto o ajuste fino apenas com NTP degradou o desempenho em relação ao modelo base.
• Apontamento Zero-Shot (Zero-Shot Pointing): Modelos ajustados com LLL no RefCOCO demonstraram forte transferência para o dataset PixMo-Points (categorias de objetos não vistas), alcançando erros de localização mediana inferior a vários baselines proprietários e modelos específicos de tarefa treinados com supervisão explícita de coordenadas.
• Visual Question Answering (VQA): A LLL preservou ou melhorou ligeiramente o desempenho nos benchmarks VQAv2 e GQA, indicando que aumentar o grounding visual não compromete as capacidades de geração de linguagem do modelo.
• Visualização: Resultados qualitativos (Fig. 2) mostraram que a LLL transforma sinais de Logit Lens esparsos e confusos em mapas de confiança nítidos e alinhados ao objeto.

Significância e Alegações
O artigo afirma que a LLL oferece um mecanismo simples e eficaz para preservar a "localidade" da informação visual dentro de VLMs autorregressivos sem a complexidade de adicionar novos componentes arquiteturais. Ao fundamentar os embeddings visuais diretamente no espaço do vocabulário, o método torna os modelos de fundação mais interpretáveis (via mapas de Logit Lens fiéis) e mais robustos contra alucinações. Os autores enfatizam que a LLL não visa ensinar novos conceitos, mas sim evitar a degradação do entendimento localizado existente da imagem durante o processo de modelagem de linguagem. Os resultados sugerem que um melhor grounding interno é alcançável através de supervisão auxiliar que alinha os tokens visuais com suas descrições semânticas, levando a modelos que são tanto mais eficazes quanto mais explicáveis.