Resumo Técnico: ReVisiT – Revelando Semânticas Visuais em Tokens Visuais para Guiar a Decodificação de LVLM

Declaração do Problema

Modelos Grandes Visão-Linguagem (LVLMs) integram percepção visual com compreensão linguística, mas frequentemente sofrem de alucinações de objetos, onde o modelo gera texto descrevendo objetos não presentes na imagem de entrada. Embora a informação visual seja codificada em "tokens visuais" dentro dos estados ocultos do modelo, o mecanismo pelo qual esses tokens influenciam o processo de decodificação permanece pouco explorado. Abordagens existentes frequentemente tratam tokens visuais como contextos auxiliares estáticos ou dependem de pipelines de treinamento complexos e inferência multi-passos para mitigar alucinações. O problema central abordado é como aproveitar efetivamente a informação semântica intrínseca dentro dos tokens visuais durante o processo de decodificação, sem modificações arquitetônicas ou treinamento adicional.

Metodologia: ReVisiT

Os autores propõem ReVisiT (Referenciando Tokens Visuais), uma estratégia de decodificação livre de treinamento e agnóstica ao modelo, projetada para guiar a geração de texto referenciando dinamicamente os tokens visuais mais relevantes. O método opera em três etapas principais em cada passo de tempo de decodificação $t$:

1. Construção de Subconjunto de Vocabulário Consciente do Contexto:
   Em vez de operar sobre o vocabulário completo, o ReVisiT restringe dinamicamente o espaço de vocabulário a um subconjunto $V_t^{cons}$. Este subconjunto é definido adaptativamente com base na distribuição de saída padrão $p_\theta$ do LVLM, retendo tokens com probabilidades acima de um limiar $\alpha \cdot \max(p_\theta)$. Essa restrição reduz a distração semântica e foca a decodificação em candidatos plausíveis.

2. Seleção de Token Visual via Divergência Constrained:
   O método projeta os estados ocultos dos tokens visuais ($h_i^j$) de camadas de decodificador candidatas $j$ sobre o subconjunto de vocabulário restrito $V_t^{cons}$. Em seguida, calcula a Divergência de Jensen-Shannon (JSD) entre a distribuição de saída padrão e cada distribuição de token visual projetada. O token visual $(i^*, j^*)$ com a JSD mínima é selecionado como o sinal de referência mais contextualmente relevante.

   • Otimização: Para garantir eficiência, as projeções de tokens visuais sobre o vocabulário completo são pré-calculadas uma vez antes da decodificação. Durante a decodificação, essas projeções em cache são fatiadas e mascaradas para se ajustarem ao subconjunto dinâmico $V_t^{cons}$, evitando passes forward adicionais.

3. Refinamento de Logits:
   A distribuição de saída padrão é refinada fundindo-a com a distribuição do token visual selecionado. Isso é alcançado por meio de adição no espaço logarítmico (equivalente a uma combinação Produto de Especialistas no espaço de probabilidade):
   $$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$$
   A distribuição final é normalizada sobre o subconjunto restrito, e o próximo token é amostrado a partir dessa distribuição refinada.

Contribuições Principais

1. Insights Empíricos sobre Tokens Visuais:
   O artigo fornece evidências quantitativas e qualitativas de que tokens visuais codificam intrinsecamente semânticas interpretáveis em nível de objeto. Os autores demonstram que, embora esses sinais sejam frequentemente latentes sob decodificação sem restrições (onde objetos alucinados podem ser selecionados apesar de objetos verdadeiros terem altas probabilidades), eles tornam-se explícitos e bem alinhados quando projetados sobre subconjuntos de vocabulário semanticamente coerentes.

2. Algoritmo ReVisiT:
   A introdução de um método de decodificação simples e livre de treinamento que utiliza divergência restrita consciente do contexto para selecionar e referenciar tokens visuais. Essa abordagem refina logits em nível de token para incorporar melhor semânticas visuais sem exigir módulos externos, mudanças arquitetônicas ou inferência multi-passos.

3. Validação Abrangente:
   O método é validado em seis tamanhos de modelo (variando de 7B a 32B parâmetros) abrangendo três arquiteturas distintas (LLaVA-1.5, Qwen2.5-VL e InternVL). A avaliação cobre cinco benchmarks, incluindo conjuntos de dados específicos para alucinações (HallusionBench, CHAIR, POPE) e tarefas de propósito geral (VQAv2, MMMU).

Resultados Experimentais

• Redução de Alucinações: O ReVisiT reduz consistentemente alucinações em todas as arquiteturas testadas. No benchmark CHAIR, alcança pontuações F1 competitivas ou superiores em comparação com baselines de última geração (por exemplo, DoLa, VCD, M3ID), mantendo ou melhorando a cobertura de objetos. No HallusionBench, alcança as melhores pontuações em quatro de cinco métricas para vários modelos.
• Generalização: O método demonstra robustez em tarefas discriminativas (POPE, VQAv2) e raciocínio intensivo em conhecimento (MMMU), indicando que os sinais de ancoragem visual trazidos à tona pelo ReVisiT generalizam-se através de diferentes tipos de tarefas.
• Eficiência: Diferentemente de métodos baselines que exigem passes forward adicionais (por exemplo, VCD, CODE) ou projeções de camadas intermediárias (DoLa), o ReVisiT aumenta a latência de inferência em apenas 0,6% a 2,0%. Alcança até uma redução de 2$\times$ no custo computacional em comparação com baselines multi-passos.

Significado e Alegações

O artigo alega que o ReVisiT demonstra que tokens visuais codificam intrinsecamente semânticas interpretáveis que podem ser desbloqueadas através de restrições semanticamente coerentes. Ao expor explicitamente essas semânticas no espaço linguístico, o método fornece um sinal de guia interpretável para a geração.

Os autores posicionam o ReVisiT como uma solução escalável e amplamente aplicável que melhora a ancoragem visual sem a sobrecarga computacional de métodos existentes de alinhamento intra ou pós-alinhamento. Eles enfatizam que a eficácia do método em diversos tamanhos de modelo e arquiteturas sugere que a divergência restrita consciente do contexto proposta captura um sinal fundamental de decodificação, e não uma heurística específica de benchmark.

Limitações Reconhecidas:
Os autores notam que o ReVisiT depende fortemente das semânticas codificadas dentro dos tokens visuais internos do modelo, o que pode levar a uma ênfase excessiva em elementos ancorados perceptualmente em detrimento do raciocínio de senso comum implícito. Além disso, como um método de tempo de decodificação, ele não pode corrigir erros factuais decorrentes de dados de pré-treinamento se a evidência visual for insuficiente, nem incorpora recuperação de conhecimento externo, embora permaneça compatível com pipelines de Geração Aumentada por Recuperação (RAG). A avaliação está atualmente limitada a modelos de código aberto na faixa de 7–32B parâmetros.