Resumo Técnico: LOOKBACK – Onde e Como Pontuar Respostas de LVLM via Uso de Referência Visual

1. Declaração do Problema

Modelos de Linguagem-Visão de Grande Escala (LVLMs) integram percepção visual com geração de linguagem, mas sofrem de um tipo específico de alucinação: a produção de respostas fluentes e plausíveis que não são fundamentadas na imagem de entrada. Embora os métodos existentes para melhorar a confiabilidade, como a seleção Best-of-N (BoN), dependam da pontuação de candidatos para selecionar o melhor, os mecanismos de pontuação atuais são insuficientes para LVLMs.

O artigo identifica uma lacuna crítica na confiança no espaço de saída (ex: verossimilhança de tokens ou Autocerteza/Self-Certainty). Diagnósticos revelam que esses escores de confiança são amplamente insensíveis à entrada visual. Especificamente, remover a imagem do contexto de entrada mal altera a seleção da resposta de classificação superior baseada em confiança. Isso indica que a confiança no espaço de saída captura primordialmente a plausibilidade textual (fluência linguística) em vez da fundamentação visual (concordância com a imagem). Consequentemente, confiar apenas na confiança falha em distinguir entre respostas que são linguisticamente fluentes, mas visualmente alucinadas, versus aquelas que são fiéis à imagem.

2. Metodologia: LOOKBACK

Para enfrentar isso, os autores propõem o LOOKBACK, um método de pontuação de resposta intrínseco ao modelo e livre de treinamento. O LOOKBACK aumenta a verossimilhança do token com um escore de lookback visual, uma medida leve de quão fortemente cada token gerado se refere de volta à entrada visual. O método opera em três estágios:

A. Escore de Lookback Visual ($A_t$)

Os autores aproveitam os mecanismos de atenção interna dos LVLMs. Como os LVLMs processam imagens como tokens visuais explícitos dentro do contexto causal, cada etapa de predição de token pode atender diretamente a esses tokens de visão.

• Definição: Para um token gerado $y_t$, o escore de lookback visual $A_t$ é a fração do peso de atenção direcionada da etapa de predição para os tokens de visão ($P_v$) através de todas as camadas e cabeças de atenção.
• Significância: $A_t$ serve como um proxy para o uso de referência visual. É alto para tokens que descrevem objetos, atributos ou relações presentes na imagem e baixo para palavras funcionais genéricas.

B. Pontuação de Token Calibrada por Lookback ($u_t$)

O LOOKBACK combina a confiança do espaço de saída do modelo ($p_t$) com o escore de lookback visual ($A_t$) para formar um escore de token calibrado:
$$u_t = \log(p_t) + \alpha \log(A_t)$$

• Aqui, $\alpha$ é um hiperparâmetro que controla a força da calibração.
• Esta formulação garante que tokens com alta confiança, mas baixo lookback visual (alucinações), recebam uma pontuação menor, enquanto tokens que são simultaneamente confiantes e visualmente fundamentados sejam favorecidos.

C. Ponderação de Relevância Visual e Agregação

Nem todos os tokens contribuem igualmente para a fundamentação visual. O LOOKBACK agrega escores de tokens usando uma distribuição de relevância visual ($q_\lambda$) em vez de uma média uniforme.

• Distribuição: $q_\lambda$ é derivada pela maximização de um objetivo de relevância regularizado por entropia, concentrando a massa de probabilidade em tokens com altos escores de lookback visual ($A_t$).
• Escore Final: O escore final da resposta $S(y)$ é o valor esperado dos escores de tokens calibrados sob esta distribuição:
  $$S(y) = \sum_{t=1}^{T} q_\lambda(t) \cdot u_t$$
  Isso garante que o escore final seja fortemente influenciado por tokens que são tanto confiantes quanto fortemente ligados à entrada visual.

3. Principais Contribuições

1. Insight Diagnóstico: O artigo fornece evidência empírica de que as métricas padrão de confiança no espaço de saída (como Self-Certainty) são amplamente insensíveis à imagem, falhando em detectar alucinações visuais em configurações de seleção Best-of-N.
2. Pontuação Livre de Treinamento: O LOOKBACK introduz um método para pontuar respostas de LVLM sem exigir modelos de recompensa externos, treinamento adicional ou passagens extras de inferência. Ele utiliza apenas sinais internos (probabilidades de tokens e pesos de atenção) disponíveis durante a geração.
3. Complementaridade de Nível de Token: O trabalho demonstra que a confiança no espaço de saída e os escores de lookback visual capturam aspectos complementares da geração: a confiança favorece a previsibilidade linguística, enquanto o lookback favorece a referência visual.
4. Agregação Eficiente: Ao ponderar tokens com base na relevância visual, o LOOKBACK prioriza palavras de conteúdo diagnóstico (substantivos, atributos) sobre palavras de fluência genérica no escore final.

4. Resultados Experimentais

Os autores avaliaram o LOOKBACK em quatro benchmarks (VQAv2, CHAIR, AMBER, HallusionBench) e três LVLMs representativos (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B).

• Desempenho: O LOOKBACK superou consistentemente as linhas de base existentes, incluindo métodos do lado da linguagem (Self-Certainty, Universal Self-Consistency) e métodos do lado da visão (CLIPScore, VAUQ).
  • Alcançou o maior desempenho médio por modelo em todos os três LVLMs.
  • Melhorou a precisão da seleção Best-of-N em aproximadamente 4,97% de ganho relativo sobre a seleção aleatória e superou consistentemente a linha de base Self-Certainty.
• Escalabilidade: À medida que o tamanho do pool de candidatos ($N$) aumentou de 1 para 25, o LOOKBACK manteve uma vantagem consistente sobre as linhas de base, enquanto outros métodos mostraram retornos decrescentes ou instabilidade.
• Eficiência: O LOOKBACK incorreu em um overhead computacional negligenciável em comparação ao tempo de geração. Foi significativamente mais rápido que métodos que exigem perturbação (VAUQ) ou codificadores externos (CLIPScore), adicionando apenas um custo modesto de pós-geração.

5. Significância e Alegações

O artigo afirma que o LOOKBACK fornece uma solução leve e interna ao modelo para melhorar a confiabilidade das respostas de LVLM. Sua significância reside em:

• Preenchimento da Lacuna: Ele aborda diretamente a desconexão entre o condicionamento de imagem e a sensibilidade à imagem nas métricas de pontuação atuais.
• Praticidade: Por ser livre de treinamento e não exigir modelos auxiliares, é aplicável a cenários de recursos limitados e cenários de caixa-preta (desde que os pesos de atenção interna sejam acessíveis).
• Generalização: Os autores sugerem que o princípio de "pontuação consciente da fonte" (verificar se etapas de geração de alta confiança se referem de volta à fonte pretendida) pode se estender além da visão para outras tarefas de geração fundamentada, como Geração Aumentada de Recuperação (RAG) ou uso de ferramentas.

Limitações Reconhecidas:
Os autores observam que o LOOKBACK requer acesso aos pesos de atenção interna, limitando seu uso com APIs estritamente de caixa-preta. Além disso, o lookback visual é um proxy para o uso de referência, não uma garantia de correção factual; um modelo pode atender aos tokens da imagem e ainda assim gerar conteúdo incorreto ou enviesado. Portanto, o LOOKBACK é recomendado como um auxílio de seleção de resposta a ser usado junto com validação específica da tarefa e supervisão humana.