Resumo Técnico: Pontuação da Lente de Instrução para Detecção de Alucinação de Objetos

Declaração do Problema

Os Modelos de Linguagem Multimodais (MLLMs) demonstraram capacidades significativas na compreensão e raciocínio visuais. No entanto, uma barreira crítica para sua implantação confiável é a alucinação de objetos (OH), onde os modelos geram descrições de objetos que não estão presentes nas imagens de entrada. Os métodos de detecção existentes enfrentam duas limitações primárias:

1. Dependência de Modelos Auxiliares: Métodos que dependem de modelos externos (por exemplo, GPT-4) ou detectores dedicados de alucinação incorrem em sobrecarga computacional substancial e exigem treinamento adicional.
2. Vulnerabilidade a Sinais Visuais Enganosos: Pontuações de detecção baseadas em visão (por exemplo, pesos de atenção, similaridade local) frequentemente sofrem com alta confiança espúria quando os codificadores visuais introduzem informações enganosas ou quando os padrões visuais locais de objetos alucinados se assemelham aos reais (por exemplo, texturas semelhantes para colheres e facas).

Metodologia: Pontuação da Lente de Instrução (InsLen)

O artigo propõe a Pontuação da Lente de Instrução (InsLen), um detector livre de treinamento e plug-and-play que aproveita os embeddings internos dos tokens de instrução para filtrar informações visuais enganosas. A ideia central é que os embeddings de instrução codificam implicitamente informações visuais fundamentadas na imagem, enquanto suprimem efetivamente pistas errôneas introduzidas pelos embeddings visuais.

O método utiliza a técnica Logit Lens para projetar embeddings de camadas intermediárias no espaço do vocabulário, a fim de analisar distribuições de confiança. A InsLen compreende dois componentes complementares:

1. Pontuação Local Calibrada ($S_{cls}$)

Este componente aborda a questão da superconfiança espúria em pontuações baseadas em visão.

• Mecanismo: Introduz uma Confiança de Calibração ($S_{cafe}$) medindo a confiança máxima atribuída a um token de objeto em todos os embeddings de instrução.
• Lógica: Como os embeddings de instrução filtram pistas visuais enganosas, objetos alucinados recebem confiança mais baixa nesta projeção.
• Fusão: $S_{cafe}$ é fundida multiplicativamente com pontuações existentes baseadas em visão (por exemplo, Pontuação de Similaridade Local, Confiança Interna) para calibrar evidências visuais locais:
  $$S_{cls}(o) = S_{cafe}(o) \cdot S_{local}(o)$$

2. Pontuação de Consistência de Contexto ($S_{ccs}$)

Este componente aborda a limitação dos embeddings visuais em nível de patch, que podem falhar em distinguir objetos com texturas locais semelhantes.

• Mecanismo: Agrega embeddings de instrução que atribuem alta probabilidade ao token de objeto para formar uma representação contextual global ($\bar{z}$).
• Lógica: Os embeddings de instrução capturam o contexto global do objeto. A consistência entre o embedding do token de objeto gerado ($h_o$) e o contexto de instrução agregado ($\bar{z}$) é medida usando uma distância $\ell_2$ normalizada.
• Ponderação: A pontuação de consistência é ponderada pela confiança média dos embeddings de instrução selecionados para garantir confiabilidade:
  $$S_{ccs}(o) = S_{con}(o) \cdot p(o|\{\hat{z}_1, ..., \hat{z}_m\})$$

Pontuação Final

A pontuação final InsLen é uma combinação ponderada da Pontuação Local Calibrada e da Pontuação de Consistência de Contexto:
$$S_{Ins}(o) = \omega \cdot S_{cls}(o) + (1 - \omega) \cdot S_{ccs}(o)$$
onde $\omega$ é um hiperparâmetro.

Contribuições Principais

1. Análise de Embeddings de Instrução: Os autores revelam que os embeddings de instrução em MLLMs codificam implicitamente semânticas visuais confiáveis e podem filtrar efetivamente informações enganosas originadas dos embeddings visuais, uma capacidade previamente negligenciada para detecção de alucinação.
2. Detector Proposto (InsLen): Um detector inovador, livre de treinamento, que integra evidências visuais calibradas com consistência contextual baseada em instrução, sem exigir modelos auxiliares ou treinamento adicional.
3. Avaliação Abrangente: Experimentos extensivos em múltiplos benchmarks (MSCOCO, Objects365, POPE, CLEVR) e diversas arquiteturas de MLLM (LLaVA-1.5, InstructBLIP, mPLUG-Owl3, Qwen3-VL, LLaVA-OneVision) demonstram a eficácia do método.

Resultados Experimentais

• Desempenho: A InsLen supera consistentemente os métodos existentes de última geração (por exemplo, GLSIM, SVAR, Confiança Interna) em todos os benchmarks testados e arquiteturas de modelo.
  • No benchmark MSCOCO com Qwen3-VL, a InsLen melhorou a AUROC em 7,70% sobre a linha de base mais forte (GLSIM).
  • No benchmark POPE, alcançou até 13,81% de AUROC superior às linhas de base para LLaVA-1.5.
  • No benchmark CLEVR (testando alucinações de atributos e relacionais), a InsLen demonstrou desempenho superior, particularmente em modelos mais fortes como Qwen3-VL (77,72% de AUROC versus 73,01% para SVAR).
• Robustez: O método permanece eficaz em modelos pós-treinados (por exemplo, LLaVA-RLHF, LLaVA-RLAIF-V) e demonstra estabilidade em diferentes comprimentos de instruções de entrada e configurações de hiperparâmetros ($\omega$, $m$, $\tau$).
• Eficiência: Embora introduza uma sobrecarga computacional ligeiramente maior do que algumas linhas de base (por exemplo, ~104ms versus 95ms para LLaVA-1.5), o custo é mínimo em comparação com a geração de respostas e significativamente menor do que métodos que exigem modelos auxiliares ou operações de zeroização (por exemplo, EAZY).

Significado e Alegações

O artigo afirma que a Pontuação da Lente de Instrução fornece um sinal valioso e pouco explorado para melhorar a confiabilidade da geração de MLLM. Ao demonstrar que os embeddings de instrução podem suprimir efetivamente informações visuais enganosas, o trabalho oferece uma nova perspectiva sobre detecção de alucinação que não depende de recursos externos ou retreinamento. Os autores posicionam a InsLen como uma solução robusta, plug-and-play, que aumenta a confiabilidade dos MLLMs em aplicações do mundo real, onde a alucinação de objetos representa riscos significativos.