Witness Evidence Portfolios: Single-Prefill Risk Detection for Closed Multimodal Answers

Resumo Técnico: Witness Evidence Portfolios (WEP)

Definição do Problema
A implantação confiável de Modelos de Linguagem de Grande Escala Multimodais (MLLMs) requer mecanismos para determinar se uma resposta visual confiante deve ser confiada, revisada ou encaminhada para um sistema mais forte. Embora as pontuações de confiança padrão (baseadas em margens de candidatos) indiquem o quão distante uma resposta prevista está de seus competidores, elas falham em revelar a origem da decisão. Um modelo pode produzir um "não" de alta confiança para uma pergunta como "Existem cenouras nesta imagem?" mesmo quando os registros visuais internos que sustentam essa decisão estão concentrados em regiões irrelevantes (ex: títulos de gráficos ou fundos) em vez da evidência visual real. Métodos existentes para detecção de alucinação ou avaliação de risco frequentemente dependem de estados internos genéricos, exigem perturbações de imagem, passagens de decodificação adicionais ou verificadores externos, deixando uma lacuna na detecção de decisões não sustentadas usando apenas o caminho de inferência original.

Metodologia: Witness Evidence Portfolios (WEP)
O WEP é um framework de detecção de risco de caixa-branca projetado para MLLMs de resposta fechada. Ele opera durante uma única passagem de preenchimento (prefill), utilizando o mesmo caminho de propagação direta que gera a resposta, sem exigir passagens de retropropagação (backward passes), perturbação de imagem ou modelos externos.

1. Mapas de Testemunha Vinculados à Pergunta (Question-Bound Witness Maps):
   O método primeiro identifica "testemunhas" no espaço visual vinculadas à pergunta. Para um token de pergunta $j$, uma distribuição de vinculação $B_j(v)$ sobre tokens visuais $v$ é computada. Estas são agregadas em um mapa de testemunha de pergunta $P_Q(v)$, ponderado pela importância do token para a decisão final. Isso distingue regiões relevantes para a pergunta de regiões salientes genéricas. Uma referência visual uniforme $U(v)$ também é definida para controlar a sobreposição visual geral.

2. Evidência de Decisão Assinada Estimada (Estimated Signed Decision Evidence):
   O WLE estima a contribuição dos tokens visuais internos para a margem do candidato previsto. Para um candidato $y$, uma direção de leitura $d_y$ é definida com base na matriz de unembedding e nos logits dos competidores. A contribuição $C_{\ell,y}(s)$ de um token de origem $s$ na camada $\ell$ é calculada projetando vetores de valor internos nesta direção. Essas contribuições são transportadas de volta para o espaço visual para formar mapas de evidência assinada $E_{\ell,y}(v)$, onde valores positivos apoiam a previsão e valores negativos a contradizem.

3. Famílias de Rotas (Route Families):
   O WEP resume esses mapas de evidência em duas famílias de rotas interpretáveis:

   • Rotas de Proveniência (Provenance Routes): Elas medem a sobreposição entre as testemunhas vinculadas à pergunta ($P_Q$) versus a referência uniforme ($U$). Elas rastreiam especificamente se a evidência se alinha com as entidades específicas solicitadas (ex: "cenouras") ou regiões genéricas da imagem. Uma pontuação residual captura o excesso de alinhamento com as testemunhas específicas da pergunta.
   • Rotas de Concentração (Concentration Routes): Elas medem a distribuição espacial da evidência assinada. Elas calculam a entropia normalizada para determinar se a evidência de suporte está estreitamente concentrada (potencialmente dependendo de um atalho) ou se a evidência contraditória está distribuída de forma difusa.

4. Validação Aninhada e Fusão de Portfólio (Nested Validation and Portfolio Fusion):
   Para evitar o sobreajuste (overfitting) e selecionar o sinal mais confiável, o WEP emprega um processo de validação agrupada aninhada. Um fold interno seleciona a família de rotas superior (Proveniência ou Concentração) com base no desempenho de classificação de erro sem acessar os rótulos do fold externo. Um portfólio esparso de topo-$k$ de rotas da família selecionada é então ajustado no conjunto de calibração. Finalmente, essas pontuações de rotas selecionadas são padronizadas e fundidas com a confiança da margem do candidato basal para produzir a pontuação de risco final.

Principais Contribuições

• Visão de Evidência de Decisão Assinada: O artigo introduz uma perspectiva inovadora sobre classificação de risco que avalia se as contribuições visuais internas apoiam ou contradizem a margem do candidato atual, indo além das simples métricas de confiança.
• Decomposições Complementares: Propõe duas decomposições complementares da evidência visual assinada: proveniência (alinhamento específico da pergunta) e concentração (distribuição espacial), acopladas a um seletor de baixa capacidade para escolher a melhor família.
• Detecção de Caixa-Branca Eficiente: O WEP alcança a detecção de risco usando apenas uma única passagem de prefill instrumentada com recomputação esparsa de linha de leitura, não exigindo perturbação de imagem, retropropagação ou verificadores externos.

Resultados
O método foi avaliado em três backbones de MLLM (Qwen3-VL-8B, LLaVA-1.5-7B, InternVL3.5-8B) e quatro benchmarks de resposta binária (AMBER-D, Causal-HalBench, VSR, HallusionBench).

• Desempenho: O WEP melhorou a Precisão Média (AP) de erro em 0,134 em todos os 12 pares de modelo-dataset. Todos os 12 pares mostraram ganhos positivos, e 10 de 12 intervalos de bootstrap de cluster de imagem foram estritamente positivos.
• Utilidade de Triagem: Em orçamentos de revisão baixos (1%, 5%, 10%), o WEP melhorou significativamente a precisão da detecção de erros em comparação com as bases de confiança, concentrando efetivamente os erros no topo da fila de revisão.
• Ablações:
  • Evidências não assinadas e a média de rotas uniformes renderam ganhos mínimos.
  • As famílias de Proveniência e Concentração individualmente performaram bem, mas foram superadas pela estratégia de seleção aninhada, que escolheu adaptativamente a melhor família para cada contexto.
  • Controles usando caminhos extras (ex: Decodificação Contrastiva Visual) performaram pior que o WEP no subconjunto de mesma-predição estrita, destacando a eficiência do WEP.
  • Controles de embaralhamento de evidência confirmaram que os ganhos dependem da evidência interna correspondente, e não de mudanças na distribuição de pontuação.

Significância e Alegações
O artigo alega que o WEP estabelece a proveniência visual relacionada à pergunta como um sinal prático e eficaz para decidir quais respostas multimodais fechadas merecem revisão ou roteamento. Ao aumentar a confiança do candidato com a proveniência e concentração de evidência assinada, o WEP fornece um mecanismo inspecionável e de baixo custo para a implantação confiável de MLLMs. Os autores enfatizam que o método não substitui a camada de controle de risco do roteamento seletivo, mas a aumenta com sinais interpretáveis e alinhados à pergunta, derivados diretamente do caminho de inferência existente do modelo. Os resultados sugerem que analisar a origem e a distribuição da evidência visual interna oferece uma visão complementar às pontuações de confiança para detectar respostas não sustentadas ou alucinadas.