Witness Evidence Portfolios: Single-Prefill Risk Detection for Closed Multimodal Answers

Resumen Técnico: Portafolios de Evidencia de Testigos (WEP)

Planteamiento del Problema
El despliegue fiable de Modelos de Lenguaje de Gran Escala Multimodales (MLLM) requiere mecanismos para determinar si una respuesta visual confiable debe ser confiada, revisada o dirigida a un sistema más fuerte. Mientras que las puntuaciones de confianza estándar (basadas en márgenes de candidatos) indican qué tan alejada está una respuesta predicha de sus competidoras, estas no logran revelar la fuente de la decisión. Un modelo puede producir un "no" de alta confianza ante una pregunta como "¿Hay zanahorias en esta imagen?" incluso cuando las lecturas visuales internas que sustentan esa decisión están concentradas en regiones irrelevantes (por ejemplo, títulos de gráficos o fondos) en lugar de la evidencia visual real. Los métodos existentes para la detección de alucinaciones o la evaluación de riesgos suelen depender de estados internos genéricos, requieren perturbaciones de la imagen, pasadas de decodificación adicionales o verificadores externos, dejando un vacío en la detección de decisiones no sustentadas utilizando únicamente la ruta de inferencia original.

Metodología: Portafolios de Evidencia de Testigos (WEP)
WEP es un marco de detección de riesgos de caja blanca diseñado para MLLM de respuesta cerrada. Opera durante una única pasada de prellenado (prefill), utilizando la misma ruta de propagación hacia adelante que genera la respuesta, sin requerir pasadas hacia atrás, perturbación de la imagen o modelos externos.

1. Mapas de Testigos Vinculados a la Pregunta:
   El método primero identifica "testigos" en el espacio visual vinculados a la pregunta. Para un token de pregunta $j$, se computa una distribución de vinculación $B_j(v)$ sobre los tokens visuales $v$. Estos se agregan en un mapa de testigos de la pregunta $P_Q(v)$, ponderado por la importancia del token para la decisión final. Esto distingue las regiones relevantes para la pregunta de las regiones salientes genéricas. También se define una referencia visual uniforme $U(v)$ para controlar el solapamiento visual general.

2. Evidencia de Decisión Firmada Estimada:
   WEP estima la contribución de los tokens visuales internos al margen del candidato predicho. Para un candidato $y$, se define una dirección de lectura $d_y$ basada en la matriz de desembebido (unembedding) y los logits de los competidores. La contribución $C_{\ell,y}(s)$ de un token fuente $s$ en la capa $\ell$ se calcula proyectando los vectores de valor internos sobre esta dirección. Estas contribuciones se transportan de vuelta al espacio visual para formar mapas de evidencia con signo $E_{\ell,y}(v)$, donde los valores positivos apoyan la predicción y los negativos la contradicen.

3. Familias de Rutas:
   WEP resume estos mapas de evidencia en dos familias de rutas interpretables:

   • Rutas de Proveniencia: Estas miden el solapamiento entre los testigos vinculados a la pregunta ($P_Q$) frente a la referencia uniforme ($U$). Específicamente, rastrean si la evidencia se alinea con las entidades específicas solicitadas (por ejemplo, "zanahorias") o con regiones de la imagen genéricas. Una puntuación residual captura el exceso de alineación con los testigos específicos de la pregunta.
   • Rutas de Concentración: Estas miden la distribución espacial de la evidencia con signo. Calculan la entropía normalizada para determinar si la evidencia de apoyo está estrechamente concentrada (potencialmente dependiendo de un atajo o shortcut) o si la evidencia contradictoria está distribuida de forma difusa.

4. Validación Anidada y Fusión de Portafolio:
   Para evitar el sobreajuste y seleccionar la señal más fiable, WEP emplea un proceso de validación agrupada anidada. Un pliegue interno selecciona la familia de rutas superior (Proveniencia o Concentración) basándose en el rendimiento de clasificación de errores sin acceder a las etiquetas del pliegya externo. Luego, un portafolio disperso de los $k$ mejores (top-k) de las rutas de la familia seleccionada se ajusta en el conjunto de calibración. Finalmente, estas puntuaciones de rutas seleccionadas se estandarizan y se fusionan con la confianza del margen del candidato base para producir la puntuación de riesgo final.

Contribuciones Clave

• Perspectiva de Evidencia de Decisión con Signo: El artículo introduce una perspectiva novedosa sobre la clasificación de riesgos que evalúa si las contribuciones visuales internas apoyan o contradicen el margen del candidato actual, yendo más allá de las simples métricas de confianza.
• Descomposiciones Complementarias: Propone dos descomposiciones complementarias de la evidencia visual con signo: proveniencia (alineación específica de la pregunta) y concentración (distribución espacial), junto con un selector de baja capacidad para elegir la familia óptima.
• Detección Eficiente de Caja Blanca: WEP logra la detección de riesgos utilizando únicamente una única pasada de prellenado instrumentada con recomputación dispersa de filas de lectura, sin requerir perturbación de la imagen, pasadas hacia atrás o verificadores externos.

Resultados
El método fue evaluado en tres arquitecturas de MLLM (Qwen3-VL-8B, LLaVA-1.5-7B, InternVL3.5-8B) y cuatro entornos de prueba de respuesta binaria (AMBER-D, Causal-HalBench, VSR, HallusionBench).

• Rendimiento: WEP mejoró la precisión media de la precisión promedio (AP) en 0.134 en los 12 pares de modelo-conjunto de datos. Los 12 pares mostraron ganancias positivas, y 10 de los 12 intervalos de bootstrap de clúster de imágenes fueron estrictamente positivos.
• Utilidad de Triaje: Con presupuestos de revisión bajos (1%, 5%, 10%), WEP mejoró significativamente la precisión de la detección de errores en comparación con las bases de confianza, concentrando eficazmente los errores en la parte superior de la cola de revisión.
• Ablaciones:
  • La evidencia sin signo y el promedio de rutas uniformes produjeron ganancias mínimas.
  • Las familias de Proveniencia y Concentración funcionaron bien individualmente, pero fueron superadas por la estrategia de selección anidada, que elegía adaptativamente la mejor familia para cada contexto.
  • Los controles utilizando rutas adicionales (por ejemplo, Decodificación Contrastiva Visual) funcionaron peor que WEP en el subconjunto estricto de misma predicción, resaltando la eficiencia de WEP.
  • Los controles de barajado de evidencia confirmaron que las ganancias dependen de la evidencia interna coincidente en lugar de cambios en la distribución de las puntuaciones.

Significancia y Reivindicaciones
El artículo afirma que WEP establece la proveniencia visual relacionada con la pregunta como una señal práctica y efectiva para decidir qué respuestas multimodales cerradas ameritan revisión o direccionamiento. Al aumentar la confianza del candidato con la proveniencia y concentración de la evidencia con signo, WEP proporciona un mecanismo interpretable y de bajo costo para el despliegue fiable de MLLM. Los autores enfatizan que el método no reemplaza la capa de control de riesgos del direccionamiento selectivo, sino que la aumenta con señales interpretables y alineadas con la pregunta derivadas directamente de la ruta de inferencia existente del modelo. Los resultados sugieren que analizar la fuente y la distribución de la evidencia visual interna ofrece una visión complementaria a las puntuaciones de confianza para detectar respuestas no sustentadas o alucinadas.