Resumen Técnico: Entropía Semántica Visual (VSE)

1. Definición del Problema

Los Modelos de Lenguaje-Visión (VLMs) destacan en la Respuesta a Preguntas Visuales (VQA), pero a menudo producen predicciones con alta confianza ante entradas visualmente ambiguas, lo que conduce a resultados sesgados y poco fiables. La estimación de la incertidumbre (UE) fiable es crítica para filtrar estas predicciones. Sin embargo, los métodos de UE existentes exhiben tres modos de fallo específicos cuando se aplican a los VLMs:

1. Supresión de la Variación de la Salida: Los métodos estándar basados en la entropía, como la Entropía Semántica (SE), dependen de la decodificación estocástica para generar salidas diversas. Los autores demuestran que cuando un VLM forma un embedding visual altamente confiable (incluso para imágenes ambiguas), la decodificación estocástica produce salidas casi idénticas. En consecuencia, la SE subestima la incertidumbre porque no logra capturar la ambigüedad inherente al input visual.
2. Distancias Infladas por la Redacción: Los métodos que agregan distancias semánticas por pares (por ejemplo, SNNE) tratan las respuestas como etiquetas categóricas o dependen de distancias de embeddings. Debido a que el lenguaje es discreto, las respuestas semánticamente equivalentes con diferentes redacciones pueden parecer distantes en el espacio de embeddings. Esta variación lingüística infla las estimaciones de incertidumbre incluso cuando no existe un desacuerdo semántico genuino.
3. Dominancia Textual en Perturbaciones Conjuntas: Los enfoques recientes sondean la incertidumbre mediante perturbaciones del input, incluyendo el parafraseo textual o perturbaciones conjuntas de texto e imagen. Los autores muestran que el parafraseo textual induce desplazamientos semánticos significativamente mayores en el espacio de embedding multimodal que las perturbaciones visuales. Como resultado, la variabilidad de la salida en estos métodos está impulsada principalmente por la sensibilidad al prompt (cambios lingüísticos) en lugar de la ambigüedad visual, lo que lleva a estimaciones de incertidumbre que reflejan la sensibilidad del texto en lugar de la evidencia visual.

2. Metodología: Entropía Semántica Visual (VSE)

Para abordar estas limitaciones, los autores proponen la Entropía Semántica Visual (VSE), un marco diseñado para sondear la ambigüedad visual mitigando el ruido lingüístico. El método consta de tres etapas principales:

A. Perturbación Visual (Texto Fijo)

A diferencia de los métodos que perturban la pregunta o que perturban conjuntamente el texto y la imagen, VSE mantiene fija la consulta de texto $q$ y perturba únicamente la imagen de entrada $v$.

• Mecanismo: Un operador de perturbación visual $\mathcal{T}$ genera $M$ vistas perturbadas $v_m = \mathcal{T}(v; \xi_m)$. Los autores utilizan ruido gaussiano con una desviación estándar fija y pequeña ($\sigma=20$) para inducir variaciones visuales locales sin alterar el contenido semántico de alto nivel ni desplazar la muestra fuera del vecindario local del input original.
• Razón de ser: Esto aisla la incertidumbre visual. Al evitar cambios textuales, el método previene el problema de la "sensibilidad al prompt", donde el parafraseo domina la diversidad de la salida.

B. Muestreo de Respuestas

El VLM genera $M$ muestras de respuesta $\{a_m\}$ correspondientes a las $M$ vistas de imagen perturbadas. Este proceso elicia interpretaciones alternativas de la evidencia visual que la decodificación estocástica por sí sola podría omitir cuando los embeddings visuales son excesivamente confiados.

C. Agregación Semántica de Prototipos (ProtoSem)

Para evitar que las variaciones lingüísticas inflen la incertidumbre, VSE agrega las respuestas a nivel semántico en lugar de tratarlas como tokens brutos.

1. Clustering: Las variantes de respuesta se agrupan en $K$ grupos $\{c_k\}$ basados en la distancia semántica (usando un modelo de similitud semántica preentrenado como DeBERTa).
2. Selección de Prototipo: Para cada clúster $c_k$, se selecciona una respuesta prototipo $p_k$ como el miembro que minimiza la distancia promedio con otros miembros del mismo clúster.
3. Cálculo de la Incertidumbre: La incertidumbre se calcula como la dispersión por pares ponderada por la masa entre estos prototipos:
   $$\tilde{u} = \sum_{k \neq k'} w_k w_{k'} \, \mathrm{d}(p_k, p_{k'})$$
   donde $w_k = |c_k|/M$ es la probabilidad empírica (masa) del clúster $k$. Esta métrica captura el desacuerdo entre significados semánticos distintos mientras ignora las variaciones de redacción intra-clúster.

3. Contribuciones Clave

1. Análisis de Modos de Fallo: El artículo proporciona un análisis sistemático identificando tres limitaciones específicas de los estimadores de incertidumbre de los VLMs actuales: (1) embeddings visuales excesivamente confiados que suprimen la diversidad de la salida, (2) variaciones de redacción que inflan las métricas basadas en distancia, y (3) perturbaciones textuales que dominan la variabilidad de la salida en esquemas de perturbación conjunta.
2. Entropía Semántica Visual (VSE): Los autores introducen VSE, un nuevo método de UE que perturba solo la imagen para sondear la ambigüedad visual y utiliza la agregación semántica basada en prototipos para cuantificar la incertidumbre. Este diseño evita explícitamente los factores de confusión de la sensibilidad al prompt y el ruido lingüístico.
3. Benchmarking Exhaustivo: El estudio evalúa VSE a través de cinco VLMs modernos (Qwen2.5-VL, Gemma3, Intern3.5-VL, LLaVA-NeXT, Qwen3-VL) y cinco benchmarks diversos (OKVQA, AOKVQA, MMVet, VILP, VLM-are-biased), estableciendo un nuevo estado del arte para la estimación de la incertidumbre en VQA.

4. Resultados Experimentales

La evaluación utiliza el Área Bajo la Curva ROC (AUC) para medir qué tan bien los puntajes de incertidumbre distinguen las predicciones correctas de las incorrectas.

• Rendimiento General: VSE supera consistentemente a los métodos existentes (Verbalizados, Basados en Logits, Basados en Consistencia y Basados en Entropía) en todos los modelos y conjuntos de datos probados. Por ejemplo, en el conjunto de datos AOKVQA, VSE logró puntajes AUC que oscilan entre 0.724 y 0.798 en diferentes modelos, superando al siguiente mejor método basado en entropía (VL-Uncertainty) hasta en un 9.2% en algunos casos.
• Enfoque en la Ambigüedad Visual: En los conjuntos de datos adversarios diseñados para exponer el sesgo visual (VILP y VLM-are-biased), VSE mostró las ganancias más significativas. Por ejemplo, en VILP con Qwen2.5-VL, VSE alcanzó un AUC de 0.650, superando sustancialmente al SE base (0.535) y a VL-Uncertainty (0.489). Esto confirma la capacidad de VSE para capturar la incertidumbre que surge específicamente de la ambigüedad visual.
• Estudios de Ablación:
  • Añadir perturbación visual a los métodos de entropía existentes (SE y SNNE) mejoró consistentemente su rendimiento, validando la necesidad de sondear el espacio de entrada visual.
  • Reemplazar el muestreo de respuestas brutas con la Agregación Semántica de Prototipos (ProtoSem) mejoró aún más los resultados, confirmando que el agrupamiento de respuestas semánticamente equivalentes reduce el ruido de las variaciones lingüísticas.

5. Significado y Reivindicaciones

El artículo afirma que VSE establece un nuevo estado del arte para la estimación de la incertidumbre en VQA al abordar directamente la fuente de la ambigüedad: el input visual. Los autores argumentan que una estimación de la incertidumbre fiable requiere:

• Sondear el espacio de entrada visual en lugar de depender únicamente de la estocasticidad de la decodificación.
• Evitar perturbaciones textuales que introducen sensibilidad al prompt.
• Agregar las predicciones al nivel del prototipo semántico para mitigar el ruido lingüístico.

Los autores posicionan a VSE como un paso hacia un despliegue más confiable de los VLMs, particularmente en escenarios donde la evidencia visual es ambigua. Reconocen limitaciones, incluyendo el costo computacional adicional asociado con el muestreo basado en perturbaciones y la sensibilidad a la función de distancia semántica utilizada para el clustering, pero enfatizan que su enfoque proporciona una reflexión más fiel de la incertidumbre visual que las alternativas actuales.