Resumen Técnico: FUSE – Cuantificación de la Incertidumbre en Modelos de Visión-Lenguaje

Declaración del Problema

Los Modelos de Visión-Lenguaje (VLM) se han vuelto integrales para aplicaciones que van desde la robótica hasta la atención médica, pero siguen siendo propensos a salidas poco fiables, tales como alucinaciones y razonamientos excesivamente confiados. Existe una brecha crítica en la Cuantificación de la Incertidumbre (UQ) para estos modelos. Los métodos convencionales que dependen de la verosimilitud del siguiente token o de la confianza basada en logits no logran capturar la ambigüedad semántica inherente a las entradas transmodales o la variabilidad de las salidas generativas. Los enfoques existentes suelen tratar la incertidumbre de forma heurística en lugar de como una cantidad probabilística fundamentada, y frecuentemente pasan por alto la incertidumbre embebida en las representaciones latentes del modelo.

El artículo identifica que la incertidumbre en los VLM surge de dos fuentes distintas y complementarias:

1. Incertidumbre Aleatoria: Ambigüedad intrínseca en los datos de entrada y en la semántica transmodal (por ejemplo, preguntas insuficientemente especificadas o regiones visualmente ambiguas).
2. Incertidumbre Epistémica: Variabilidad en las predicciones del modelo debido a limitaciones en el conocimiento, un anclaje débil o cambios en la distribución, lo cual se refleja en la diversidad de las respuestas generadas.

El objetivo es desarrollar un marco que fusione estas dos fuentes en una única medida escalar calibrada de incertidumbre ($u^\star$) para predecir la corrección de la salida y permitir la predicción selectiva (abstenerse de consultas inciertas).

Metodología: El Marco FUSE

Los autores proponen FUSE (Fused Uncertainty with Semantic Evidence), un marco probabilístico que emplea un mecanismo de fusión bayesiana para combinar las incertidumbres aleatoria y epistémica.

1. Incertidumbre Aleatoria: Prior de la Representación de Datos

El marco trata el nivel de los datos de entrada como un prior.

• Embeddings Probabilísticos: Mientras que los VLM estándar (por ejemplo, CLIP) producen embeddings deterministas, FUSE introduce un adaptador de Proceso Gaussiano (GP). Este adaptador mapea los embeddings deterministas ($z_I, z_T$) en distribuciones probabilísticas ($N(\mu, \Sigma)$) mediante el aprendizaje de una variable latente compartida $x$ que representa el "significado real" de los datos.
• GP de Variación Dispersa: Para garantizar la escalabilidad, los autores utilizan un Modelo de Variables Latentes de Proceso Gaussiano de Variación Dispersa (GPLVM) con puntos inductivos.
• Formulación del Prior: La dispersión de estos embeddings probabilísticos (cuantificada mediante el log-determinante de las covarianzas) se agrega en un estadístico escalar $s$. Este estadístico define un prior gaussiano sobre una variable de incertidumbre latente $u$:
  $$u \sim N(m_0, \sigma_0^2), \quad \text{donde } m_0 = \alpha_0 + \beta_0 s$$
  Esto captura la ambigüedad inherente de la consulta de entrada antes de que ocurra la generación.

2. Incertidumbre Epistémica: Evidencia Semántica de la Respuesta

El marco trata la salida generativa del modelo como evidencia.

• Diversidad de la Respuesta: El VLM genera $n$ respuestas estocásticas. Estas se mapean en vectores $\{r_i\}$.
• Dispersión Semántica: Se construye una matriz de dispersión semántica $S$ a partir de estos embeddings. La evidencia semántica se define como el log-determinante de esta matriz: $\tilde{V} = \log \det S$.
• Evidencia Ponderada: Para dar cuenta de la fiabilidad variable entre las muestras, el método introduce pesos de incertidumbre basados en las log-probabilidades por token del modelo. Las muestras con menor confianza reciben pesos más altos.
• Modelo de Verosimilitud: Los autores demuestran que, bajo supuestos moderados, la evidencia semántica $\tilde{V}$ sigue una verosimilitud gaussiana lineal con respecto a la incertidumbre latente $u$:
  $$\tilde{V} | u \sim N(a + n u, \tau^2)$$
  Esta relación analítica permite una actualización bayesiana de forma cerrada.

3. Fusión Bayesiana

La innovación central es la fusión analítica del prior de entrada y la evidencia de la respuesta.

• Posterior de Forma Cerrada: La combinación del prior gaussiano y la verosimilitud gaussiana lineal produce una distribución posterior de forma cerrada para la incertidumbre $u$:
  $$u | \tilde{V} \sim N(m_{post}, \sigma_{post}^2)$$
• Estadístico Fusionado: Se deriva un único puntaje de incertidumbre $u^\star$ a partir de la media y la varianza de la posterior (por ejemplo, como un límite de puntuación z).
• Calibración: Un umbral global $\theta^\star$ se calibra en un conjunto de datos de validación para controlar el riesgo condicional (tasa de error) para las consultas respondidas, permitiendo la respuesta selectiva.

Contribuciones Clave

1. Formalización Conceptual: El artículo formaliza la separación de la incertidumbre de los VLM en fuentes aleatorias (nivel de entrada) y epistémicas (nivel de generación), proporcionando una base para cuantificar ambas dentro de un marco unificado.
2. Modelo Probabilístico Unificado: Introduce un marco bayesiano que no requiere entrenamiento adicional (para el VLM base) y que combina analíticamente estas fuentes. A diferencia de los métodos heurísticos, este proporciona una posterior interpretable y calibrada.
3. Justificación Matemática: Los autores proporcionan demostraciones que prueban que la evidencia semántica (el log-determinante de la dispersión de la respuesta) es linealmente dependiente de la incertidumbre latente, justificando el uso de una actualización bayesiana de forma cerrada.
4. Superioridad Empírica: El método alcanza el estado del arte (SOTA) en la calibración de la incertidumbre y la respuesta selectiva en múltiples bancos de pruebas.

Resultados Experimentales

Los autores evaluaron FUSE en tres bancos de pruebas de Preguntas-Visión (VQA): VQAv2, OKVQA y AdVQA, utilizando LLaVA-v1.5-13b como arquitectura base.

• Líneas Base: FUSE fue comparado contra métodos sin entrenamiento (UMPIRE, Consistencia de Vecindad), métricas basadas en entropía (Entropía Semántica, Entropía LN) y enfoques de predicción conforme (LoFreeCP, CLM).
• Discriminación: FUSE alcanzó el mayor AUROC (0.883 en VQAv2) al distinguir respuestas correctas de incorrectas, superando a todas las líneas base.
• Calibración: El método demostró una calibración superior, con el Error de Calibración Esperado (ECE) más bajo y la mayor correlación entre la incertidumbre predicha y las tasas de error empíricas.
• Respuesta Selectiva: En términos del Área Bajo la Curva de Rechazo-Precisión (AURAC), FUSE superó consistentemente a las líneas base, lo que indica su capacidad para identificar y abstenerse de consultas inciertas manteniendo una alta precisión en las consultas respondidas.
• Estudios de Ablación: Los experimentos confirmaron que la fusión de ambas fuentes de incertidumbre es crítica; eliminar ya sea el prior del GP o la evidencia ponderada resultó en una degradación del rendimiento.

Significado y Reivindicaciones

El artículo afirma que FUSE aborda una brecha crítica de seguridad y fiabilidad en el despliegue de los VLM. Al ir más allá de las verosimilitudes por token hacia una formulación bayesiana conjunta que integra los priors de representación de entrada con la evidencia de generación, FUSE proporciona una medida rigurosa e interpretable de la incertidumbre.

Los autores enfatizan que su enfoque:

• No requiere el reentrenamiento del masivo VLM base, solo el entrenamiento de adaptadores GP ligeros sobre el codificador congelado.
• Proporciona un único puntaje escalar que predice de manera fiable la corrección del modelo.
• Permite la toma de decisiones controlada por el riesgo, permitiendo que los sistemas se abstengan de responder cuando la incertidumbre supera un umbral calibrado, lo cual es esencial en dominios de alto riesgo como la atención médica y los sistemas autónomos.

El trabajo se posiciona como un paso hacia la creación de VLM más confiables al modelar explícitamente lo que el modelo "no sabe" a través tanto de la ambigüedad de la entrada como de la variabilidad de su propia generación.