🤖 AI

Variational Visual Question Answering for Uncertainty-Aware Selective Prediction

Este artículo presenta "Variational VQA", un método basado en inferencia bayesiana variacional que mejora la fiabilidad y la predicción selectiva de los Modelos de Lenguaje Visuales al reducir la sobreconfianza y las alucinaciones, especialmente en escenarios de baja tolerancia al error.

Autores originales: Tobias Jan Wieczorek, Nathalie Daun, Mohammad Emtiyaz Khan, Marcus Rohrbach

Publicado 2026-04-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tobias Jan Wieczorek, Nathalie Daun, Mohammad Emtiyaz Khan, Marcus Rohrbach

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que tienes un amigo muy inteligente, un genio de la visión y el lenguaje, capaz de responder preguntas sobre cualquier imagen que le muestres. Llamémosle "Robo-Genio".

El problema es que Robo-Genio tiene un defecto grave: es demasiado seguro de sí mismo. A veces, cuando ve una foto de un perro y le preguntas "¿Es un gato?", él no dice "No sé". En su lugar, con total confianza, te responde: "¡Sí, es un gato!". Esto es peligroso, especialmente si usas a este robot para cosas importantes como diagnósticos médicos o ayudar a personas ciegas.

Este paper presenta una solución brillante llamada VarVQA (Visual Question Answering Variacional). Vamos a explicarlo con una analogía sencilla.

1. El problema: El "Apuesto" vs. El "Investigador"

El método actual (AdamW): Imagina que entrenas a Robo-Genio como si fuera un jugador de apuestas. Le das miles de fotos y le dices: "Adivina la respuesta correcta". El objetivo es ganar la mayor cantidad de veces posible. Para ganar, el modelo aprende a ser rápido y seguro, incluso cuando está equivocado. Es como un estudiante que memoriza respuestas para el examen, pero si ve una pregunta que no conoce, inventa una respuesta y la dice con el 100% de seguridad.
El nuevo método (VarVQA): En lugar de entrenarlo para ser un apostador, entrenamos a Robo-Genio para que sea un investigador científico. En lugar de buscar una sola respuesta "perfecta", le enseñamos a considerar múltiples posibilidades a la vez.

2. La solución: La "Bolsa de Opiniones"

Aquí es donde entra la magia de VarVQA.

Imagina que en lugar de tener un solo cerebro, le damos al modelo una bolsa llena de cerebros ligeramente diferentes (todos son versiones del mismo modelo, pero con pequeñas variaciones en su "forma de pensar").

Cuando llega una pregunta fácil (ej: "¿Hay un cielo azul?"): Todos los cerebros de la bolsa dicen "¡Sí!". El modelo está muy seguro y responde.
Cuando llega una pregunta difícil o confusa (ej: una imagen borrosa o una pregunta trampa):
- El cerebro A dice: "Creo que es un gato".
- El cerebro B dice: "No, parece un perro".
- El cerebro C dice: "No estoy seguro, podría ser un zorro".

En el método antiguo, el modelo ignoraría esta confusión y elegiría una respuesta al azar con confianza. Pero VarVQA mira la bolsa completa. Si ve que sus cerebros están discutiendo y no se ponen de acuerdo, entiende que tiene incertidumbre.

3. El resultado: Saber cuándo decir "No sé"

Gracias a esta "bolsa de cerebros", el modelo desarrolla un superpoder: la humildad.

Antes: Si el modelo estaba equivocado, decía "¡Es un gato!" con un 99% de confianza.
Ahora: Si el modelo ve que sus cerebros están en desacuerdo, dice: "No estoy seguro, mejor no respondo".

Esto es lo que llaman "Predicción Selectiva". El modelo elige no responder cuando la probabilidad de equivocarse es alta.

4. ¿Por qué es tan importante? (La analogía del médico)

Imagina que usas a este modelo para ayudar a un médico.

Modelo antiguo (AdamW): El médico le pregunta al modelo sobre una mancha en la piel. El modelo, aunque no está seguro, dice: "Es cáncer" con total confianza. El médico opera al paciente y... ¡es un error! El paciente sufre daños innecesarios.
Modelo nuevo (VarVQA): El modelo ve la mancha, consulta su "bolsa de cerebros", nota que hay mucha confusión y dice: "No estoy seguro. Por favor, consulta a un especialista humano".

El modelo ha salvado al paciente de un error costoso al admitir que no sabe la respuesta.

5. El truco matemático (sin aburrirnos)

El paper usa una técnica llamada Bayes Variacional con un optimizador llamado IVON.

Piensa en el optimizador IVON como un entrenador muy inteligente que no solo le dice al modelo "acertaste o fallaste", sino que también le enseña a medir cuánto se está equivocando mientras aprende.
Además, proponen un nuevo "filtro de seguridad" (un selector de riesgo). Es como un guardaespaldas que no solo mira la respuesta, sino que también mira cuánto variaron las opiniones de los cerebros de la bolsa. Si la variación es alta, el guardaespaldas detiene la respuesta.

En resumen

Este paper nos enseña que para hacer Inteligencia Artificial más segura y confiable, no necesitamos que sea más "lista" en términos de respuestas correctas, sino que necesite ser más consciente de sus propios límites.

VarVQA convierte a los modelos de IA de "expertos arrogantes que adivinan" en "expertos prudentes que saben cuándo pedir ayuda". Y lo mejor de todo: lo hace sin necesitar computadoras gigantes extrañas, simplemente cambiando la forma en que el modelo "piensa" durante su entrenamiento.

¡Es como enseñar a un niño a no solo memorizar, sino a dudar cuando algo no tiene sentido!

Aquí presento un resumen técnico detallado del artículo "Variational Visual Question Answering for Uncertainty-Aware Selective Prediction" (Respuesta Visual a Preguntas Variacional para Predicción Selectiva Consciente de la Incertidumbre), publicado en Transactions on Machine Learning Research.

1. El Problema

Los Modelos de Lenguaje y Visión (VLMs) han logrado avances significativos en tareas como la Respuesta Visual a Preguntas (VQA) y el Razonamiento Visual, alcanzando o superando el rendimiento humano en benchmarks estándar. Sin embargo, estos modelos sufren de dos deficiencias críticas para su despliegue en entornos de seguridad crítica (como diagnóstico médico o asistencia a personas con discapacidad visual):

Sobreconfianza y Alucinaciones: Los VLMs tienden a ser mal calibrados; a menudo responden con alta confianza incluso cuando están equivocados o cuando la pregunta es incontestable (hallazgos adversarios o fuera de distribución).
Falta de Predicción Selectiva: Los modelos actuales no saben cuándo "abstenerse" de responder. En la predicción selectiva, el objetivo es que el modelo rechace una respuesta si su confianza es baja, sustituyendo el error por una salida de "no sé".
Limitaciones de los Métodos Actuales: Las soluciones existentes suelen requerir componentes adicionales (como cabezales de entrenamiento externos o herramientas de visión externas) que aumentan la complejidad y los puntos de fallo, o son computacionalmente prohibitivas (como los Ensembles profundos) para modelos grandes. Además, los métodos bayesianos tradicionales han sido ineficaces para arquitecturas Transformer a gran escala.

2. Metodología: Variational VQA (VarVQA)

Los autores proponen VarVQA, un marco que integra el Aprendizaje Bayesiano Variacional directamente en el entrenamiento de VLMs grandes para mejorar la estimación de incertidumbre sin añadir parámetros extra ni fases de entrenamiento adicionales.

Optimizador IVON: Se basa en el optimizador Improved Variational Online Newton (IVON). A diferencia de AdamW, que optimiza solo los pesos medios, IVON optimiza tanto la media ( $m$ $m$ ) como la varianza ( $v$ $v$ ) de una distribución posterior sobre los pesos de la red (generalmente una Gaussiana diagonal).
- Utiliza estimaciones de Hessiano en línea para escalar las actualizaciones de manera similar a Adam, pero manteniendo la estructura bayesiana.
- Permite entrenar modelos grandes con un costo computacional casi idéntico a AdamW.
Inferencia y Muestreo:
- VarVQA Mean: Para inferencia eficiente, se pueden usar solo los parámetros medios ( $m$ ), requiriendo un solo paso hacia adelante.
- Muestreo Monte Carlo (MC): Para una estimación robusta de incertidumbre, se muestrean $S$ conjuntos de pesos $\theta^{(s)} \sim q(\theta)$ para obtener múltiples predicciones. Estas se agregan para calcular la probabilidad media ( $\bar{\mu}$ ) y la varianza de la predicción ( $\bar{\sigma}^2$ ).
Selector de Riesgo Averso ( $g_{BPA}$ ):
- Los autores proponen una nueva función de selección que va más allá del promedio predictivo estándar.
- La función penaliza las predicciones con alta varianza: $g_{BPA}(x) = \bar{\mu}_{\kappa}(x) - \bar{\sigma}_{\kappa}(x)$ , donde $\kappa$ es la clase de mayor probabilidad.
- Esto actúa como un límite inferior conservador (aproximadamente el percentil 16 de una distribución Gaussiana), reduciendo la confianza en predicciones inciertas y mejorando la seguridad en escenarios de alto riesgo.

3. Contribuciones Clave

Eficacia en Arquitecturas Multimodales: Demuestran por primera vez que el entrenamiento variacional es efectivo para arquitecturas Transformer multimodales grandes (ViLT, BEiT-3), superando la barrera histórica de escalabilidad de los métodos bayesianos.
Mejora en Estimación de Incertidumbre: VarVQA logra una mejor calibración (menor Error de Calibración Esperado - ECE) y una predicción selectiva superior, especialmente en umbrales de error muy bajos (≤1%).
Eficiencia de Muestras: Muestran que VarVQA es más eficiente en muestras que el Dropout de Monte Carlo (MC Dropout), ofreciendo mayor fiabilidad con el mismo presupuesto computacional.
Nuevo Selector de Riesgo: Introducen la función $g_{BPA}$ que utiliza la varianza de salida para mejorar la predicción selectiva en escenarios de alto riesgo, superando al promedio predictivo estándar.

4. Resultados Experimentales

Los experimentos se realizaron en ViLT y BEiT-3 (base y large) sobre los datasets VQAv2, AdVQA (datos fuera de distribución) y NLVR2 (Razonamiento Visual).

Precisión vs. Fiabilidad: VarVQA iguala o supera ligeramente la precisión de los modelos entrenados con AdamW, pero con una calibración significativamente mejor.
Predicción Selectiva de Alto Riesgo:
- En escenarios donde se permite solo 1 error por cada 200 muestras (C@1/2%), VarVQA mejora entre un 7% y un 14% en métricas de cobertura respecto a AdamW.
- El selector $g_{BPA}$ supera consistentemente al promedio predictivo en métricas de alto riesgo (ej. en NLVR2, mejora un 5% en C@1/2% para BEiT-3 base).
Robustez a Datos Fuera de Distribución (OOD): En mezclas de datos VQAv2 (ID) y AdVQA (OOD), VarVQA mantiene una mejor calibración y una caída relativa menor en la capacidad de predicción selectiva en comparación con AdamW, sugiriendo una mayor robustez fundamental.
Comparación con Ensembles: VarVQA (incluso sin ensembling) a menudo supera a los Ensembles profundos de AdamW en fiabilidad, y al combinar VarVQA con Ensembles, se obtiene el mejor rendimiento global, aunque con un costo de entrenamiento mayor.
Eficiencia: El uso de "VarVQA mean" (sin muestreo) ofrece mejoras en fiabilidad con el mismo costo de inferencia que AdamW. El muestreo con 64 muestras ofrece el mejor equilibrio entre fiabilidad y costo.

5. Significado e Impacto

Este trabajo es fundamental porque demuestra que la aprendizaje variacional es una opción viable y competitiva para hacer que los grandes Modelos de Lenguaje y Visión sean más seguros y confiables.

Seguridad en IA: Proporciona un mecanismo intrínseco ("baked-in") para que los modelos sepan cuándo no responder, reduciendo el riesgo de alucinaciones en aplicaciones críticas.
Eficiencia: Ofrece una alternativa más eficiente que los métodos de ensembling o las adiciones de componentes externos, logrando mejoras significativas sin reestructurar la arquitectura del modelo.
Futuro: Abre la puerta a la aplicación de métodos bayesianos en modelos multimodales masivos, sugiriendo que la incertidumbre puede ser aprendida directamente en lugar de post-procesada.

En resumen, VarVQA establece un nuevo estándar para la fiabilidad en VQA, demostrando que la incertidumbre puede ser modelada eficazmente en modelos grandes mediante optimizadores variacionales modernos, permitiendo una predicción selectiva robusta y segura.