Post-hoc Probabilistic Vision-Language Models

Resumen Técnico: Post-Hoc Probabilistic Vision-Language Models (BayesVLM)

1. El Problema

Los Modelos Visión-Lenguaje (VLMs) preentrenados a gran escala, como CLIP y SigLIP, han logrado un éxito notable en tareas de clasificación, recuperación y generación. Sin embargo, estos modelos operan de manera determinista: mapean imágenes y descripciones de texto a un espacio latente compartido y evalúan su similitud mediante la similitud del coseno.

Esta naturaleza determinista presenta dos limitaciones críticas para aplicaciones en el mundo real:

1. Falta de cuantificación de incertidumbre: No pueden distinguir entre una predicción segura y una adivinanza arriesgada, especialmente cuando se enfrentan a desplazamientos de dominio (domain shifts) o datos fuera de distribución (OOD).
2. Sobreconfianza: Tienen la tendencia a ser excesivamente seguros en sus predicciones incorrectas, lo cual es peligroso en aplicaciones críticas para la seguridad.

Los métodos existentes para abordar esto (como la calibración, la adaptación en tiempo de prueba o el entrenamiento de VLMs probabilísticos desde cero) suelen tener limitaciones: requieren reentrenamiento costoso, aumentan drásticamente los costos de inferencia o no capturan adecuadamente la incertidumbre epistémica.

2. Metodología: BayesVLM

Los autores proponen BayesVLM, un método eficiente y efectivo para la estimación de incertidumbre post-hoc (después del entrenamiento) que no requiere reentrenar el modelo ni modificar su arquitectura.

La metodología se basa en los siguientes pilares:

• Aproximación de Laplace (Laplace Approximation - LA):
  Se aplica una aproximación de Laplace a la distribución posterior de los parámetros del modelo. En lugar de entrenar un modelo probabilístico desde cero, se ajusta una distribución Gaussiana alrededor de la estimación MAP (Maximum A Posteriori) de los modelos preentrenados.

  • Posterior: $p(\theta | D) \approx \mathcal{N}(\theta_{MAP}, \Sigma)$, donde $\Sigma$ es la inversa de la Hessiana de la función de pérdida.

• Modelos Probabilísticos Independientes por Modalidad:
  Para hacer el cálculo viable, el método asume dos modelos probabilísticos independientes (uno para imágenes y otro para texto), rompiendo la dependencia conjunta de los datos de entrenamiento. Esto permite inferir la posterior de las capas de proyección lineales ($P$ para imágenes y $Q$ para texto) de forma separada.

  • Se utiliza la aproximación KFAC (Kronecker-Factored Approximate Curvature) para estimar la Hessiana de manera eficiente, evitando el costo computacional prohibitivo de calcular la Hessiana completa.

• ProbCosine: Propagación Analítica de la Incertidumbre:
  Dado que la salida de un VLM se basa en la similitud del coseno entre embeddings, y estos embeddings ahora son distribuciones (no vectores fijos), la similitud del coseno se convierte en una variable aleatoria.

  • Los autores derivan una expresión analítica para aproximar la distribución de la similitud del coseno como una Gaussiana, calculando su media y varianza a partir de las distribuciones de los embeddings de imagen y texto.
  • Esto evita el uso de costosas muestras de Monte Carlo, permitiendo una inferencia rápida.

• Aplicación en Aprendizaje Activo:
  El método se integra en funciones de adquisición (como BALD y EPIG) para seleccionar muestras informativas en escenarios de few-shot learning o ajuste fino activo, utilizando la incertidumbre estimada para guiar la selección de datos.

3. Contribuciones Clave

1. BayesVLM: Un método post-hoc que proporciona estimaciones de incertidumbre para VLMs preentrenados sin cambios arquitectónicos ni reentrenamiento.
2. Formulación Bayesiana Directa: La primera formulación bayesiana directa para modelos visión-lenguaje, incluyendo la derivación de una expresión analítica para la distribución de la similitud del coseno (ProbCosine).
3. Eficiencia y Robustez: Demostración de que el método es computacionalmente eficiente (menos del 5% de sobrecarga en tiempo de ejecución para modelos base) y robusto incluso cuando los datos de entrenamiento originales no están disponibles (usando conjuntos de datos proxy).
4. Mejora en Calibración: Logra una mejor calibración predictiva (menor Error de Calibración Esperado - ECE) en comparación con métodos baselines como el escalado de temperatura o la adaptación en tiempo de prueba (TTA).

4. Resultados Experimentales

Los autores evaluaron BayesVLM en múltiples benchmarks de clasificación zero-shot (FLOWERS-102, FOOD-101, CIFAR-10/100, ImageNet-R, etc.) y en escenarios de aprendizaje activo.

• Cuantificación de Incertidumbre (Zero-Shot):

  • BayesVLM logra una precisión (ACC) comparable a CLIP/SigLIP originales, pero con una NLPD (Negative Log Predictive Density) significativamente menor, indicando que el modelo es menos sobreconfidente al cometer errores.
  • Supera a todos los métodos baselines en ECE, demostrando que sus estimaciones de incertidumbre están mejor calibradas.
  • Funciona bien incluso cuando la Hessiana se estima en un conjunto de datos proxy (ej. CC12M para un modelo entrenado en LAION-400M), mostrando robustez ante la falta de acceso a datos de entrenamiento originales.

• Aprendizaje Activo:

  • Al utilizar las incertidumbres de BayesVLM para seleccionar datos de ajuste fino (mediante BALD y EPIG), se logra una reducción sustancial en la tasa de error y una mejor calibración en comparación con la selección aleatoria o basada en entropía.
  • Los modelos adaptados con BayesVLM muestran menos sobreconfianza en predicciones incorrectas.

• Eficiencia:

  • El costo de inferencia aumenta menos del 1% para modelos grandes (Huge), en contraste con el aumento de 80x que requiere la adaptación en tiempo de prueba (TTA).

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre el alto rendimiento de los modelos VLMs a gran escala y la necesidad de confiabilidad y seguridad en aplicaciones críticas.

• Accesibilidad: Al ser un método post-hoc y libre de entrenamiento, democratiza el uso de incertidumbre bayesiana en modelos masivos que de otro modo serían "cajas negras" deterministas.
• Seguridad: Proporciona una herramienta para detectar cuándo un modelo no está seguro de su predicción, lo cual es vital para sistemas autónomos, diagnósticos médicos o filtrado de contenido.
• Escalabilidad: La capacidad de operar con sobrecarga computacional mínima y sin necesidad de los datos de entrenamiento originales hace que sea aplicable a modelos comerciales cerrados y en entornos con recursos limitados.

En conclusión, BayesVLM transforma modelos deterministas en herramientas probabilísticas confiables, permitiendo una toma de decisiones más informada y segura en aplicaciones de visión por computadora y lenguaje natural.