Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching

Resumen Técnico: REPVLM – Cuantificación de la Incertidumbre Epistémica para VLMs Pre-entrenados mediante Emparejamiento de Flujos Riemannianos

1. Enunciado del Problema

Los Modelos Visuales-Lingüísticos (VLMs) pre-entrenados, como CLIP, BLIP y SigLIP, han logrado un éxito notable en el aprendizaje de representaciones multimodales mediante un pre-entrenamiento contrastivo a gran escala. Sin embargo, estos modelos son inherentemente deterministas, mapeando entradas a puntos únicos y fijos en un espacio de incrustaciones de alta dimensión. Esta arquitectura carece de un mecanismo intrínseco para cuantificar la incertidumbre epistémica (la ignorancia o falta de conocimiento del modelo respecto a sus propias representaciones).

Aunque existen marcos de cuantificación de la incertidumbre (UQ) para VLMs, abordan predominantemente la incertidumbre aleatoria (ambigüedad de los datos) mediante el aprendizaje de incrustaciones probabilísticas. Los métodos diseñados para la incertidumbre epistémica, como los conjuntos profundos (deep ensembles) o el Dropout de Monte Carlo, suelen ser computacionalmente prohibitivos para modelos pre-entrenados a gran escala o producen estimaciones subóptimas dependientes del lote. Existe una necesidad crítica de una métrica escalable e intrínseca que cuantifique directamente la confianza del modelo en sus representaciones sin requerir reentrenamiento costoso o muestreo en el espacio de parámetros.

2. Metodología: REPVLM

Los autores proponen REPVLM, un marco que cuantifica la incertidumbre epistémica estimando la densidad de probabilidad de las incrustaciones de VLM directamente sobre su variedad nativa.

Motivación Teórica
El artículo establece un vínculo teórico entre la densidad de incrustaciones y la incertidumbre epistémica a través de una cadena de tres pasos:

1. Covarianza a Norma del Jacobiano: Bajo supuestos bayesianos estándar y linealidad local, una alta incertidumbre epistémica corresponde a una gran norma del Jacobiano de parámetros, lo que indica sensibilidad a las perturbaciones de los parámetros.
2. Norma del Jacobiano a Densidad de Datos: En regiones de alta densidad de los datos de entrenamiento, la norma del Jacobiano del codificador tiende a ser pequeña (suavidad), mientras que en regiones de baja densidad (fuera de la distribución), permanece sin restricciones.
3. Densidad de Datos a Densidad de Incrustaciones: Motivados por las dinámicas de alineación y uniformidad en el aprendizaje contrastivo, los autores postulan una suposición empírica de que la densidad de los datos de entrada $p(x)$ se correlaciona con la densidad de las incrustaciones resultantes $p(z)$ en la hiperesfera.
   En consecuencia, la negativa log-verosimilitud, $-\log p(z)$, sirve como un proxy principiado para la incertidumbre epistémica: las regiones de baja densidad señalan ignorancia del modelo.

Emparejamiento de Flujos Riemannianos (RFM)
Para calcular $p(z)$ de manera eficiente en la hiperesfera $S^{d-1}$ (donde residen las incrustaciones de VLM normalizadas con $\ell_2$), REPVLM utiliza Emparejamiento de Flujos Riemannianos Condicionales (CRFM):

• Modelado Nativo de Variedad: A diferencia del Emparejamiento de Flujos Euclidiano estándar, REPVLM opera directamente sobre la hiperesfera. Aprende un campo vectorial $v_t$ que transporta una distribución base uniforme simple $P_0 = \text{Unif}(S^{d-1})$ hacia las distribuciones empíricas específicas de la modalidad $P_1$ (Imagen y Texto).
• Interpolación Geodésica: La trayectoria de probabilidad se construye a lo largo de geodésicas (círculos máximos) en lugar de líneas rectas, respetando la geometría intrínseca del espacio semántico.
• Marco Condicional Unificado: Una sola red neuronal aprende el campo vectorial condicionado a la modalidad ($c \in \{\text{imagen}, \text{texto}\}$), permitiendo una estimación de incertidumbre agnóstica a la tarea.
• Cálculo de Verosimilitud: La densidad logarítmica exacta se calcula integrando la divergencia del campo vectorial aprendido a lo largo de la trayectoria inversa de la EDO. Para manejar incrustaciones de alta dimensión de manera eficiente, los autores emplean un estimador de traza de Hutchinson restringido a la variedad para aproximar la divergencia con una sobrecarga computacional mínima.

3. Contribuciones Clave

• Motivación Teórica: El artículo proporciona una derivación formal que demuestra que $-\log p(z)$ es un proxy monótono para la incertidumbre epistémica en codificadores contrastivos, vinculando la incertidumbre bayesiana con la densidad de incrustaciones.
• Método Nativo de Variedad (REPVLM): Los autores introducen un método de UQ escalable que extiende el Emparejamiento de Flujos Riemannianos a los espacios de incrustaciones de VLM, permitiendo el cálculo de densidad de probabilidad intrínseco tanto para modalidades visuales como textuales sin modificar el backbone pre-entrenado.
• Validación Empírica: El método se valida en múltiples benchmarks, demostrando una correlación casi perfecta entre las puntuaciones de incertidumbre y los errores de predicción, superando significativamente a las líneas base existentes en clasificación selectiva y detección de OOD.

4. Resultados Experimentales

Los autores evaluaron REPVLM en seis benchmarks aguas abajo (ImageNet-1K, Food101, CIFAR-100, ObjectNet, ImageNet-R, ImageNet-Sketch) utilizando tres conjuntos de datos proxy diferentes para el entrenamiento (Conceptual Captions, DataComp-1B, LAION-2B).

• Clasificación Selectiva: REPVLM logró una correlación de Spearman casi perfecta ($S \ge 0.988$) entre la incertidumbre y el error de predicción en benchmarks estándar. Superó consistentemente a líneas base como ProbVLM, Dropout de Monte Carlo y Norma de Incrustación en la identificación de errores del modelo.
• Robustez ante Cambios de Distribución: En conjuntos de datos con cambios de distribución (ObjectNet, ImageNet-R, ImageNet-Sketch), REPVLM fue el único método que logró $S=1.000$ en todas las celdas de cambio, mientras que otros métodos (por ejemplo, ProbVLM, GMM) mostraron alta varianza o correlaciones negativas.
• Aplicaciones:
  • Detección de OOD: Las puntuaciones de incertidumbre separaron eficazmente los datos In-Distribution (ID) de los datos Near-OOD y Far-OOD, generando curvas ROC y Precision-Recall altas.
  • Curación Automatizada de Datos: Las muestras de alta incertidumbre señaladas por REPVLM correspondieron a entradas ruidosas, borrosas o sin sentido, demostrando utilidad en la limpieza de conjuntos de datos web a gran escala.
• Eficiencia: REPVLM requiere solo ~0.55 GFLOPs de sobrecarga adicional más allá del backbone, lo que lo hace significativamente más eficiente que el Dropout de Monte Carlo (que requiere ~10 pasadas forward) mientras proporciona estimaciones epistémicas más fiables que ProbVLM.

5. Significado y Limitaciones

Significado
El artículo argumenta que la densidad de incrustaciones en la variedad es la cantidad operativa para la incertidumbre epistémica en VLMs pre-entrenados. Al aprovechar la estructura geométrica del espacio de incrustaciones mediante Emparejamiento de Flujos Riemannianos, REPVLM proporciona una métrica escalable, intrínseca y altamente fiable para la confianza del modelo. Esto habilita aplicaciones prácticas como la curación automatizada de datos y la detección robusta de OOD sin el costo computacional de los métodos de conjuntos.

Limitaciones
Los autores reconocen explícitamente varias limitaciones:

1. Proxy Teórico: El vínculo entre la incertidumbre epistémica bayesiana y la densidad de incrustaciones es un argumento de proxy motivador basado en suposiciones empíricas (específicamente respecto a la preservación de la densidad en codificadores contrastivos no invertibles), no una identidad formal.
2. Dependencia del Proxy: Como todos los métodos post-hoc, REPVLM requiere un conjunto de datos proxy representativo del dominio de pre-entrenamiento del VLM objetivo. Los VLMs especializados pueden requerir proxies dentro del dominio.
3. Suposiciones Geométricas: La teoría asume incrustaciones normalizadas con $\ell_2$ en $S^{d-1}$ de codificadores entrenados con similitud coseno (como CLIP). Los autores señalan que los resultados pueden no extrapolarse a modelos con geometrías diferentes (por ejemplo, SigLIP, que mostró un rendimiento degradado en benchmarks in-distribution debido a variaciones de densidad impulsadas por texturas).
4. Riesgos de Equidad: Los autores advierten que la incertidumbre basada en densidad confunde la rareza con la ignorancia. Las entradas raras pero válidas (por ejemplo, de grupos subrepresentados) pueden ser señaladas como valores atípicos de alta incertidumbre. En entornos críticos para la seguridad, dichas muestras deberían ser candidatas para revisión humana en lugar de eliminación automática.