Resumen Técnico: GeoFlowVLM

Enunciado del Problema

Los Modelos Visión-Lenguaje (VLM) de codificador dual estándar, como CLIP y SigLIP, mapean imágenes y texto a puntos deterministas en una hipersfera unitaria compartida mediante normalización $\ell_2$. Aunque son efectivos para la recuperación y la transferencia cero-shot, esta representación determinista falla en cuantificar la incertidumbre de la predicción. Específicamente, no expone ni la incertidumbre aleatoria (ambigüedad intrínseca entre modalidades donde una entrada se mapea a múltiples salidas válidas) ni la incertidumbre epistémica (falta de soporte para consultas que caen fuera de la distribución de entrenamiento).

Los métodos existentes de cuantificación de incertidumbre (UQ) post-hoc sufren dos limitaciones principales:

1. Agnosticismo Geométrico: Muchos métodos operan en el espacio euclidiano ambiental, ignorando la restricción de normalización $\ell_2$ que define el espacio de incrustación del VLM.
2. Modelado Incompleto de la Incertidumbre: La mayoría de los métodos capturan solo un tipo de incertidumbre (ya sea aleatoria o epistémica) o fallan en respetar la geometría esférica para ambas modalidades simultáneamente. Por ejemplo, ProbVLM captura ambas pero utiliza un enfoque heurístico que pasa por alto la estructura esférica y mide la incertidumbre del adaptador en lugar de la densidad del modelo base.

El desafío central es cuantificar ambos tipos de incertidumbre a partir de incrustaciones de VLM congeladas sin reentrenar los codificadores subyacentes, respetando estrictamente la geometría de la hipersfera producto ($S^{d-1} \times S^{d-1}$).

Metodología: GeoFlowVLM

Los autores proponen GeoFlowVLM, un adaptador probabilístico post-hoc que aprende la distribución conjunta de incrustaciones emparejadas normalizadas $\ell_2$ en la hipersfera producto.

Arquitectura Central y Entrenamiento

• Ajuste de Flujo Riemanniano: El modelo utiliza el ajuste de flujo Riemanniano para aprender una densidad conjunta $p_\phi(e_I, e_T)$ en la variedad $M = S^{d-1} \times S^{d-1}$. Regresa hacia un objetivo tangente-geodésico de forma cerrada, evitando aproximaciones costosas del núcleo de calor.
• Campo de Velocidad Único Enmascarado: Una elección clave de diseño es el uso de una única red neuronal con una máscara binaria de estructura de bloques $m \in \{0, 1\}^{2d}$. Este único campo de velocidad $v_\phi(z_t, m)$ maneja tres modos distintos mediante diferentes máscaras:
  1. Flujo Conjunto ($m_{joint}$): Genera tanto incrustaciones de imagen como de texto.
  2. Flujo Condicional ($m_{I \to T}$): Genera texto dada una imagen fija.
  3. Flujo Condicional ($m_{T \to I}$): Genera imagen dado un texto fijo.
• Objetivo de Entrenamiento: El modelo se entrena utilizando un objetivo de ajuste de flujo condicional enmascarado (CFM). La máscara restringe la supervisión a las dimensiones generadas mientras mantiene las dimensiones condicionadas fijas en sus valores observados ($t=0$). El entrenamiento emplea transporte óptimo entrópico para emparejar muestras de origen y destino, enderezando las trayectorias en la variedad.
• Consistencia: El Teorema 1 demuestra que, en el límite poblacional, esta red única enmascarada recupera campos de velocidad de flujo condicional Riemannianos válidos para ambas direcciones entre modalidades y la distribución conjunta, sin requerir pérdidas de consistencia auxiliares.

Lecturas de Incertidumbre

A partir del modelo conjunto entrenado único, se derivan dos métricas de incertidumbre:

1. Incertidumbre Aleatoria (Entropía de Recuperación):

   • Derivada de la posterior condicional $p_\phi(e_T | e_I)$ (o viceversa).
   • Se extraen muestras del flujo condicional y se agregan sobre una galería de recuperación para formar una distribución posterior discreta $\pi$.
   • La entropía de Shannon $H(\pi)$ cuantifica la ambigüedad de la recuperación.
   • Justificación Teórica: Utilizando la desigualdad de Fano, la entropía proporciona un límite inferior riguroso para el riesgo Bayesiano MAP, certificando que una alta entropía corresponde a una alta dificultad de recuperación.

2. Incertidumbre Epistémica (Típicalidad Marginal):

   • Derivada mediante una descomposición exacta de la regla de la cadena de la Negativa Log-Verosimilitud (NLL) conjunta:
     $$-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{Típicalidad Epistémica}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{Coincidencia entre Modalidades}}$$
   • Los autores argumentan que el término de Información Mutua Puntual (PMI) es estructuralmente discriminativo (midiendo compatibilidad) en lugar de epistémico.
   • La Puntuación Epistémica se define como la suma de las típicalidades marginales: $u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$.
   • Estas marginales se calculan a partir del modelo conjunto utilizando la identidad de Bayes y la integración en tiempo inverso de la EDO del flujo, sin requerir parámetros adicionales.

Contribuciones Clave

1. Adaptador GeoFlowVLM: Un adaptador probabilístico post-hoc entrenado mediante ajuste de flujo Riemanniano en la hipersfera producto utilizando un único campo de velocidad enmascarado. Produce densidades conjuntas, marginales y condicionales sin reentrenar el codificador. Un estudio de ablación confirma que respetar la geometría esférica es estructuralmente necesario para una incertidumbre calibrada.
2. Entropía de Recuperación Condicional: Un nuevo estimador aleatorio que cuantifica la ambigüedad entre modalidades. Rastrea la dificultad de recuperación con una calibración monótona casi ideal en todos los benchmarks y proporciona un límite inferior teórico-decisional para el riesgo Bayesiano.
3. Descomposición de la Regla de la Cadena: Una derivación teórica que muestra que la NLL conjunta se descompone en típicalidad marginal (la señal epistémica correcta) y PMI entre modalidades (una señal discriminativa). Esto explica el éxito empírico de los métodos de densidad por modalidad como REPVLM y los enmarca como una extensión coherente del modelo conjunto.

Resultados Experimentales

El método se evaluó sobre un codificador base OpenCLIP ViT-H/14 congelado, entrenado en Conceptual Captions (CC-1M) y probado cero-shot en siete benchmarks.

• Incertidumbre Aleatoria (Recuperación):

  • Evaluado en MS-COCO, Flickr30k y CUB-200 (tanto Imagen-a-Texto como Texto-a-Imagen).
  • GeoFlowVLM logró una calibración monótona casi perfecta (Spearman $\rho \approx -1.0$) entre la entropía predicha y Recall@1, superando significativamente a las líneas base (ProbVLM, AsymVLM, GroVE).
  • ProbVLM mostró una correlación positiva (la incertidumbre aumentaba en consultas correctas), y otras líneas base mostraron tendencias inestables o no monótonas.

• Incertidumbre Epistémica (Clasificación Cero-Shot):

  • Evaluado en ImageNet-1K, Food-101, CIFAR-100 y ObjectNet.
  • La suma de típicalidad marginal ($u_{ep}$) produjo una precisión selectiva consistentemente creciente a medida que disminuía la cobertura (rechazando muestras de alta incertidumbre).
  • El análisis de componentes confirmó que el PMI es una mala puntuación epistémica autónoma (a menudo rechazando predicciones correctas), mientras que la típicalidad marginal proporciona la señal confiable.
  • GeoFlowVLM igualó o superó a REPVLM, con una ventaja notable en ObjectNet (cambio de perspectiva), atribuida a la capacidad del modelo conjunto para capturar la estructura entre modalidades que los flujos independientes por modalidad pasan por alto.

• Ablaciones:

  • Geometría: Una línea base euclidiana (arquitectura idéntica pero operando en $\mathbb{R}^d \times \mathbb{R}^d$) falló catastróficamente en ambas métricas aleatoria y epistémica, confirmando la necesidad de la geometría Riemanniana.
  • Eficiencia: Se lograron estimaciones confiables con tan solo 10 pasos de integración de EDO y una única sonda de Hutchinson para la estimación de la divergencia.
  • Codificador Base: Los resultados se transfirieron al codificador SigLIP, aunque los métodos basados en densidad mostraron un rendimiento degradado en ImageNet-1K debido a las incrustaciones más isotrópicas de SigLIP.

Significado y Afirmaciones

El artículo afirma que GeoFlowVLM aborda una brecha crítica en la UQ post-hoc para VLMs congelados al proporcionar un modelo único, consciente de la geometría que expone tanto la incertidumbre aleatoria como la epistémica.

• Insight Teórico: El trabajo proporciona una explicación fundamentada de por qué la típicalidad marginal es la señal epistémica correcta en este contexto y por qué el PMI entre modalidades no debe utilizarse como puntuación de incertidumbre. Demuestra que el modelado conjunto en la hipersfera producto es estrictamente más rico que el modelado por modalidad.
• Utilidad Práctica: El método ofrece un estimador calibrado y simétrico en dirección para la dificultad de recuperación y una puntuación robusta basada en densidad para la detección de fuera de distribución en la clasificación cero-shot, todo sin modificar el codificador base VLM preentrenado.
• Limitaciones: Los autores señalan que el teorema de consistencia es un resultado de límite poblacional; los límites de muestra finita permanecen abiertos. Las puntuaciones epistémicas son basadas en densidad (típicalidad) en lugar de bayesianas (varianza posterior de parámetros). Además, el método requiere un entrenamiento único en datos a gran escala y múltiples resoluciones de EDO por consulta, distinguiéndolo de los enfoques libres de entrenamiento.

Los autores concluyen que el modelado de incrustaciones conjuntas es una estrategia general para un razonamiento probabilístico más rico sobre representaciones visión-lenguaje, particularmente para aplicaciones críticas para la seguridad como la recuperación médica y los sistemas autónomos.