Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

Resumen Técnico: Mitigación de la Brecha de Modalidad en la Detección de OOD con Pocos Disparos (Few-Shot)

Planteamiento del Problema
Los Modelos de Visión-Lenguaje (VLMs), particularmente CLIP, se han vuelto prominentes para la detección de Distribución Fuera de Rango (OOD, por sus siglas en inglés). Sin embargo, los métodos existentes que dependen únicamente de prototipos de texto (por ejemplo, MCM) sufren de la "brecha de modalidad" (modality gap): un fenómeno donde las incrustaciones (embeddings) de imagen y texto ocupan regiones distintas en el espacio de incrustación. Esta separación causa que las imágenes OOD exhiban una alta similitud con los prototipos de texto de la Distribución Interna (ID) debido a su proximidad espacial en lugar de su relevancia semántica, lo que conduce a altas tasas de falsos positivos (FPR). Aunque existen métodos de ajuste de pocos disparos (few-shot tuning), estos se centran principalmente en aprender prompts de texto negativos y no abordan explícitamente el desalineamiento fundamental entre las modalidades de imagen y texto.

Metodología: SUPREME
Los autores proponen SUPREME (un marco de ajuste de pocos disparos para la detección de OOD con CLIP) para mitigar la brecha de modalidad. El enfoque consta de tres componentes principales:

1. Prototipos Multimodales (Fundamento Teórico y Empírico):
   El artículo establece primero que la incorporación de prototipos de imagen ID junto con los prototipos de texto ID mejora la detección de OOD sin entrenamiento adicional. Al promediar las incrustaciones de imagen para cada clase, los autores definen una puntuación de Prototipos Multimodales ($S_{MMP}$). El análisis teórico (Teorema 1) y los resultados empíricos muestran que este enfoque de prototipo dual aumenta la separación de puntuación entre las muestras ID y OOD, reduciendo efectivamente el impacto negativo de la brecha de modalidad.

2. Generación de Prompts Sesgados (BPG):
   Para mejorar aún más la generalización durante el ajuste de pocos disparos, SUPREME introduce BPG. A diferencia de los métodos anteriores que condicionan los prompts solo en contextos aprendibles e incrustaciones de imagen, BPG condiciona los prototipos de texto en tres componentes:

   • Tokens de contexto aprendibles.
   • Incrustaciones de imagen mapeadas ($m(I)$).
   • Un sesgo de dominio de imagen estimado basado en Gaussianos ($\mathcal{N}(\mu, \Sigma)$).
     Este sesgo se estima a partir de la distribución de las incustaciones de imagen ID. Al incorporar este sesgo en la generación de prompts, el método evita el sobreajuste en datos limitados de pocos disparos y alinea los prototipos de texto más cerca de la distribución real de las imágenes ID, mejorando así la fusión imagen-texto.

3. Consistencia Imagen-Texto (ITC):
   Para minimizar directamente la brecha de modalidad, SUPREME emplea dos mapeos aprendibles: un mapeo de imagen a texto ($f_{img-txt}$) y un mapeo de texto a imagen ($f_{txt-img}$). Estos se optimizan utilizando dos funciones de pérdida mientras se mantiene congelado el backbone de CLIP:

   • Pérdida intermodal ($\ell_{inter}$): Minimiza la distancia entre las incrustaciones mapeadas y sus contrapartes originales (por ejemplo, asegurando que $f_{img-txt}(I)$ se alinee con los prototipos de texto).
   • Pérdida intramodal ($\ell_{intra}$): Reconstruye la incrustación original a partir de la incrustación mapeada para evitar la pérdida de información (por ejemplo, $f_{txt-img}(f_{img-txt}(I)) \approx I$).

4. Puntuación de Prototipo Multimodal Generalizada ($S_{GMP}$):
   Basándose en los hallazgos multimodales, los autores proponen una nueva función de puntuación de OOD, $S_{GMP}$. Esta puntuación aprovecha las similitudes unimodales y transmodales. Calcula el promedio de las similitudes máximas entre:

   • La incrustación de imagen original ($I$) y los prototipos de texto/imagen.
   • La incrustación de imagen mapeada ($I' = f_{img-txt}(I)$) y los prototipos de texto/imagen.
     Esta integración asegura que tanto las representaciones originales como las alineadas contribuyan a la decisión final, mejorando la robustez.

Contribuciones Clave

• Análisis de la Brecha de Modalidad: El artículo proporciona evidencia teórica y empírica de que la brecha de modalidad impacta negativamente la detección de OOD basada en VLM y que la incorporación de prototipos de imagen mitiga este efecto sin entrenamiento.
• Marco SUPREME: Un novedoso método de ajuste de pocos disparos que comprende BPG (para mejorar la generalización mediante el sesgo de dominio) e ITC (para reducir la brecha de modalidad mediante pérdidas de consistencia).
• Nueva Métrica de Puntuación: La introducción de $S_{GMP}$, que explota los prototipos multimodales y las similitudes transmodales para mejorar la separación entre las distribuciones ID y OOD.
• Rendimiento de Vanguardia (State-of-the-Art): Experimentos extensos que demuestran un rendimiento superior constante sobre los métodos existentes de detección de OOD de cero disparos (zero-shot) y de pocos disparos (few-shot).

Resultados Experimentales
Los autores evaluaron SUPREME en ImageNet-1k e ImageNet-100 como conjuntos de datos ID frente a cuatro conjuntos de datos OOD diversos (iNaturalist, SUN, Places, Texture) y el benchmark OpenOOD.

• ImageNet-1k: SUPREME logró un FPR95 promedio de 20.70% y un AUROC de 95.38%, superando a bases sólidas como NegPrompt (23.01% FPR95) y LoCoOp (28.66% FPR95).
• ImageNet-100: El método logró un FPR95 promedio de 8.47% y un AUROC de 98.08%, superando significativamente a CoOp y CoCoOp.
• OOD Difícil (ImageNet-10/20): SUPREME demostró robustez en escenarios con alto solapamiento semántico, logrando el FPR95 más bajo (4.10% y 3.60%) en ambas direcciones.
• Estudios de Ablación: Eliminar BPG o ITC resultó en una degradación significativa del rendimiento (por ejemplo, el FPR95 aumentó a ~28%), confirmando la necesidad de ambos módulos. El uso de $S_{GMP}$ sobre $S_{MCM}$ también produjo mejoras mensurables.
• Precisión ID: SUPREME mantuvo una alta precisión de clasificación ID (71.8% Top-1 en ImageNet-1k), superando a otros métodos enfocados en OOD.

Significancia y Reivindicaciones
El artículo afirma que SUPREME aborda una limitación crítica en los actuales VLMs de detección de OOD: la brecha de modalidad. Al ir más allá de los prototipos de solo texto e introducir mecanismos para alinear los espacios de imagen y texto (vía BPG e ITC), el método reduce significativamente los falsos positivos. Los autores enfatizan que su enfoque mejora la confiabilidad sin requerir acceso a datos OOD durante el entrenamiento, dependiendo únicamente de un pequeño subconjunto de datos ID (16 disparos por clase). El trabajo sugiere que modelar explícitamente la relación entre las modalidades es esencial para una detección de OOD robusta en despliegues del mundo real.