Resumen Técnico: Predicción Conforme Localizada para la Clasificación de Imágenes con Modelos de Visión y Lenguaje

1. Planteamiento del Problema

La Predicción Conforme (CP, por sus siglas en inglés) es un marco estadístico ampliamente utilizado para la cuantificación de la incertidumbre en el aprendizaje automático, que ofrece sólidas garantías de cobertura marginal (es decir, el conjunto de predicción contiene la etiqueta real con una probabilidad definida por el usuario de $1-\alpha$ promediada sobre toda la distribución de datos). Sin embargo, una limitación bien conocida de la CP estándar es su incapacidad para garantizar la cobertura condicional para subgrupos específicos (por ejemplo, clases específicas o regiones de características). Esto conduce a disparidades de cobertura donde ciertas subpoblaciones están sub-cubiertas o sobre-cubiertas.

Aunque se ha propuesto la Predicción Conforme Localizada (LCP) para abordar esto mediante el pesaje de ejemplos de calibración basados en su similitud con la muestra de prueba, su aplicación se ha restringido en gran medida a tareas de regresión y conjuntos de datos sintéticos. La aplicación de LCP a la clasificación de imágenes, particularmente utilizando Modelos de Visión y Lenguaje (VLM), sigue estando poco explorada. Una cuestión abierta crítica es si la elección intuitiva de utilizar la similitud de coseno entre las características visuales en los espacios latentes de los VLM es suficiente para mejorar respecto a las bases no locales en tareas de clasificación.

2. Metodología

2.1 Marco y Configuración

Los autores aplican el marco LCP a tareas de clasificación utilizando VLM (específicamente modelos basados en CLIP con backbones ViT y CNN). El proceso implica:

1. Calibración: Se utiliza un conjunto de muestras de calibración para calcular las puntuaciones conformes.
2. Puntuación (Scoring): Se evalúan cuatro puntuaciones estándar de clasificación conforme:
   • TopK: Utiliza el rango de la clase verdadera en el vector de predicción.
   • LAC (Clasificador de conjuntos con valores de conjunto menos ambiguos): Utiliza $1 - \text{probabilidad de la clase verdadera}$.
   • APS (Conjuntos de Predicción Adaptativos): Utiliza la suma acumulada de las probabilidades ordenadas hasta la clase verdadera.
   • RAPS (APS Regularizado): Añade un término de penalización a APS para controlar el tamaño del conjunto.
3. Localización: En lugar de utilizar una distribución uniforme sobre las puntuaciones de calibración, LCP construye una distribución empírica ponderada basada en una función de localización $H(f_{test}, f_i)$, que asigna un mayor peso a las muestras de calibración similares a la muestra de prueba.

2.2 La Innovación Central: Transformación No Lineal de la Similitud de Coseno

El artículo investiga la función de localización $H$. En los VLM, la similitud de coseno entre los embeddings de imagen ($f_i^T f_j$) es una medida intuitiva de la similitud visual. Los autores prueban dos enfoques:

1. Enfoque Naive (Ingenuo): Utilizar la similitud de coseno bruta directamente como el peso del localizador ($H = f_i^T f_j$).
2. Enfoque Propuesto: Aplicar una transformación sigmoide normalizada a la similitud de coseno:
   $$H(f_i, f_j) = \frac{1 + \exp(-m(1-\tau))}{1 + \exp(-m(f_i^T f_j - \tau))}$$
   donde $m > 0$ controla la pendiente y $\tau \in [0, 1]$ establece el punto de inflexión.

Los hiperparámetros $m$ y $\tau$ se ajustan mediante validación cruzada de 5 pliegues (5-fold cross-validation) en el conjunto de calibración para minimizar el tamaño promedio del conjunto de predicción. Los parámetros finales se derivan de la mediana de $m$ y la media de $\tau$ a través de los pliegues.

2.3 Diseño Experimental

• Conjuntos de Datos: Nueve conjuntos de datos diversos de clasificación de imágenes (SUN397, Aircraft, EuroSAT, StanfordCars, Food101, Pets, Flower102, DTD, UCF101).
• Modelos: Cuatro backbones de VLM (ViT-B/16, ViT-L/14, RN50, RN101).
• Métricas:
  • Eficiencia: Tamaño Medio del Conjunto (MSS, Mean Set Size).
  • Validez: Brecha de Cobertura (CovGap) y Cobertura Mínima Condicional por Clase (MCCC).
• Líneas Base (Baselines): Métodos de CP no locales estándar utilizando las mismas puntuaciones.

3. Resultados Clave

3.1 Tamaño Medio del Conjunto (Eficiencia)

La transformación no lineal propuesta mejora significativamente la eficiencia en comparación tanto con las bases no locales como con el enfoque localizado naive.

• Rendimiento: El método propuesto logró una reducción estadísticamente significativa en los tamaños medios de los conjuntos para 9 de los 9 conjuntos de datos en 3 de los 4 backbones (ViT-B/16, ViT-L/14, RN50) cuando se comparó con la línea base no local TopK.
• Fallo del Enfoque Naive: El enfoque naive (usando la similitud de coseno bruta) a menudo degradó el rendimiento, aumentando significativamente los tamaños de los conjuntos en comparación con las líneas base no locales en varios casos (por ejemplo, DTD con ViT-B/16, UCF101 con RN50).
• Consistencia: La mejora se mantuvo a través de diferentes puntuaciones conformes (LAC, APS, RAPS), aunque la magnitud varió.

3.2 Métricas de Cobertura (Validez)

Los resultados respecto a la validez condicional fueron más matizados:

• CovGap: Los enfoques localizados (tanto el naive como el propuesto) produjeron valores de CovGap casi idénticos a las líneas base no locales en todos los conjuntos de datos y backbones. Esto sugiere que la localización por sí sola no es suficiente para minimizar la brecha de cobertura para la clasificación de imágenes con VLM.
• MCCC: Las mejoras en la cobertura del peor de los casos (MCCC) fueron inconsistentes. Si bien el método propuesto mejoró el MCCC en algunos casos específicos (por ejemplo, la puntuación LAC en Pets con ViT-B/16), degradó el rendimiento en otros (por ejemplo, la puntuación TopK en el mismo conjunto de datos).

4. Contribuciones

El artículo realiza tres contribuciones principales:

1. LCP para Clasificación: Evalúa LCP para la clasificación de imágenes utilizando VLM y demuestra que el uso intuitivo de la similitud de coseno es subóptimo. Propone una simple transformación sigmoide no lineal para mejorar la efectividad del localizador.
2. Evaluación Exhaustiva (Benchmarking): Proporciona una evaluación exhaustiva a través de nueve conjuntos de datos diversos y cuatro backbones de VLM, mostrando que el método propuesto reduce consistentemente los tamaños promedio de los conjuntos de predicción.
3. Implementación de Código Abierto: Los autores lanzan la primera implementación de código abierto de LCP para clasificación, diseñada para ser compatible con una amplia gama de conjuntos de datos y modelos.

5. Significado y Reivindicaciones

El artículo sostiene que, si bien LCP es un marco prometedor para adaptar los conjuntos de predicción a las propiedades distributivas locales, su éxito en las tareas de clasificación con VLM depende altamente del diseño de la función de localización.

• Hallazgo Clave: La intuición "naive" de usar la similitud de coseno bruta en el espacio latente visual es insuficiente e incluso puede ser perjudicial para la eficiencia.
• Solución: Una transformación sigmoide simple y ajustable de estas similitudes es necesaria para lograr reducciones estadísticamente significativas en los tamaños de los conjuntos de predicción manteniendo las garantías de cobertura marginal.
• Limitación: Los autores señalan modestamente que, aunque la eficiencia mejora, el método no resuelve actualmente el problema de las disparidades de cobertura condicional (CovGap) para este escenario específico, ya que la brecha de cobertura permanece similar a las líneas base no locales.

El trabajo tiene como objetivo facilitar el despliegue de la predicción conforme localizada en aplicaciones del mundo real al proporcionar una herramienta robusta de código abierto y aclarar los pasos de preprocesamiento necesarios para la clasificación basada en VLM.