Resumen Técnico: Predicción Conformal Bayesiana Empírica para Modelos de Visión y Lenguaje

Enunciado del Problema

La Predicción Conformal (CP) ofrece un marco libre de distribuciones para generar conjuntos de predicción con cobertura garantizada para modelos modernos de visión y lenguaje. Sin embargo, la CP estándar se basa en una única realización de una puntuación de no conformidad para clasificar candidatos. Este enfoque ignora la incertidumbre epistémica y la variabilidad de las puntuaciones derivadas de los parámetros del modelo, el azar en el entrenamiento o la formulación de las indicaciones (prompts).

Cuando múltiples etiquetas o respuestas candidatas reciben puntuaciones similares, pequeñas fluctuaciones pueden alterar drásticamente su orden de clasificación. En consecuencia, la CP estándar puede incluir candidatos falsos de alta varianza en el conjunto de predicción simplemente porque una única realización ruidosa los hizo parecer fuertes, mientras excluye candidatos estables que tuvieron una puntuación ligeramente inferior pero más consistente. Las alternativas existentes, como "promediar-luego-calibrar" (CPprom), suavizan esta variabilidad promediando las puntuaciones antes de la calibración, descartando así información sobre la estabilidad de la clasificación de un candidato. El problema central es que los métodos CP actuales no utilizan la variabilidad de las puntuaciones como señal para distinguir entre evidencia estable y fluctuaciones impulsadas por el ruido, lo que conduce a conjuntos conformales menos eficientes (más grandes) y menos estables.

Metodología: El Marco del Valor $r$

Los autores proponen CPvalor-r, un marco de Predicción Conformal Bayesiana Empírica que convierte la variabilidad de las puntuaciones en una puntuación de no conformidad informada por la incertidumbre llamada valor-$r$.

Concepto Central

En lugar de clasificar candidatos basándose únicamente en una puntuación observada $f(x)_i$, el método trata la clasificación como un problema Bayesiano Empírico. Asume que cada candidato tiene una puntuación latente no observada $\theta_i$ (la señal estable) y una puntuación observada $f(x)_i$ que es una realización ruidosa de $\theta_i$. El valor-$r$ mide la probabilidad de que la puntuación latente de un candidato pertenezca al grupo de mayor rango, teniendo en cuenta tanto la puntuación estimada como su incertidumbre.

Estimadores

El marco proporciona dos estimadores para el valor-$r$:

1. Paramétrico (Modelo Normal-Normal): Asume que las puntuaciones latentes siguen una distribución normal y que el ruido de observación es Gaussiano. Esto produce una expresión de forma cerrada para el valor-$r$. Modela explícitamente la compensación entre la magnitud de la puntuación y la varianza, contrayendo las puntuaciones de alta varianza hacia la media empírica.
2. No paramétrico (Muestreo Posterior): Un estimador de Monte Carlo sin suposiciones. Clasifica candidatos a través de múltiples muestras posteriores (por ejemplo, de conjuntos de modelos, MC-dropout o parafraseo de indicaciones) y calcula la frecuencia con la que un candidato aparece en las primeras $k$ posiciones. Esta frecuencia sirve como la probabilidad de cola empírica, que luego se convierte en un valor-$r$.

Algoritmo

1. Estimación de Variabilidad: Generar múltiples salidas del modelo (por ejemplo, mediante adaptadores de Bootstrap Bayesiano Ponderado para modelos de visión o parafraseo de indicaciones para VLMs/LLMs) para estimar la distribución de puntuaciones para cada candidato.
2. Calibración: Calcular los valores-$r$ para las etiquetas verdaderas en un conjunto de calibración. Determinar el umbral $\hat{r}$ como el valor-$r$ más pequeño en la posición $\lceil(n+1)(1-\alpha)\rceil$.
3. Predicción: Para una entrada de prueba, calcular los valores-$r$ para todos los candidatos. Incluir en el conjunto de predicción los candidatos con $r(x, u_j) < \hat{r}$.

Contribuciones Clave

• Garantía Teórica: Bajo intercambibilidad, el uso del valor-$r$ como puntuación de no conformidad preserva la garantía de cobertura conformal objetivo ($1-\alpha$).
• Mejora de Eficiencia: Teóricamente, el valor-$r$ reduce la probabilidad de inclusión de candidatos falsos de alta varianza en comparación con la CP estándar y CPprom. Esto conduce a tamaños de conjuntos de predicción esperados más pequeños, particularmente cuando la variabilidad es informativa.
• Marco Unificado: El método unifica enfoques paramétricos y no paramétricos, permitiendo su aplicación a diversos tipos de puntuaciones (logits, probabilidades, puntuaciones de evaluadores discretos) y arquitecturas de modelos (ViTs, CLIP, LLMs).
• Estabilidad de Clasificación: Al penalizar candidatos con alta varianza de puntuación, el método produce clasificaciones más estables, asegurando que los candidatos que aparecen consistentemente cerca de la cima sean priorizados sobre aquellos con puntuaciones altas esporádicas.

Resultados Experimentales

Los autores evaluaron CPvalor-r en clasificación de imágenes, Modelos de Visión-Lenguaje (VLMs) y Modelos de Lenguaje Grande (LLMs).

• Modelos de Visión (Clasificación de Imágenes): Utilizando modelos ViT y ResNet con adaptadores de Bootstrap Bayesiano Ponderado (WBB) para aproximar la variabilidad posterior.
  • Cuando la variabilidad es pequeña (backbone fuerte, adaptadores ligeros), CPvalor-r se comporta de manera similar a la CP estándar, preservando la cobertura y el tamaño del conjunto.
  • Cuando la variabilidad es informativa, CPvalor-r produce conjuntos más pequeños y estables, a menudo clasificando la clase verdadera más alto dentro del conjunto que la CP estándar.
• VLMs y LLMs (CLIP, SigLIP, MobileCLIP, LLaMA): La variabilidad se indujo mediante parafraseo de indicaciones.
  • Cobertura: CPvalor-r mantuvo una cobertura cercana al nivel nominal (por ejemplo, 95% para $\alpha=0.05$).
  • Tamaño del Conjunto: Se observaron reducciones significativas en el tamaño del conjunto. Por ejemplo, en ImageNet, CPvalor-r redujo el tamaño promedio del conjunto en casi la mitad en comparación con la CP estándar.
  • Tendencia de Fortaleza del Modelo: Las ganancias de eficiencia fueron más pronunciadas para modelos con menor precisión y mayor variabilidad inherente (por ejemplo, SigLIP2). A medida que aumentó la precisión del modelo y disminuyó la variabilidad (por ejemplo, MobileCLIP2), las ganancias disminuyeron y el método regresó naturalmente a un comportamiento similar a CP, consistente con las predicciones teóricas.
  • Tareas de Respuesta Abierta: En tareas de LLM con puntuaciones de evaluadores gruesas (por ejemplo, TruthfulQA), el valor-$r$ rompió con éxito los empates entre respuestas con puntuaciones promedio idénticas aprovechando la estabilidad de las puntuaciones a través de parafraseos, proporcionando una resolución de clasificación más fina.

Significado y Afirmaciones

El artículo afirma que CPvalor-r transforma una debilidad percibida de los modelos grandes, su inconsistencia o variabilidad, en una señal útil para la eficiencia conformal.

• Robustez: Proporciona un método para construir conjuntos de predicción que no solo son estadísticamente válidos, sino también más eficientes al filtrar candidatos inestables impulsados por el ruido.
• Practicidad: El marco es aplicable tanto a dominios de visión como de lenguaje, utilizando técnicas existentes para la estimación de incertidumbre (adaptadores, conjuntos, variaciones de indicaciones) sin requerir el reentrenamiento de los modelos base.
• Limitaciones: Los autores señalan que la efectividad del método depende de la calidad de la estimación de la variabilidad. Si la variabilidad estimada es deficiente o negligible (como en modelos altamente estables), los beneficios son modestos. Además, el método introduce una sobrecarga computacional para generar múltiples muestras, aunque esto a menudo es factible mediante adaptadores ligeros o inferencia paralela.

En resumen, CPvalor-r ofrece una manera principista de integrar la incertidumbre epistémica en la predicción conformal, produciendo conjuntos de predicción más pequeños, estables y confiables para sistemas de IA modernos.