Resumen Técnico: Predicción Conforme Auditada para Clasificación bajo Desplazamiento de Distribución Desconocido

Planteamiento del Problema

El artículo aborda el desafío de la cuantificación de la incertidumbre para modelos de clasificación preentrenados ("legados") desplegados en entornos sujetos a desplazamientos de distribución desconocidos. Mientras que la predicción conforme estándar garantiza la cobertura marginal (es decir, que la etiqueta real está contenida en el conjunto de predicción con una probabilidad de $1-\alpha$ en promedio sobre la población), este guarantee suele ocultar fallos condicionales severos. Específicamente, cuando las distribuciones de entrenamiento y de destino difieren, los métodos estándar pueden producir conjuntos de predicción excesivamente conservadores para algunos inputs, mientras que sistemáticamente sub-cubren otros (por ejemplo, muestras donde el modelo legado es propenso a fallar).

Los enfoques existentes para mitigar esto requieren o bien el reentrenamiento del modelo (lo cual es intensivo en recursos y a menudo subóptimo con datos etiquetados limitados) o bien dependen de supuestos sobre la naturaleza del desplazamiento de la distribución. Los autores señalan que, si bien el reentrenamiento es intuitivo, puede ser ineficiente cuando los nuevos datos etiquetados son escasos en comparación con los conjuntos de datos históricos. Además, los métodos conformes estándar no distinguen inherentemente entre muestras "fáciles" y "difíciles" bajo el desplazamiento, lo que conduce a conjuntos de predicción poco informativos precisamente donde la fiabilidad es más necesaria.

Metodología: Predicción Conforme Auditada (ACP)

La solución propuesta, Predicción Conforme Auditada (ACP), introduce un modelo de auditoría auxiliar para identificar los inputs donde es probable que el modelo legado falle, sin requerir el reentrenamiento del modelo legado ni supuestos sobre la estructura del desplazamiento.

Componentes Principales

1. El Modelo de Auditoría ($\hat{r}$): Un clasificador binario entrenado en un pequeño subconjunto de datos de destino etiquetados. Su tarea es predecir la corrección de la predicción puntual ($f_0$) del modelo legado para un input $X$ dado.

   • Entrenamiento: El modelo de auditoría se entrena para predecir la etiqueta binaria $R_i = \mathbb{1}[f_0(X_i) = Y_i]$ utilizando características derivadas del input $X_i$ y señales del modelo legado (por ejemplo, probabilidades softmax, entropía, distancias de embeddings).
   • Concepto de Oráculo: Teóricamente, el método depende de un modelo de auditoría oráculo $r^*(x) = P(f_0(X)=Y | X=x)$, que representa la verdadera fiabilidad condicional del modelo legado.

2. Estrategias de Integración: El artículo propone dos estrategias complementarias para integrar el modelo de auditoría en el marco conforme:

   • Estrategia 1: ACP con Cobertura Marginal (ACP-MC)

     • Mecanismo: El modelo de auditoría $\hat{r}$ se utiliza para refinar la estimación de la distribución de etiquetas condicional del modelo legado. Para clasificación binaria, si $f_0(x)=1$, la probabilidad estimada es $(\hat{r}(x), 1-\hat{r}(x))$; de lo contrario, es $(1-\hat{r}(x), \hat{r}(x))$.
     • Objetivo: Esta distribución refinada se utiliza para calcular los puntajes de no conformidad. El método garantiza la cobertura marginal estándar ($1-\alpha$) mientras mejora empíricamente la cobertura condicional al adaptar el tamaño del conjunto de predicción según la fiabilidad estimada del input.

   • Estrategia 2: ACP con Cobertura Condicional Auditada (ACP-ACC/AEC)

     • Mecanismo: Este enfoque apunta explícitamente a la cobertura condicional de grupo. El espacio de características se particiona basándose en la salida del modelo de auditoría (por ejemplo, mediante el agrupamiento de $\hat{r}(x)$ en grupos de alta y baja confianza).
     • Objetivo: Fuerza garantías de cobertura condicionadas a estos grupos definidos por la auditoría. El artículo establece un teorema de muestra finita que muestra que, si el modelo de auditoría estima consistentemente el oráculo de fiabilidad, el método logra garantías de cobertura para los verdaderos grupos de fiabilidad, con el error acotado por la discrepancia entre los grupos de auditoría estimados y los reales.

3. ACP Adaptativo (AACP): Un procedimiento basado en datos que selecciona de forma adaptativa entre ACP y un baseline reentrenado. Divide los datos de calibración para evaluar qué método produce una mayor cobertura condicional en los grupos "no fiables" (identificados por el modelo de auditoría) y selecciona al ganador.

Contribuciones Clave

• Marco Novedoso: La introducción de ACP, que aprovecha un pequeño conjunto de datos de destino etiquetados para entrenar un modelo de auditoría que predice el fallo del modelo legado, en lugar de reentrenar el modelo legado mismo.
• Garantías Teóricas:
  • Prueba de que ACP-MC mantiene las garantías de cobertura marginal.
  • Derivación de un límite de muestra finita para ACP-ACC, demostrando que la cobertura condicional se aproxima a la garantía del oráculo a medida que el error de estimación del modelo de auditoría desaparece.
• Eficiencia Práctica: El método evita el costo computacional del reentrenamiento completo del modelo y la necesidad de grandes volúmenes de datos asociada al ajuste fino de modelos complejos, lo que lo hace adecuado para escenarios con datos etiquetados nuevos limitados.
• Validación Empírica: Experimentos extensos con datos sintéticos (que cubren cambio de concepto, cambio de covariable y ruido de etiquetas) y conjuntos de datos del mundo real (Camelyon17 y CIFAR-10/CIFAR-10-C) demuestran que las variantes de ACP logran una cobertura condicional significativamente mayor en muestras difíciles en comparación con la predicción conforme estándar, AdaTS (Escalamiento de Temperatura Adaptativo) y los baselines de reentrenamiento, sin inflar el tamaño promedio de los conjuntos de predicción.

Resultados

• Datos Sintéticos: En escenarios de incertidumbre intrínseca de etiquetas (cambio de concepto) o un aumento en la proporción de muestras difíciles (cambio de covariable), los métodos estándar y el reentrenamiento a menudo fallan al distinguir entre muestras fáciles y difíciles, lo que conduce a una sub-cobertura en los bins difíciles. Las variantes de ACP logran asignar conjuntos de predicción más grandes a las muestras difíciles y más pequeños a las fáciles, alcanzando una cobertura condicional casi perfecta en los bins difíciles mientras mantienen tamaños de conjunto promedio compactos.
• Datos del Mundo Real: En Camelyon17 (histopatología) y CIFAR-10-C (imágenes corruptas), ACP superó consistentemente a los baselines en cobertura condicional a través de los bins de fiabilidad. Mientras que el reentrenamiento a menudo producía conjuntos excesivamente conservadores que fallaban en diferenciar los niveles de fiabilidad, ACP mantuvo tamaños de conjunto informativos.
• Compromisos (Trade-offs): Los experimentos resaltan un compromiso entre las garantías condicionales estrictas y el tamaño del conjunto. ACP-ACC (que impone cobertura sobre múltiples grupos superpuestos) es el más conservador pero ofrece las garantías condicionales más fuertes, mientras que ACP-MC ofrece un equilibrio con tamaños de conjunto más pequeños.

Significado y Reivindicaciones

El artículo afirma que ACP proporciona un enfoque práctico y estadísticamente fundamentado para la clasificación consciente de la incertidumbre bajo desplazamientos de distribución arbitrarios. Su principal significancia radica en su capacidad para mejorar la cobertura condicional —asegurando la fiabilidad donde más importa— sin los requisitos prohibitivos de datos del reentrenamiento de modelos complejos.

Los autores enfatizan que su contribución no es el diseño de un nuevo procedimiento de aprendizaje para el modelo de auditoría (que puede ser cualquier clasificador estándar), sino la integración de las predicciones de auditoría en el marco conforme. Esto permite una medida de fiabilidad directa que no requiere acceso a los datos de entrenamiento originales ni supuestos sobre el mecanismo de desplazamiento.

El artículo concluye de manera modesta, reconociendo que la efectividad del método depende de la calidad del modelo de auditoría, lo cual puede ser un desafío en regímenes de muy pocos datos. El trabajo futuro sugerido por los autores incluye extensiones más eficientes en términos de datos (por ejemplo, mediante métodos de validación cruzada conforme) y adaptaciones para entornos online o de streaming.