Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score

El artículo presenta SemiCP, un nuevo marco de predicción conformada semi-supervisado que utiliza puntuaciones de no conformidad basadas en la coincidencia de vecinos más cercanos (NNM) para aprovechar datos no etiquetados y reducir significativamente la brecha de cobertura cuando los datos etiquetados son escasos.

Lo esencial

¡Claro que sí! Imagina que estás en un restaurante muy popular y quieres saber si la comida es buena. Tienes dos opciones: pedirle a un amigo experto que pruebe todo (datos etiquetados) o simplemente mirar qué comen los demás clientes (datos no etiquetados).

Este artículo presenta una nueva forma de hacer "pronósticos" en inteligencia artificial llamada SemiCP, que es como una receta maestra para que las máquinas sean más honestas y seguras al tomar decisiones, incluso cuando tienen muy poca información de expertos.

Aquí te lo explico paso a paso con analogías sencillas:

1. El Problema: El "Comité de Expertos" Muy Pequeño

Imagina que quieres predecir el clima. Tienes un pequeño grupo de meteorólogos expertos (datos etiquetados) que te dicen: "Mañana lloverá". Pero, ¿qué tan seguros están?

• El problema actual: Si solo tienes a 5 meteorólogos, sus opiniones pueden variar mucho de un día a otro. A veces dirán "llueve seguro" y otras "no llueve nada". Es inestable.
• En el mundo de la Inteligencia Artificial, esto se llama Conformal Prediction. Es una técnica que dice: "No solo te doy una respuesta, te doy un grupo de respuestas posibles y te aseguro que la correcta está ahí con un 90% de probabilidad".
• Pero, si tienes pocos expertos (pocos datos etiquetados), esa garantía del 90% es muy inestable. A veces es 95%, a veces 70%. ¡Es como un reloj que a veces va rápido y a veces lento!

2. La Solución: Usar a la "Multitud" (Datos No Etiquetados)

El equipo de investigadores se dio cuenta de que, aunque no tienen muchos expertos, tienen miles de personas en la calle que miran el cielo pero no saben si lloverá (datos no etiquetados).

• La idea genial: ¿Por qué no usar a esa multitud para ayudar a calibrar al pequeño grupo de expertos?
• Introducen un método llamado SemiCP. Es como si el meteorólogo líder dijera: "Oye, tengo 5 expertos, pero tengo 4,000 personas mirando el cielo. Vamos a usar sus observaciones para afinar nuestra predicción".

3. El Truco Mágico: "El Vecino Más Cercano" (NNM)

Aquí viene la parte más interesante. ¿Cómo leemos la mente de las personas que no saben si lloverá? No podemos preguntarles directamente.

• El problema: Si le preguntamos a una persona al azar, probablemente adivine mal.
• La solución (NNM - Emparejamiento de Vecinos): Imagina que tienes una persona en la calle (datos no etiquetados) que lleva un paraguas rojo y mira hacia el norte. Buscas en tu grupo de expertos a alguien que también lleve un paraguas rojo y mire hacia el norte.
  • Si ese experto sabe que "con paraguas rojo y mirando al norte, llueve el 80% de las veces", le dices a la persona de la calle: "Tú eres muy parecida a ese experto, así que tu predicción debe ser similar".
• En términos técnicos, el algoritmo busca el "vecino" en los datos etiquetados que se parece más al dato no etiquetado y usa la experiencia de ese experto para corregir la predicción del desconocido.

4. ¿Qué Logran con Esto?

Al usar esta técnica de "vecinos", consiguen dos cosas increíbles:

1. Estabilidad: Ya no importa si tienes 10 expertos o 100. La predicción siempre es confiable. Es como tener un termómetro que siempre marca la temperatura correcta, sin importar si hace frío o calor.
2. Precisión: Antes, para estar seguros, el sistema tenía que dar una lista enorme de posibilidades (ej: "Mañana puede llover, nevar, o salir el sol"). Ahora, gracias a la ayuda de la multitud, puede decir: "Mañana lloverá" con mucha más certeza, dando una lista de opciones más corta y útil.

En Resumen

Imagina que estás adivinando el resultado de un partido de fútbol.

• Sin SemiCP: Solo tienes a 2 amigos que saben de fútbol. A veces aciertan, a veces se equivocan, y sus predicciones cambian mucho.
• Con SemiCP: Tienes a esos 2 amigos, pero también escuchas a 10,000 personas en la plaza. Usas un sistema inteligente para encontrar a las personas de la plaza que piensan igual que tus amigos expertos y usas sus opiniones para afinar la predicción final.

El resultado: Tus predicciones son mucho más estables, confiables y precisas, incluso cuando tienes muy pocos expertos reales. ¡Es como tener un superpoder para convertir la incertidumbre en certeza!

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score" (Predicción Conformada Semi-Supervisada con Puntuación de No Conformidad No Etiquetada), estructurado según los puntos solicitados.

1. El Problema: Inestabilidad en la Predicción Conformada con Datos Limitados

La Predicción Conformada (CP) es un marco estadístico fundamental para la cuantificación de la incertidumbre, capaz de generar conjuntos de predicción con garantías de cobertura (es decir, la probabilidad de que la etiqueta verdadera esté dentro del conjunto predicho es al menos $1-\alpha$).

Sin embargo, el método estándar, Split Conformal Prediction, enfrenta un desafío crítico en escenarios del mundo real:

• Dependencia de datos etiquetados: Requiere un conjunto de calibración etiquetado para estimar el umbral de corte.
• Inestabilidad en muestras pequeñas: Cuando la cantidad de datos etiquetados ($n$) es limitada (común en aplicaciones de alto riesgo como medicina o finanzas), la estimación del umbral se vuelve inestable.
• Consecuencias: Esto resulta en una brecha de cobertura (Coverage Gap) alta (desviación entre la cobertura empírica y la teórica) y conjuntos de predicción ineficientemente grandes o demasiado pequeños en diferentes ejecuciones. La varianza de la cobertura aumenta drásticamente a medida que $n$ disminuye.

2. Metodología: SemiCP y la Puntuación NNM

Los autores proponen SemiCP, un nuevo paradigma que integra datos no etiquetados en el proceso de calibración para estabilizar la estimación del umbral sin sacrificar la garantía de cobertura.

A. El Marco General (SemiCP)

En lugar de usar solo $n$ datos etiquetados, SemiCP utiliza un conjunto de calibración mixto compuesto por:

• $n$ ejemplos etiquetados.
• $N$ ejemplos no etiquetados.
  El objetivo es estimar el cuantil $(1-\alpha)$ utilizando ambos conjuntos, aumentando efectivamente el tamaño de la muestra de calibración a $n + N$.

B. El Núcleo Innovador: Puntuación de No Conformidad NNM

El desafío principal es calcular la puntuación de no conformidad para los datos no etiquetados, ya que se desconoce su etiqueta verdadera ($y$). Los autores introducen Nearest Neighbor Matching (NNM) (Emparejamiento de Vecino Más Cercano):

1. Puntuación Pseudo: Se utiliza un modelo pre-entrenado para generar una etiqueta pseudo ($\hat{y}$) para el dato no etiquetado $\tilde{x}$. La puntuación pseudo es $S(\tilde{x}, \hat{y})$.
2. Sesgo de la Pseudo-etiqueta: La puntuación pseudo suele estar sesgada sistemáticamente (generalmente subestimada) porque el modelo tiende a ser más confiado en su propia predicción que en la etiqueta real.
3. Corrección Local (NNM): En lugar de aplicar una corrección global, NNM busca en el conjunto de datos etiquetados el ejemplo $x_j$ cuya puntuación pseudo sea más similar a la del ejemplo no etiquetado $\tilde{x}$.
   • Se calcula el sesgo observado en el vecino etiquetado: $\Delta(x_j) = S(x_j, y_j) - S(x_j, \hat{y}_j)$.
   • Se aplica este sesgo local para corregir la puntuación del dato no etiquetado:
     $$\tilde{S}_{nnm}(\tilde{x}) = S(\tilde{x}, \hat{y}) + [S(x_j, y_j) - S(x_j, \hat{y}_j)]$$

Este enfoque permite aproximar la distribución real de las puntuaciones de no conformidad de los datos no etiquetados, alineando su distribución empírica con la de los datos verdaderos.

3. Contribuciones Clave

1. Nuevo Paradigma Semi-Supervisado: Presentación de SemiCP, el primer método que utiliza datos no etiquetados específicamente para mejorar la estabilidad y eficiencia de la calibración en CP, sin requerir reentrenamiento del modelo base (es training-free).
2. Función de Puntuación NNM: Desarrollo de una función de puntuación teóricamente fundamentada que corrige el sesgo de las pseudo-etiquetas mediante un emparejamiento local basado en la similitud de puntuaciones, garantizando la consistencia asintótica.
3. Análisis Teórico Riguroso:
   • Se demuestra que la brecha de cobertura promedio de SemiCP disminuye a una tasa de $O(1/\sqrt{N})$, donde $N$ es el número de datos no etiquetados.
   • Se prueba que el sesgo de cobertura introducido por el uso de datos no etiquetados es controlable y puede volverse despreciable si la función de puntuación NNM se ajusta bien.
4. Versatilidad: El método es compatible con funciones de puntuación existentes (THR, APS, RAPS) y se puede integrar con métodos condicionales (como ClusterCP) y técnicas de interpolación.

4. Resultados Experimentales

Los autores evaluaron SemiCP en tres conjuntos de datos de clasificación de imágenes: CIFAR-10, CIFAR-100 e ImageNet.

• Estabilidad y Precisión: Con solo 20 ejemplos etiquetados y 4,000 no etiquetados, SemiCP redujo la brecha de cobertura promedio en un 77% en comparación con el CP estándar.
• Eficiencia: El método logró conjuntos de predicción más pequeños (reducción del 5.7% en tamaño promedio en CIFAR-10) sin sacrificar la cobertura, acercándose al rendimiento de un "Oráculo" (que tendría acceso a las etiquetas reales de los datos no etiquetados).
• Robustez:
  • Funciona bien con diferentes arquitecturas de modelos (ResNet, ViT, EfficientNet, etc.).
  • Es efectivo en configuraciones condicionales (cobertura por clase o grupo).
  • Mantiene su superioridad incluso cuando los datos etiquetados provienen de una distribución desplazada (shift), utilizando los datos no etiquetados del dominio objetivo para recalibrar.
• Comparación con Baselines: Superó consistentemente a métodos que intentan corregir el sesgo globalmente o usar emparejamiento aleatorio, demostrando que la corrección local basada en la similitud de puntuaciones es crucial.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Solución al Escasez de Datos: Aborda directamente el problema de la falta de datos etiquetados en aplicaciones críticas, permitiendo una cuantificación de incertidumbre fiable incluso con conjuntos de calibración mínimos.
• Estabilidad Operativa: Mitiga la variabilidad aleatoria en las ejecuciones de CP, lo cual es vital para la confianza en sistemas de IA desplegados en producción.
• Eficiencia Computacional: A diferencia de otros métodos semi-supervisados que requieren optimización compleja o reentrenamiento, SemiCP es computacionalmente eficiente (complejidad logarítmica adicional) y fácil de implementar.
• Avance Teórico: Establece un vínculo teórico sólido entre el aprendizaje semi-supervisado y la inferencia conformada, demostrando que los datos no etiquetados pueden mejorar la garantía de cobertura si se utilizan correctamente para estimar la distribución de las puntuaciones.

En resumen, SemiCP transforma la limitación de los datos etiquetados en una oportunidad, utilizando la abundancia de datos no etiquetados para crear sistemas de predicción más robustos, estables y eficientes.