From Local Geometry to Global Pseudo Labeling for Robust Positive Unlabeled Learning under Covariate Shift

Resumen Técnico: De la Geometría Local al Etiquetado Pseudo-Etiquetado Global para el Aprendizaje de Positivo-No Etiquetado Robusto bajo Desplazamiento de Covariables

Planteamiento del Problema
La detección del desplazamiento de covariables (covariate shift)—donde la distribución de entrada $P(X)$ cambia mientras que la función de etiquetado condicional $P(Y|X)$ permanece constante—es crítica para el despliegue de sistemas de visión fiables. Mientras que la investigación existente se centra intensamente en la adaptación de dominio o la generalización, la detección explícita de tales desplazamientos sigue estando poco explorada. Los métodos de detección actuales son predominantemente totalmente supervisados, lo que requiere ejemplos etiquetados tanto de la distribución original (en distribución) como de las distribuciones desplazadas. Este requisito suele ser poco práctico, particularmente cuando las muestras negativas (desplazadas) no están disponibles o son costosas de curar.

Además, aplicar el aprendizaje estándar de Positivo–No Etiquetado (PU) directamente a la detección de desplazamiento de covariables es problemático. Los métodos clásicos de PU dependen de estimadores de riesgo no sesgados que asumen una separabilidad suficiente entre las distribcciones positivas y negativas. Sin embargo, bajo el desplazamiento de covariables, los datos en distribución y los desplazados suelen solaparse significativamente en el espacio de características. Este solapamiento resulta en una distancia de variación total pequeña y un riesgo bayesiano intrínseco elevado, lo que provoca que la estimación del riesgo global se vuelva inestable y sensible al ruido.

Metodología: S-PUNA
Para abordar estos desafíos, los autores proponen Spectral PU Neighborhood Annotation (S-PUNA), un marco sensible a la geometría que aprovecha la estructura de variedad (manifold) local de las características visuales para descubrir progresivamente datos desplazados sin requerir supervisión global.

1. Expansión de la Variedad Local:
   A diferencia de los enfoques clásicos de k-NN-PU que solo propagan etiquetas positivas, S-PUNA construye simétricamente conjuntos de anclaje tanto positivos como negativos. Partiendo de un espacio de características de un Vision Transformer (ViT) preentrenado (específicamente el sexto bloque, elegido por su sensibilidad a los matices geométricos), el método inicializa conjuntos con etiquetas pseudo-etiquetadas basadas en puntuaciones de distancia desde el dominio positivo. Luego, expande iterativamente estos conjuntos identificando muestras que son estadísticamente inconsistentes con el soporte positivo actual pero consistentes con la variedad negativa emergente.

2. Propagación Simétrica:
   En cada iteración, el algoritmo calcula las distancias medias de las muestras candidatas a sus $k$-vecinos más cercanos en ambos los bancos positivos y negativos actuales. Un mecanismo de puntuación clasifica a los candidatos para expandir el conjunto positivo (muestras cercanas a los positivos) y el conjunto negativo (muestras alejadas de los positivos pero que forman un clúster coherente). Este proceso iterativo refina la frontera de decisión mediante el descubrimiento progresivo de la variedad negativa.

3. Criterio de Parada de Entropía Espectral:
   Un desafío crítico en el pseudo-etiquetado iterativo es la "deriva semántica" (semantic drift), donde el algoritmo incorpora erróneamente muestras en distribución al conjunto negativo. S-PUNA introduce un novedoso criterio de parada basado en la entropía espectral. Al monitorear la distribución de valores propios de la matriz de covarianza del conjunto negativo descubierto, el método mide su dimensionalidad intrínseca y complejidad estructural.

   • Base Teórica: Los autores demuestran (Lema 1) que a medida que el conjunto negativo se contamina con muestras positivas, la entropía espectral disminuye estrictamente.
   • Mecanismo: El proceso de expansión se detiene cuando la entropía espectral se estabiliza o disminuye, indicando que la variedad negativa ha sido capturada suficientemente sin invadir las regiones de solapamiento.

4. Destilación de Conocimiento:
   Una vez que la expansión iterativa converge, la estructura de vecindario no paramétrica se destila en un clasificador de Red Neuronal Profunda (DNN) paramétrico. Este paso suaviza la frontera de decisión, reduciendo la varianza mientras preserva la separación geométrica local descubierta durante la fase de PU.

Contribuciones Clave

• Formulación de Problema Novedosa: El artículo es el primero en investigar sistemáticamente la detección de desplazamiento de covariables a través de la lente del aprendizaje de Positivo–No Etiquetado (PU), proporcionando información teórica sobre por qué la minimización del riesgo PU global falla bajo un solapamiento significativo.
• Marco S-PUNA: Introducción de un marco de pseudo-etiquetado sensible a la geometría que descubre progresivamente las distribuciones desplazadas mediante la expansión de variedades locales en lugar de la estimación de riesgo global.
• Criterio de Entropía Espectral: Un mecanismo de parada principista que detecta la contaminación temprana y evita la deriva del pseudo-etiquetado, justificado teóricamente por la relación entre la entropía espectral y la contaminación de la mezcla.
• Benchmarks y Rendimiento: Los autores establecen nuevos benchmarks de desplazamiento de covariables y demuestran que S-PUNA alcanza un rendimiento de vanguardia en entornos PU, igualando notablemente el rendimiento de los métodos totalmente supervisados.

Resultados Experimentales
Los autores evaluaron S-PUNA a través de tres benchmarks principales: ImageNet-1K, TinyImageNet y EuroSAT, cubriendo tanto desplazamientos "cercanos" (cambios distributivos sutiles, ej., ImageNet-V2, GenImage) como desplazamientos "lejanos" (corrupciones severas o estilización, ej., ImageNet-C, ImageNet-R).

• Rendimiento: S-PUNA superó consistentemente a las líneas base de PU clásicas (ej., Dist-PU, DC-PU, saPU, LaGAM). En escenarios de desplazamiento cercano en ImageNet-1K, S-PUNA alcanzó un AUROC del 97.89%, superando a la línea base más fuerte (Dist-PU con 84.48%) por más de un 13% y reduciendo la Tasa de Falsos Positivos en un TPR del 95% (FPR95) del 35.05% al 9.69%.
• Comparación con Métodos Supervisados: En varios entornos, S-PUNA se acercó al rendimiento de los clasificadores totalmente supervisados, que sirven como límite superior. Por ejemplo, en ImageNet-C, S-PUNA logró un AUROC del 98.51%, casi igualando la línea base supervisada.
• Robustez: El método demostró una fuerte generalización a través de diferentes tipos de desplazamiento y tamaños de dataset (TinyImageNet, EuroSAT), manteniendo una alta estabilidad donde otros métodos de PU exhibieron brechas de rendimiento significativas entre desplazamientos cercanos y lejanos.
• Líneas Base No Supervisadas: El artículo también destaca que los métodos de detección de anomalías y de OOD puramente no supervisados (ej., ReAct, PatchCore) tienen dificultades significativas con los desplazamientos de covariables cercanos, a menudo rindiendo cerca de lo aleatorio, mientras que S-PUNA aprovecha eficazmente la supervisión débil para superarlos.

Significado y Reivindicaciones
El artículo argumenta que las señales estrictamente supervisadas no son un prerrequisito para una detección de desplazamiento de covariables fiable. Al aprovechar eficazmente la estructura geométrica intrínseca de las representaciones de características, el aprendizaje PU débilmente supervisado puede lograr un rendimiento altamente robusto y de vanguardia. Este trabajo cierra la brecha entre las limitaciones teóricas de la estimación de riesgo PU global bajo solapamiento y las necesidades prácticas de detección, ofreciendo una solución escalable para aplicaciones del mundo real donde los datos desplazados etiquetados no están disponibles. Los autores enfatizan que su enfoque es particularmente efectivo en regímenes de "desplazamiento cercano", que son típicamente los más desafiantes para los detectores no supervisados existentes.