From Local Geometry to Global Pseudo Labeling for Robust Positive Unlabeled Learning under Covariate Shift

Résumé Technique : De la Géométrie Locale au Pseudo-Étiquetage Global pour un Apprentissage Positif-Non Étiqueté Robuste sous Décalage de Covariable

Énoncé du Problème
La détection du décalage de covariable (covariate shift) — où la distribution d'entrée $P(X)$ change tandis que la fonction de labellisation conditionnelle $P(Y|X)$ reste constante — est cruciale pour le déploiement de systèmes de vision fiables. Bien que la recherche actuelle se concentre fortement sur l'adaptation ou la généralisation de domaine, la détection explicite de tels décalages reste sous-explorée. Les méthodes de détection actuelles sont principalement supervisées, nécessitant des exemples étiquetés provenant à la fois de la distribution originale (en distribution) et de la distribution décalée. Cette exigence est souvent peu pratique, particulièrement lorsque les échantillons négatifs (décalés) sont indisponibles ou coûteux à constituer.

De plus, l'application directe de l'apprentissage classique Positif-Non Étiqueté (PU) à la détection de décalage de covariable est problématique. Les méthodes PU classiques reposent sur des estimateurs de risque non biaisés qui supposent une séparation suffisante entre les distributions positives et négatives. Cependant, sous un décalage de covariable, les données en distribution et les données décalées se chevauchent souvent de manière significative dans l'espace des caractéristiques. Ce chevauchement entraîne une faible distance de variation totale et un risque bayésien intrinsèque élevé, ce qui rend l'estimation du risque global instable et sensible au bruit.

Méthodologie : S-PUNA
Pour relever ces défis, les auteurs proposent S-PUNA (Spectral PU Neighborhood Annotation), un cadre sensible à la géométrie qui exploite la structure de variété locale des caractéristiques visuelles pour découvrir progressivement les données décalées sans nécessiter de supervision globale.

1. Expansion de la Variété Locale :
   Contra-irement aux approches k-NN-PU classiques qui ne propagent que les étiquettes positives, S-PUNA construit symétriquement des ensembles d'ancres positifs et négatifs. En partant d'un espace de caractéristiques de Vision Transformer (ViT) pré-entraîné (spécifiquement le 6ème bloc, choisi pour sa sensibilité aux nuances géométriques), la méthode initialise des ensembles pseudo-étiquetés basés sur des scores de distance par rapport au domaine positif. Elle expanse ensuite ces ensembles de manière itérative en identifiant les échantillons qui sont statistiquement incohérents avec le support positif actuel mais cohérents avec la variété négative émergente.

2. Propagation Symétrique :
   À chaque itération, l'algorithme calcule les distances moyennes des échantillons candidats à leurs $k$-plus proches voisins dans les banques positives et négatives actuelles. Un mécanisme de notation classe les candidats pour étendre l'ensemble positif (échantillons proches des positifs) et l'ensemble négatif (échantillons éloignés des positifs mais formant un groupe cohérent). Ce processus itératif affine la frontière de décision en découvrant progressivement la variété négative.

3. Critère d'Arrêt par Entropie Spectrale :
   Un défi critique dans le pseudo-étiquetage itératif est la « dérive sémantique » (semantic drift), où l'algorithme incorpore par erreur des échantillons en distribution dans l'ensemble négatif. S-PUNA introduit un nouveau critère d'arrêt basé sur l'entropie spectrale. En surveillant la distribution des valeurs propres de la matrice de covariance de l'ensemble négatif découvert, la méthode mesure sa dimensionnalité intrinsèque et sa complexité structurelle.

   • Base Théorique : Les auteurs prouvent (Lemme 1) qu'à mesure que l'ensemble négatif est contaminé par des échantillons positifs (dérive sémantique), l'entropie spectrale diminue strictement.
   • Mécanisme : Le processus d'expansion s'arrête lorsque l'entropie spectrale se stabilise ou diminue, indiquant que la variété négative a été suffisamment capturée sans envahir les régions de chevauchement.

4. Distillation de Connaissances :
   Une fois l'expansion itérative convergée, la structure de voisinage non paramétrique est distillée dans un classificateur de Réseau de Neurones Profonds (DNN) paramétrique. Cette étape lisse la frontière de décision, réduisant la variance tout en préservant la séparation géométrique locale découverte durant la phase PU.

Principales Contributions

• Nouvelle Formulation du Problème : Cet article est le premier à investiguer systématiquement la détection de décalage de covariable sous l'angle de l'apprentissage Positif-Non Étiqueté (PU), fournissant des perspectives théoriques sur les raisons pour lesquelles la minimisation du risque PU globale échoue lors de chevauchements importants.
• Cadre S-PUNA : Introduction d'un cadre de pseudo-étiquetage sensible à la géométrie qui découvre progressivement les distributions décalées via l'expansion de variétés locales plutôt que par l'estimation de risque globale.
• Critère d'Entropie Spectrale : Un mécanisme d'arrêt principalisé qui détecte la contamination précoce et empêche la dérive du pseudo-étiquetage, justifié théoriquement par la relation entre l'entropie spectrale et la contamination du mélange.
• Benchmarks et Performance : Les auteurs établissent de nouveaux benchmarks de décalage de covariable et démontrent que S-PUNA atteint des performances de pointe (state-of-the-art) dans les contextes PU, égalant remarquablement les performances des méthodes entièrement supervisées.

Résultats Expérimentaux
Les auteurs ont évalué S-PUNA à travers trois benchmarks principaux : ImageNet-1K, TinyImageNet et EuroSAT, couvrant à la fois les décalages « proches » (changements subtils de distribution, ex: ImageNet-V2, GenImage) et les décalages « lointains » (corruptions sévères ou stylisation, ex: ImageNet-C, ImageNet-R).

• Performance : S-PUNA a systématiquement surpassé les bases classiques de PU (ex: Dist-PU, DC-PU, saPU, LaGAM). Sur les scénarios de décalage proche d'ImageNet-1K, S-PUNA a atteint un AUROC de 97,89 %, dépassant la base la plus forte (Dist-PU à 84,48 %) de plus de 13 % et réduisant le taux de faux positifs à 95 % de vrais positifs (FPR95) de 35,05 % à 9,69 %.
• Comparaison aux Méthodes Supervisées : Dans plusieurs configurations, S-PUNA s'est approché des performances des classificateurs entièrement supervisés, qui servent de limite supérieure. Par exemple, sur ImageNet-C, S-PUNA a obtenu un AUROC de 98,51 %, égalant presque la base supervisée.
• Robustesse : La méthode a démontré une forte généralisation à travers différents types de décalages et tailles de jeux de données (TinyImageNet, EuroSAT), maintenant une grande stabilité là où les autres méthodes PU présentaient des écarts de performance significatifs entre les décalages proches et lointains.
• Baselines Non Supervisées : L'article souligne également que les méthodes de détection d'anomalies ou de hors-distribution (OOD) purement non supervisées (ex: ReAct, PatchCore) peinent considérablement avec les décalages de covariable proches, performant souvent proche du hasard, alors que S-PUNA exploite efficacement la supervision faible pour surmonter cela.

Signification et Revendications
L'article soutient que les signaux strictement supervisés ne sont pas un prérequis pour une détection fiable de décalage de covariable. En exploitant efficacement la structure géométrique intrinsèque des représentations de caractéristiques, l'apprentissage PU faiblement supervisé peut atteindre des performances robustes et de pointe. Ce travail comble le fossé entre les limites théoriques de l'estimation de risque PU globale sous chevauchement et les besoins pratiques de détection, offrant une solution scalable pour des applications réelles où les données décalées étiquetées sont indisponibles. Les auteurs soulignent que leur approche est particulièrement efficace dans les régimes de « décalage proche », qui sont typiquement les plus difficiles pour les détecteurs non supervisés existants.