From Local Geometry to Global Pseudo Labeling for Robust Positive Unlabeled Learning under Covariate Shift

Sintesi Tecnica: Dalla Geometria Locale alla Pseudo-Etichettatura Globale per l'Apprendimento Robusto tra Positivo e Non Etichettato sotto Covariate Shift

Definizione del Problema
Rilevare il covariate shift — ovvero quando la distribuzione degli input $P(X)$ cambia mentre la funzione di etichettatura condizionale $P(Y|X)$ rimane costante — è fondamentale per l'implementazione di sistemi di visione affidabili. Mentre la ricerca esistente si concentra pesantemente sull'adattamento del dominio o sulla generalizzazione, il rilevamento esplicito di tali shift rimane poco esplorato. Gli attuali metodi di rilevamento sono prevalentemente completamente supervisionati, richiedendo esempi etichettati sia dalle distribuzioni originali (in-distribution) che da quelle spostate (shifted). Questo requisito è spesso impraticabile, in particolare quando i campioni negativi (shifted) non sono disponibili o sono costosi da curare.

Inoltre, applicare direttamente l'apprendimento standard Positive–Unlabeled (PU) al rilevamento del covariate shift è problematico. I classici metodi PU si basano su stimatori di rischio non distorti che assumono una sufficiente separabilità tra le distribuzioni positive e negative. Tuttavia, sotto covariate shift, i dati in-distribution e quelli shifted spesso si sovrappongono significativamente nello spazio delle caratteristiche. Questa sovrapposenza risulta in una piccola distanza di variazione totale e in un alto rischio Bayesiano intrinseco, causando l'instabilità della stima del rischio globale e una sensibilità al rumore.

Metodologia: S-PUNA
Per affrontare queste sfide, gli autori propongono S-PUNA (Spectral PU Neighborhood Annotation), un framework consapevole della geometria che sfrutta la struttura del manifold locale delle caratteristiche visive per scoprire progressivamente i dati shifted senza richiedere una supervisione globale.

1. Espansione del Manifold Locale:
   A differenza dei classici approcci k-NN-PU che propagano solo le etichette positive, S-PUNA costruisce simmetricamente sia l'insieme di ancoraggio positivo che quello negativo. Partendo da uno spazio di caratteristiche di un Vision Transformer (ViT) pre-addestrato (specificamente dal 6° blocco, scelto per la sua sensibilità alle sfumature geometriche), il metodo inizializza gli insiemi con pseudo-etichette basandosi su punteggi di distanza dai domini positivi. Successivamente, espande iterativamente questi insiemi identificando i campioni che sono statisticamente incoerenti con il supporto positivo attuale ma coerenti con il manifold negativo emergente.

2. Propagazione Simmetrica:
   In ogni iterazione, l'algoritmo calcola le distanze medie per i campioni candidati rispetto ai loro $k$-vicini più prossimi in entrambi i bank (positivo e negativo) attuali. Un meccanismo di punteggio classifica i candidati per espandere l'insieme positivo (campioni vicini ai positivi) e l'insieme negativo (campioni lontani dai positivi ma che formano un cluster coerente). Questo processo iterativo affina il confine decisionale scoprendo progressivamente il manifold negativo.

3. Criterio di Arresto basato sull'Entropia Spettrale:
   Una sfida critica nell'etichettatura pseudo-iterativa è il "drift semantico" (semantic drift), in cui l'algoritmo incorpora erroneamente campioni in-distribution nel set negativo. S-PUNA introduce un nuovo criterio di arresto basato sull'entropia spettrale. Monitorando la distribuzione degli autovalori della matrice di covarianza del set negativo scoperto, il metodo misura la sua dimensionalità intrinseca e la complessità strutturale.

   • Base Teorica: Gli autori dimostrano (Lemma 1) che man mano che il set negativo viene contaminato da campioni positivi (drift semantico), l'entropia spettrale diminuisce strettamente.
   • Meccanismo: Il processo di espansione si interrompe quando l'entropia spettrale si stabilizza o diminuisce, indicando che il manifold negativo è stato catturato sufficientemente senza invadere le regioni di sovrapposizione.

4. Distillazione della Conoscenza:
   Una volta che l'espansione iterativa converge, la struttura del vicinato non parametrica viene distillata in un classificatore DNN (Deep Neural Network) parametrico. Questo passaggio smussa il confine decisionale, riducendo la varianza pur preservando la separazione geometrica locale scoperta durante la fase PU.

Contributi Chiave

• Nuova Formulazione del Problema: Il paper è il primo a investigare sistematicamente il rilevamento del covariate shift attraverso la lente dell'apprendimento Positive–Unlabeled (PU), fornendo approfondimenti teorici sul perché la minimizzazione del rischio PU globale fallisca sotto una significativa sovrapposizione distributiva.
• Framework S-PUNA: Introduzione di un framework di pseudo-etichettatura consapevole della geometria che scopre progressivamente le distribuzioni shifted tramite l'espansione del manifold locale anziché la stima del rischio globale.
• Criterio di Entropia Spettrale: Un meccanismo di arresto principato che rileva la contaminazione precoce e previene il drift della pseudo-etichettatura, giustificato teoricamente dalla relazione tra entropia spettrale e contaminazione del mix.
• Benchmark e Performance: Gli autori stabiliscono nuovi benchmark per il covariate shift e dimostrano che S-PUNA raggiunge prestazioni allo stato dell'arte nei contesti PU, eguagliando notevolmente le prestazioni dei metodi completamente supervisionati.

Risultati Sperimentali
Gli autori hanno valutato S-PUNA attraverso tre benchmark primari: ImageNet-1K, TinyImageNet ed EuroSAT, coprendo sia shift "vicini" (sottili cambiamenti distributivi, es. ImageNet-V2, GenImage) che shift "lontani" (gravi corruzioni o stilizzazione, es. ImageNet-C, ImageNet-R).

• Performance: S-PUNA ha costantemente superato i classici baseline PU (es. Dist-PU, DC-PU, saPU, LaGAM). Nello scenario di near-shift su ImageNet-1K, S-PUNA ha raggiunto un AUROC del 97,89%, superando il baseline più forte (Dist-PU all'84,48%) di oltre il 13% e riducendo il False Positive Rate al 95% di True Positive Rate (FPR95) dal 35,05% al 9,69%.
• Confronto con Metodi Supervisionati: In diverse configurazioni, S-PUNA si è avvicinato alle prestazioni dei classificatori completamente supervisionati, che fungono da limite superiore (upper bound). Ad esempio, su ImageNet-C, S-PUNA ha ottenuto un AUROC del 98,51%, quasi eguagliando il baseline supervisionato.
• Robustezza: Il metodo ha dimostrato una forte generalizzazione attraverso diversi tipi di shift e dimensioni di dataset (TinyImageNet, EuroSAT), mantenendo un'alta stabilità laddove altri metodi PU mostravano significativi divari di performance tra near e far shift.
• Baseline Non Supervisionati: Il paper evidenzia anche come i metodi di OOD (Out-of-Distribution) e di rilevamento delle anomalie puramente non supervisionati (es. ReAct, PatchCore) fatichino significativamente con i near covariate shift, spesso performando vicino al caso casuale, mentre S-PUNA sfrutta efficacemente la supervisione debole per superare questo limite.

Significato e Rivendicazioni
Il paper sostiene che i segnali strettamente supervisionati non sono un prerequisito per un rilevamento affidabile del covariate shift. Sfruttando efficacemente la struttura geometrica intrinseca delle rappresentazioni delle caratteristiche, l'apprendimento PU debolmente supervisionato può raggiungere prestazioni robuste e allo stato dell'arte. Il lavoro colma il divario tra i limiti teorici della stima del rischio PU globale sotto sovrapposizione e le necessità pratiche di rilevamento, offrendo una soluzione scalabile per applicazioni reali dove i dati shifted etichettati non sono disponibili. Gli autori sottolineano che il loro approccio è particolarmente efficace nei regimi di "near-shift", che sono tipicamente i più impegnativi per gli esistenti detector non supervisionati.