A proposal for PU classification under Non-SCAR using clustering and logistic model

Titolo

Una proposta per la classificazione PU (Positive-Unlabeled) in condizioni Non-SCAR utilizzando il clustering e un modello logistico

1. Il Problema

Lo studio affronta il problema dell'apprendimento da dati Positivi e Non Etichettati (PU - Positive-Unlabeled). In questo scenario, il set di dati di addestramento contiene solo esempi positivi (etichettati come $S=1$) e dati non etichettati ($S=0$), dove i veri etichette di classe $Y$ non sono osservate direttamente.

• La sfida principale: La maggior parte dei metodi PU esistenti si basa sull'ipotesi SCAR (Selected Completely At Random), che assume che la probabilità di un esempio positivo venga etichettato sia indipendente dalle sue caratteristiche ($X$).
• Il caso reale: In molte applicazioni pratiche (es. diagnosi medica, rilevamento di frodi), l'ipotesi SCAR non è soddisfatta (scenario Non-SCAR). In questo caso, la selezione degli esempi etichettati dipende dalle caratteristiche del dato (propensity score), rendendo gli stimatori tradizionali distorti e meno efficaci.
• Obiettivo: Sviluppare un algoritmo computazionalmente efficiente in grado di gestire la classificazione PU quando la condizione SCAR è violata e valutare la robustezza del metodo esistente LassoJoint in tali condizioni.

2. Metodologia

Gli autori propongono un nuovo approccio ibrido che combina clustering e regressione logistica, denominato procedura di "pecking" (beccaggio).

A. Procedura di "Pecking" e Pulizia dei Cluster

L'algoritmo proposto segue i seguenti passaggi:

1. Campionamento e Unione: Si estrae una percentuale $q$ degli esempi con etichetta surrogata $S=1$ e si uniscono al gruppo degli esempi $S=0$, creando un insieme misto $C^q_0$.
2. Clustering: Si applica l'algoritmo di k-means con $k=2$ sull'insieme $C^q_0$ per generare due cluster: $C_{0,0}$ e $C_{0,1}$.
3. Assegnazione delle Etichette (Cleaning):
   • Il cluster che contiene una proporzione maggiore di esempi originariamente etichettati come $S=1$ viene etichettato come Positivo ($\hat{Y}=1$).
   • L'altro cluster viene etichettato come Negativo ($\hat{Y}=0$).
   • Gli esempi originali $S=1$ mantengono l'etichetta positiva.
4. Ripetizione: Questo processo viene ripetuto $R$ volte per stabilizzare i risultati.

B. Modelli di Classificazione

Sui dati "puliti" (con le nuove etichette $\hat{Y}$ derivate dal clustering), vengono addestrati due tipi di modelli:

1. Regressione Logistica Standard: Addestrata sui dati con etichette corrette dal clustering.
2. LassoJoint: Una variante avanzata che combina la selezione delle variabili tramite Lasso (con soglia) e un modello logistico congiunto. Vengono testate due varianti:
   • Strict: Media i coefficienti solo per le feature selezionate in tutte le ripetizioni.
   • Non-strict: Media i coefficienti per le feature selezionate in almeno una ripetizione.

C. Valutazione

L'efficacia è stata testata su:

• 1 dataset sintetico.
• 11 dataset reali dal repository UCI Machine Learning (es. adult, diabetes, spambase, bank-marketing).
• Scenario Non-SCAR: È stata utilizzata una funzione specifica per generare variabili surrogate $S$ in modo che la selezione dipenda dalle variabili ad alta varianza, violando intenzionalmente l'ipotesi SCAR.
• Metriche: Accuratezza, F1-score e AUC (Area Under the Curve).

3. Risultati Chiave

• Efficacia del Clustering: Il metodo basato sul clustering ("clust") ha mostrato un'alta accuratezza su quasi tutti i dataset, superando spesso il metodo "naive" (che tratta $S$ come $Y$ vero) e competendo bene con i metodi Lasso.
• Robustezza di LassoJoint: Il metodo LassoJoint, sebbene progettato per condizioni SCAR, ha dimostrato una robustezza moderata anche in scenari Non-SCAR, specialmente quando la frequenza di etichettatura ($c$) è alta ($c \ge 0.8$).
• Parametro $q$: Non esiste una regola universale per la scelta della percentuale $q$ di campionamento. I risultati suggeriscono che valori alti ($q \approx 1$) funzionano bene in media, ma in alcuni casi specifici valori bassi ($q \approx 0.25$) possono essere superiori, a seconda delle caratteristiche delle variabili.
• Efficienza Computazionale:
  • I metodi Naive e Clust sono significativamente più veloci.
  • I metodi basati su Lasso (che richiedono validazione incrociata per la scelta di $\lambda$) sono molto più lenti, specialmente su dataset grandi.
• Andamento con $c$: Man mano che il parametro $c$ (frequenza delle etichette) aumenta, la qualità della classificazione migliora per tutti i metodi, poiché il problema si avvicina a una classificazione supervisionata classica.

4. Contributi Principali

1. Nuovo Algoritmo di Pulizia: Introduzione di una procedura di "pecking" basata su 2-means per generare etichette negative affidabili in assenza di dati etichettati negativi, senza fare assunzioni SCAR.
2. Analisi di Robustezza: Dimostrazione empirica che il metodo LassoJoint, pur essendo teorizzato per SCAR, mantiene prestazioni accettabili anche quando l'ipotesi di selezione casuale è violata.
3. Efficienza: Offerta di una soluzione computazionalmente leggera (clustering + regressione logistica) che può essere applicata a grandi dataset senza la complessità computazionale dei metodi basati su EM (Expectation-Maximization) o GAN.

5. Significato e Conclusioni

Il lavoro è significativo perché fornisce una soluzione pratica per un problema comune nel machine learning reale: la violazione delle assunzioni di casualità nella selezione dei dati etichettati.

• Implicazioni Pratiche: Il metodo proposto è particolarmente utile in contesti come la diagnosi medica o l'analisi di sondaggi, dove i dati positivi sono noti ma i negativi sono nascosti e la selezione non è casuale.
• Versatilità: L'approccio basato sul clustering non è limitato a scenari di singolo campione, ma può essere esteso anche all'apprendimento PU caso-controllo.
• Conclusione: Mentre LassoJoint rimane ottimale in condizioni SCAR, l'approccio ibrido con clustering ("clust") emerge come un metodo robusto, semplice ed efficace per scenari Non-SCAR, offrendo un compromesso eccellente tra accuratezza e tempo di calcolo.