Reliable AUC Evaluation for Positive-Unlabeled Classifiers: Calibrated Confidence Intervals under an Unknown Class Prior

Nel mondo del machine learning, i computer vengono spesso istruiti a riconoscere modelli mostrandogli esempi di ciò che stanno cercando e esempi di ciò che non sono. Immaginate un medico che cerca di insegnare a un algoritmo come individuare un tipo specifico di tumore. Il computer ha bisogno di vedere immagini chiare di tumori e immagini chiare di tessuto sano per apprendere la differenza. Ma in molte situazioni reali, ottenere quegli esempi chiari di "sano" è difficile. Spesso, i ricercatori dispongono solo di un elenco di casi positivi confermati e di un grande ammasso disordinato di dati non etichettati che contiene un misto sia di casi positivi che di quelli negativi, senza modo di distinguerli. Questo è noto come apprendimento positivo-non etichettato (positive-unlabeled learning). L'obiettivo è costruire un sistema che sia comunque in grado di classificare i casi buoni più in alto rispetto a quelli cattivi, anche quando i casi negativi sono nascosti all'interno della folla. Il modo standard per misurare quanto bene un sistema faccia questo è calcolando un punteggio che rappresenti la sua capacità di distinguere tra i due gruppi. Tuttavia, quando il gruppo negativo è nascosto e mescolato, il punteggio standard diventa fuorviante. Esso indica quanto bene il sistema classifica rispetto al mucchio disordinato, non rispetto ai veri negativi, e solitamente presenta questo numero come un singolo punto esatto senza alcuna indicazione di quanto quel numero possa essere errato a causa del caso.

Un ricercatore di nome Vincent Looten ha affrontato questo problema sviluppando un nuovo modo per misurare le prestazioni che tiene conto del mix nascosto e fornisce un intervallo di confidenza affidabile. Il cuore del lavoro è una correzione matematica che rimuove la contaminazione dei dati non etichettati per rivelare le vere prestazioni rispetto ai casi negativi. Il ricercatore ha scoperto che non si può semplicemente guardare il mucchio disordinato e indovinare la risposta; bisogna prima stimare quanto di quel mucchio sia effettivamente il caso positivo che si sta cercando. Una volta ottenuta questa stima, si può utilizzare una formula specifica per regolare il punteggio delle prestazioni. Ma il ricercatore è andato oltre, rendendosi conto che semplicemente regolare il numero non è sufficiente. Poiché la stima del mix è essa stessa incerta, tale incertezza deve essere portata attraverso il calcolo. Lo studio dimostra che se si ignora questa incertezza, il punteggio finale sarà errato. Tracciando attentamente come l'incertezza nella stima del mix influenzi il punteggio finale, il ricercatore ha derivato un metodo per produrre un intervallo calibrato. Questo intervallo agisce come una rete di sicurezza, dicendo all'utente l'intervallo entro il quale le vere prestazioni si trovano quasi certamente, invece di dare solo un singolo numero, potenzialmente fuorviante.

Lo studio rivela che questo metodo funziona magnificamente quando i casi positivi e negativi sono abbastanza distinti da poter essere separati. In queste situazioni chiare, il nuovo metodo produce un intervallo a due code che cattura le vere prestazioni quasi esattamente quanto una regola statistica standard si aspetterebbe. Tuttavia, il ricercatore ha anche scoperto un limite invalicabile per questo approccio. Quando i casi positivi e negativi sono così simili da confondersi, il mix diventa impossibile da definire con certezza. In questo scenario specifico, l'intervallo a due code si interrompe perché la matematica semplicemente non può sostenerlo. Invece di forzare un falso intervallo, il metodo passa a un limite a una coda. Questo limite fornisce un pavimento minimo garantito per le prestazioni, ammettendo che, sebbene il punteggio esatto sia sconosciuto, il sistema è certamente almeno così buono. Questo passaggio non è un fallimento del metodo ma una sua caratteristica, che assicura che il rapporto rimanga onesto anche quando i dati sono troppo ambigui per supportare una stima precisa.

Per testare queste idee, il ricercatore ha applicato il metodo a dati reali, nello specifico utilizzando cartelle cliniche di cancro al seno dove le etichette vere erano note ma trattate come nascoste per simulare il problema. I risultati sono stati netti. Un approccio tradizionale che ignora il mix nascosto e riporta un numero singolo è fallito completamente, non catturando mai le vere prestazioni nei test. Un altro approccio che ha cercato di correggere il numero ma ha utilizzato una semplice stima per il mix ha anch'esso faticato, specialmente quando i dati non seguivano una perfetta curva a campana. Solo il nuovo metodo, che ha combinato la correzione con un modo robusto di stimare il mix e un calcolo attento dell'incertezza, ha avuto successo. Ha prodotto costantemente intervalli che contenevano le vere prestazioni, a patto che i casi positivi e negativi non fossero troppo simili. Lo studio conferma che la chiave per ottenere una risposta affidabile non è solo l'algoritmo che esegue la classificazione, ma la qualità della stima utilizzata per descrivere il mix nascosto. Se quella stima è distorta o imprecisa, il punteggio finale delle prestazioni sarà errato, indipendentemente da quanto sofisticato sia il sistema di classificazione.

Il lavoro chiarisce anche quando un ricercatore dovrebbe fidarsi di un intervallo a due code e quando dovrebbe accontentarsi di un pavimento a una coda. Il punto di transizione dipende da quanto i due gruppi siano distinti rispetto alla quantità di dati disponibili. Se i gruppi sono ben separati, l'intervallo completo è valido. Se sono molto vicini, il metodo identifica correttamente che un intervallo preciso a due code è impossibile e offre invece la garanzia più sicura a una coda. Questa distinzione è cruciala per i professionisti che hanno bisogno di sapere non solo quanto bene funziona un sistema, ma di quanto possono essere sicuri di quel numero. Il ricercatore ha impacchettato l'intero processo in uno strumento che può avvolgere qualsiasi sistema di punteggio esistente, permettendo agli utenti di inserire i propri dati e ricevere un punteggio decontaminato insieme a un intervallo di confidenza o a un pavimento di sicurezza. Questo strumento non richiede che i dati seguano una specifica forma matematica, rendendolo utile per i dataset disordinati del mondo reale che spesso sfidano i modelli semplici.

In definitiva, questa ricerca sposta l'attenzione dal semplice costruire classificatori migliori al comprendere come misurarli correttamente quando i dati sono incompleti. Dimostra che in assenza di chiari esempi negativi, l'informazione più critica è la stima di quanti casi positivi si nascondono nel mucchio non etichettato. Lo studio prova che con la giusta correzione matematica, è possibile recuperare una vera misura delle prestazioni e allegare un margine di errore affidabile. Tuttavia, stabilisce anche un confine chiaro: quando il segnale è troppo debole per separare i gruppi, il metodo rifiuta di indovinare, offrendo invece un limite inferiore conservativo. Questa onestà riguardo ai limiti di ciò che può essere conosciuto è forse il risultato più prezioso di tutti, assicurando che le decisioni basate su questi punteggi siano prese con una chiara comprensione dell'incertezza sottostante.