SSLfmm: An R Package for Semi-Supervised Learning with Mixed Missingness
Il pacchetto R SSLfmm introduce un framework di miscela gaussiana basato sulla verosimiglianza per l'apprendimento semi-supervisionato che modella congiuntamente le distribuzioni delle classi e i meccanismi di assenza di etichette (inclusi scenari MCAR, MAR e misti) per migliorare le prestazioni di classificazione quando la disponibilità stessa delle etichette contiene segnali informativi.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della scienza dei dati, i ricercatori spesso affrontano un frustrante divario tra ciò che sanno e ciò che possono misurare. Immaginate uno studio medico in cui i medici hanno registrato i sintomi di ogni paziente, ma sono riusciti a confermare la diagnosi finale solo per una parte di essi. Il resto rimane un mistero, non perché i dati siano andati perduti, ma perché il processo di conferma era troppo costoso, troppo lento o semplicemente impossibile per certi casi. Questo è il regno dell'apprendimento semi-supervisionato, un campo dedicato all'insegnamento ai computer come riconoscere modelli utilizzando un misto di risposte note e sconosciute. Tradizionalmente, i statistici hanno trattato queste risposte mancanti come incidenti casuali, assumendo che il motivo per cui un'etichetta manchi non abbia nulla a che fare con i dati stessi. Tuttavia, in molte situazioni reali, il motivo per cui un'etichetta manca è in realtà un indizio. Un paziente potrebbe essere più difficile da diagnosticare con precisione perché i suoi sintomi sono confusi, o un rispondente a un sondaggio potrebbe saltare una domanda perché la risposta è scomoda. Se il computer ignora questa connessione, perde un pezzo vitale del puzzle.
Un team di ricercatori dell'Università del Queensland ha sviluppato un nuovo strumento per aiutare i computer a risolvere questo problema specifico. Hanno creato un pacchetto software chiamato SSLfmm, che consente alle macchine di apprendere da dati in cui le etichette sono mancanti in due modi distinti: o completamente in modo casuale, o perché i dati stessi hanno reso l'etichetta difficile da ottenere. Il software è costruito su un framework che tratta l'etichetta mancante non solo come uno spazio vuoto, ma come il risultato di un processo specifico. Modellando questo processo insieme ai dati, il sistema può distinguere tra un'etichetta mancante avvenuta per caso e una avvenuta perché il punto dati era ambiguo o difficile da classificare. Questo approccio permette al computer di usare proprio il fatto che un'etichetta sia mancante per migliorare la sua comprensione dei gruppi che sta cercando di identificare.
I ricercatori hanno testato il loro nuovo software creando un mondo di dati simulati in cui sapevano esattamente come le etichette fossero mancanti. Hanno generato mille punti dati che rappresentavano due gruppi sovrapposti, poi hanno deliberatamente rimosso le etichette per circa il trentadue percento di essi. Hanno suddiviso queste etichette mancanti in due categorie: alcune sono state rimosse casualmente, altre specificamente perché i punti dati erano difficili da distinguere l'uno dall'altro. Hanno poi chiesto al loro software di individuare i gruppi utilizzando due strategie diverse. Nella prima strategia, al software è stato detto esattamente quali etichette mancanti fossero casuali e quali difficili. Nella seconda strategia, al software è stato solo detto che un'etichetta era mancante, senza conoscerne il motivo. I risultati hanno mostrato che, anche senza conoscere il motivo specifico delle etichette mancanti, il software poteva comunque apprendere efficacemente. Quando testata sui punti dati le cui etichette erano nascoste, la versione che conosceva le ragioni ha raggiunto un'accuratezza di circa l'ottantuno percento, mentre la versione che doveva indovinare le ragioni ha raggiunto un'accuratezza quasi identica di circa l'ottantuno percento. Ciò ha dimostrato che la logica interna del software per gestire le informazioni mancanti era robusta, anche quando la fonte della mancanza era nascosta.
Per vedere come questo funzioni in un contesto più realistico, il team ha applicato il software a un dataset riguardante le trasfusioni di sangue. Hanno preso un record completo di settecentoquarantotto donatori e hanno rimosso artificialmente le etichette per alcuni di essi. Hanno mantenuto le etichette per i donatori facili da classificare, hanno rimosso le etichette per una selezione casuale di altri e hanno rimosso le etichette per un terzo gruppo che era stato scelto specificamente perché difficile da classificare. Questo ha creato uno scenario in cui le etichette mancanti erano un misto di eventi casuali e casi difficili. I ricercatori hanno poi eseguito il software sotto tre diverse ipotesi: che tutte le etichette mancanti fossero casuali, che tutte fossero dovute alla difficoltà, o che fossero un misto di entrambe le cose. Il software che assumeva un misto di entrambi i motivi ha ottenuto le prestazioni migliori. Ha identificato correttamente i gruppi di donatori di sangue con un'accuratezza di circa il sessantuno percento per i casi difficili, superando i modelli che assumevano un solo tipo di mancanza. Il software ha anche stimato che circa il dieci percento delle etichette mancanti fosse casuale, una cifra che corrispondeva strettamente alla configurazione reale dell'esperimento.
Oltre a fornire la risposta corretta, il software offre un modo per controllare il proprio lavoro. Calcola una misura di incertezza per ogni previsione, ponendo essenzialmente la domanda al computer su quanto si senta sicuro di ogni classificazione. Quando i ricercatori hanno esaminato questi punteggi di confidenza, hanno trovato un modello chiaro: i punti dati che erano originariamente difficili da etichettare avevano punteggi di incertezza molto più elevati rispetto a quelli facili o casuali. Ciò ha confermato che il software aveva imparato con successo ad associare le etichette mancanti alla difficoltà dei dati. Lo strumento è ora disponibile come pacchetto gratuito per il linguaggio di programmazione R, un ambiente standard per il calcolo statistico. Esso consente ai ricercatori di adattare modelli, fare previsioni ed eseguire diagnosi senza dover scrivere codice complesso da zero. Il pacchetto include funzioni per simulare i dati, controllare il funzionamento del modello e visualizzare la relazione tra le etichette mancanti e l'incertezza della classificazione.
La significatività di questo lavoro risiede nella sua capacità di gestire la realtà disordinata della raccolta dati. In molti campi, dalla medicina alle scienze sociali, il processo di ottenimento di un'etichetta è raramente casuale. Riconoscendo che la mancanza stessa trasporta informazioni, il pacchetto SSLfmm offre un modo più onesto e accurato per apprendere da dati incompleti. Non pretende di risolvere ogni problema relativo alle informazioni mancanti, né suggerisce che tutti i dati mancanti siano informativi. Invece, fornisce un framework flessibile in cui i ricercatori possono testare diverse ipotesi sul perché un dato manchi e vedere quale ipotesi porti ai migliori risultati. Gli autori sottolineano che, sebbene il software abbia performato bene nei loro test, i numeri specifici dipendono dai dati analizzati. Il vero valore dello strumento è che dà agli scienziati un modo per chiedere: "Il fatto che io non conosca questa risposta mi sta dicendo qualcosa sulla risposta stessa?" e ottenere una risposta basata sui dati.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.