Interpolated Supervision Can Change What Regression Benchmarks Reward
Questo articolo dimostra che la costruzione di etichette di regressione dense da osservazioni temporali sparse tramite interpolazione altera fondamentalmente le classifiche dei benchmark e la selezione dei modelli, spesso invertendo i confronti delle prestazioni senza riflettere la reale efficacia clinica o miglioramenti nell'architettura di predizione.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo del monitoraggio medico e della scienza dei dati, i ricercatori spesso si affidano a un semplice presupposto: se si vuole prevedere come si sente un paziente ogni singolo giorno, è necessaria una misurazione per ogni singolo giorno. Ma nella realtà, i medici non possono vedere un paziente ogni giorno. Lo vedono una volta al mese, o forse una volta ogni poche settimane, e poi devono ipotizzare cosa sia successo nel frattempo. Per colmare queste lacune, i data scientist utilizzano spesso una tecnica chiamata interpolazione. Immaginate di tracciare una linea retta tra due punti su un grafico; quella linea rappresenta i valori stimati per i giorni intermedi. Per decenni, questo metodo è stato trattato come un modo innocuo per creare un dataset completo partendo da uno rado. Permette ai computer di addestrarsi su dati "giornalieri" anche quando le uniche osservazioni reali sono settimanali o mensili. Tuttavia, un nuovo studio suggerisce che questa comodità potrebbe nascondere un problema serio. Il modo in cui costruiamo queste stime giornaliere può cambiare fondamentalmente quali modelli informatici appaiono come i migliori, portando potenzialmente i ricercatori a scegliere gli strumenti sbagliati per il compito.
I ricercatori dietro questo studio si sono posti un obiettivo specifico: il metodo utilizzato per riempire i giorni mancanti cambia effettivamente quale modello di previsione vince una competizione? Non cercavano nuove scoperte mediche o proponevano un modo migliore per curare i pazienti. Al contrario, hanno agito come auditor, esaminando le regole stesse del gioco utilizzate per giudicare questi modelli. Si sono concentrati su un noto dataset relativo alla malattia di Parkinson, dove i pazienti registrano la propria voce quotidianamente, ma la gravità dei sintomi viene valutata da un medico solo in alcuni giorni specifici. Il dataset fornito al pubblico conteneva già le valutazioni "giornaliere", ma i ricercatori sapevano che queste non erano osservazioni indipendenti; erano linee matematiche che collegavano le poche visite mediche reali. Il team voleva vedere se l'utilizzo di queste linee tracciate come obiettivo per l'addestramento e il test dei modelli avrebbe prodotto risultati diversi rispetto all'utilizzo dei soli punti reali osservati.
Per rispondere a questo, il team ha condotto una serie di esperimenti controllati utilizzando non solo i dati sul Parkinson, ma anche dati sulla qualità dell'aria e sul consumo di energia domestica. In questi altri dataset, conoscevano le misurazioni continue reali perché provenivano da sensori che registravano i dati ogni istante. Ciò ha permesso loro di creare un gruppo di controllo perfetto. Hanno preso gli stessi modelli informatici e gli stessi dati di input, ma hanno cambiato solo l'obiettivo che stavano cercando di prevedere. In uno scenario, i modelli venivano giudicati rispetto ai dati reali e densi dei sensori. Nell'altro, venivano giudicati rispetto a una versione di quei dati in cui i punti reali venivano mantenuti, ma i vuoti venivano colmati con linee rette, proprio come nel dataset del Parkinson. I dati di input — le registrazioni vocali o le condizioni meteorologiche — rimanevano esattamente gli stessi. L'unica cosa che cambiava era la definizione della risposta "corretta".
I risultati sono stati sorprendenti. Quando i ricercatori hanno cambiato l'obiettivo dai dati reali dei sensori ai dati interpolati (le linee tracciate), la classifica dei modelli è stata ribaltata. Negli esperimenti sulla qualità dell'aria, quando gli spazi tra i punti dati reali erano ampi, l'ordine in cui i modelli venivano classificati è cambiato drasticamente. Ad esempio, in una specifica configurazione, quasi la metà delle coppie di modelli ha scambiato posto; un modello che era chiaramente migliore quando giudicato rispetto ai dati reali appariva improvvisamente peggiore quando giudicato rispetto alle linee tracciate, e viceversa. Questo accadeva anche se i modelli stessi non erano cambiati e i dati utilizzati per fare le previsioni erano identici. Lo studio ha dimostrato che il metodo di costruzione del target non era solo un dettaglio minore; era una forza potente capace di invertire l'esito di un confronto scientifico.
I ricercatori hanno anche testato cosa accadeva quando i modelli venivano effettivamente addestrati su queste linee tracciate anziché solo testati rispetto ad esse. Hanno scoperto che l'addestramento su dati interpolati e smussati faceva comportare i modelli in modo diverso, rendendoli spesso più simili tra loro e meno sensibili alle piccole e rapide fluttuazioni che avvengono nella vita reale. In una serie separata di simulazioni progettate per imitare un paziente i cui sintomi salgono e scendono in un ciclo regolare, il team ha mostato che se i "punti di ancoraggio" usati per tracciare le linee avessero casualmente mancato i picchi e i minimi di quel ciclo, il modello risultante avrebbe sistematicamente fallito nel vedere tali schemi. Il modello avrebbe imparato la linea fluida invece della realtà frastagliata. Ciò ha confermato che un modello addestrato su dati interpolati potrebbe essere eccellente nel prevedere la linea fluida, ma scarso nel prevedere le variazioni reali e disordinate della condizione che dovrebbe monitorare.
Fondamentalmente, lo studio non ha sostenuto che l'interpolazione sia sempre sbagliata o che non debba mai essere usata. L'autore ha osservato che a volte una traiettoria fluida è esattamente ciò di cui si ha bisogno. Il problema sorge quando i ricercatori usano questi target smussati per fare affermazioni sulle reali fluttuazioni quotidiane non osservate. Lo studio ha dimostrato che non si può usare il successo di un modello su un target smussato per dimostrare che sia bravo a rilevare i cambiamenti quotidiani, perché il target stesso ha cancellato quei cambiamenti. Nel dataset del Parkinson, i ricercatori non potevano conoscere la vera gravità quotidiana dei sintomi perché non esistevano valutazioni giornaliere indipendenti. Pertanto, non potevano dire quale modello fosse veramente il migliore nel prevedere i sintomi giornalieri. Potevano solo dire che la scelta del modello dipendeva interamente dal fatto che i ricercatori si interessassero alla linea fluida o alla realtà frastagliata.
La conclusione finale del lavoro è un appello a una maggiore trasparenza nella preparazione dei dati. Lo studio ha dimostrato che il "vincitore" di una competizione di machine learning è spesso determinato da come sono stati costruiti i target, non dalla sofisticazione dell'algoritmo. Se un dataset è costruito collegando i punti con linee rette, i modelli che vincono saranno quelli migliori nel tracciare linee rette. Se l'obiettivo è comprendere la natura complessa e fluttuante di una malattia, fare affidamento su un target che è stato smussato può portare a risultati fuorvianti. I ricercatori hanno fornito un controllo matematico per aiutare gli altri a determinare se le loro classifiche siano stabili, ma hanno scoperto che in molti casi le classifiche non erano affatto stabili. Il lavoro serve come promemoria che, nella scienza, la risposta che si ottiene è spesso un riflesso della domanda che si è posto, e se la domanda è costruita su una linea artificiale, la risposta sarà una verità artificiale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.