Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

Nel mondo dell'imaging microscopico, gli scienziati affrontano spesso un problema di scarsità. Devono insegnare ai computer a riconoscere minuscoli difetti sulle superfici metalliche o singoli atomi su un cristallo, ma semplicemente non hanno abbastanza immagini per farlo. Una singola scansione può richiedere ore e un ricercatore potrebbe riuscire a catturare solo una dozzina di immagini di alta qualità di un difetto specifico. Per superare questa carenza, i ricercatori utilizzano un trucco standard chiamato aumento dei dati (data augmentation). Prendono quelle poche immagini originali e le trasformano matematicamente — ruotandole, ribaltandole, cambiandone la luminosità o sfocandole leggermente — per creare centinaia o persino migliaia di nuovi esempi di addestramento. È come prendere una singola fotografia di un albero e creare un intero bosco di versioni leggermente diverse di quello stesso albero per insegnare a uno studente che cos'è un albero.

L'obiettivo di questo addestramento è costruire un modello che possa guardare una nuova immagine, mai vista prima, e identificare correttamente un difetto. Per dimostrare che il modello funziona, gli scienziati dividono i loro dati in due gruppi: uno per l'insegnamento e uno per il test. Il modello impara dal primo gruppo e viene poi valutato sul secondo. Se il modello ottiene un punteggio alto, si assume che sia intelligente e pronto per l'uso nel mondo reale. Tuttavia, rimane una domanda critica: il modello ha davvero compreso il concetto di difetto, o ha semplicemente memorizzato le immagini specifiche che gli sono state mostrate? Questa distinzione è la differenza tra il vero apprendimento e il semplice riconoscimento.

Uno studio recente di Shaoxuan Zhang, dell'Istituto di Tecnologia di Harbin, investiga un difetto nascosto nel modo in cui questo processo viene spesso eseguito. Il ricercatore ha scoperto che quando gli scienziati creano migliaia di immagini di addestramento partendo da un manipolo di originali, commettono frequentemente un errore nel modo in cui separano il gruppo di insegnamento dal gruppo di test. Invece di mantenere separati gli originali, mescolano tutte le versioni "ritoccate" e poi le distribuiscono casualmente. Ciò significa che un'immagine utilizzata per il test potrebbe essere una copia leggermente ruotata o con una luminosità diversa di un'immagine che il modello ha già visto durante l'addestramento. Il modello non viene testato sulla sua capacità di generalizzare a nuove situazioni, ma sulla sua capacità di riconoscere un quasi-duplicato di qualcosa che ha già visto. Lo studio misura esattamente quanto questo errore gonfi i tassi di successo riportati e propone un modo semplice per correggere gli standard di rendicontazione.

Per misurare l'entità del problema, il ricercatore ha allestito un esperimento controllato utilizzando due diversi tipi di dati microscopici. Un dataset conteneva immagini di difetti su superfici di acciaio, e l'altro conteneva immagini di difetti puntiformi su cristalli catturate da un microscopio a effetto tunnel. In entrambi i casi, il ricercatore è partito da un piccolo numero di immagini originali, note come acquisizioni. Per ogni immagine originale, ha generato ottanta variazioni diverse utilizzando i classici trucchi informatici. Ha poi creato due modi diversi per dividere questo insieme di immagini. Il primo metodo, comune in molti articoli attuali, prendeva tutte le variazioni di tutte le immagini originali, le mescolava in un grande secchio e ne sceglieva alcune casualmente per l'addestramento e altre per il test. Il secondo metodo era più rigoroso: manteneva le immagini originali separate. Riservava un intero immagine originale per il test e utilizzava solo le variazioni delle restanti immagini originali per l'addestramento. Ciò garantiva che il modello non avesse mai visto nulla dell'immagine di test in precedenza.

I risultati hanno mostrato un divario enorme tra i due metodi. Quando il modello veniva addestrato e testato utilizzando il metodo della miscelazione casuale, raggiungeva punteggi quasi perfetti. Sul dataset delle superfici d'acciaio, il modello ha raggiunto un punteggio di 1,000, il che significa che ha trovato ogni singolo difetto che doveva trovare. Tuttavia, quando lo stesso modello veniva testato utilizzando il metodo più rigoroso che manteneva separati i sorgenti originali, il punteggio scendeva drasticamente. Ai budget di dati più piccoli, dove c'erano solo due immagini originali per ogni tipo di difetto, il metodo casuale ha sovrastimato le prestazioni del modello di oltre mezzo punto su una scala in cui 1,0 è il massimo. Anche aumentando il numero di immagini originali a dieci, il metodo casuale sovrastimava ancora le prestazioni in modo significativo. Il modello non stava fallendo l'apprendimento; stava avendo troppo successo nel riconoscere copie di ciò che aveva già studiato.

Lo studio ha anche rivelato che questa inflazione non era uniforme in tutti i tipi di difetti. Alcuni difetti erano facili da riconoscere solo attraverso la loro trama, e il modello otteneva buoni risultati indipendentemente dal metodo di test. Tuttavia, per i difetti che dipendevano dall'aspetto specifico della scansione originale, il metodo casuale faceva sembrare il modello un genio, mentre il metodo rigoroso mostrava che stava faticando. Ciò suggerisce che un punteggio elevato in questi studi potrebbe non significare che il modello ha imparato a trovare i difetti in generale, ma piuttosto che ha imparato a riconoscere gli artefatti specifici delle poche immagini su cui è stato addestrato. Il divario tra i due metodi si restringeva leggermente man mano che venivano aggiunte più immagini originali, ma non scompariva. Anche con dieci immagini originali, il metodo casuale forniva un punteggio trenta punti superiore rispetto al metodo rigoroso, indicando che il problema persiste anche con più dati.

Il ricercatore ha inoltre sviluppato uno strumento semplice per rilevare questo problema senza dover addestrare un modello. Confrontando le immagini nel set di test con le immagini nel set di addestramento, lo strumento può calcolare quante immagini di test hanno un "fratello" nel set di addestramento. Un fratello è semplicemente una variazione della stessa immagine originale. Se un gran numero di immagini di test hanno fratelli nel set di addestramento, è un segno chiaro che la valutazione è fallace. Questo controllo richiede solo pochi secondi e non richiede hardware speciale. Lo studio ha scoperto che nelle divisioni casuali difettose, quasi ogni immagine di test aveva un fratello nel set di addestramento, mentre nei tagli rigorosi, nessuno ne aveva.

Sulla base di queste scoperte, il documento propone un nuovo standard su come i ricercatori dovrebbero riportare il proprio lavoro. Invece di dire solo quante immagini sono state utilizzate, gli autori dovrebbero riportare con quante acquisizioni originali e indipendenti sono partiti. Dovrebbero dichiarare chiaramente se i dati sono stati divisi prima o dopo che le immagini siano state ritoccate ed espanse. Dovrebbero specificare l'unità della divisione, come ad esempio se la separazione è avvenuta per singola immagine o per la fonte originale. Infine, dovrebbero includere un controllo semplice per mostare quante immagini di test hanno fratelli nel set di addestramento. Questi quattro pezzi di informazione sono facili da fornire e renderebbero visibili i limiti degli studi con pochi dati.

Lo studio conclude che, nel campo dell'imaging con piccoli volumi di dati, dove i ricercatori hanno spesso a disposizione solo poche scansioni originali, l'attuale modo di valutare i modelli è fuorviante. Gli alti punteggi riportati in molti articoli descrivono spesso la capacità del modello di riconoscere copie dei dati di addestramento piuttosto che la sua capacità di trovare difetti in situazioni nuove e mai viste. Man mano che questi sistemi informatici passano dall'analisi offline al controllo di esperimenti reali, fare affidamento su questi punteggi gonfiati potrebbe portare a decisioni errate. La soluzione non è necessariamente un nuovo algoritmo o computer più potenti, ma un cambiamento nel modo in cui i dati vengono gestiti e riportati. Mantenendo separati i sorgenti originali ed essendo trasparenti sul processo, la comunità scientifica può garantire che i modelli che costruisce siano davvero pronti per il mondo reale.