Training-seed variance in single-run comparisons of frozen-CLIP adaptation: evidence from cross-dataset facial expression recognition

Nel mondo dell'intelligenza artificiale, i computer vengono sempre più istruiti a riconoscere il mondo studiando insieme vaste librerie di immagini e testi. Questo processo crea un cervello potente e generalista capace di comprendere immagini che non ha mai visto prima. Tuttavia, quando questi sistemi vengono implementati nel mondo reale, spesso inciampano. Un modello addestrato su un insieme di foto potrebbe fallire miseramente se gli vengono mostrate immagini scattate con un'illuminazione diversa, da fotocamere diverse o che ritraggono persone diverse. Questo è un problema comune nel riconoscimento delle espressioni facciali, dove un computer addestrato a individuare la felicità o la rabbia in un dataset spesso perde la sua precisione quando si trova di fronte a una nuova collezione di volti. Per risolvere il problema senza riaddestrare l'intero enorme cervello, i ricercatori hanno sviluppato tecniche di "adattamento". Questi metodi mantengono il cervello principale congelato e invariato, aggiungendo solo un piccolo strato addestrabile in cima per adattarsi alla nuova situazione. È una soluzione pratica, ma si basa su un'assunzione pericolosa: che se un ricercatore esegue questo processo di regolazione una sola volta e ottiene un risultato, quel risultato sia la verità.

Un team di ricercatori della Hefei University of Technology si è proposto di testare se questa assunzione del singolo passaggio regga l'urto della realtà. Si sono concentrati su due modi concorrenti per adattare questi cervelli artificiali congelati al riconoscimento delle espressioni facciali. Un metodo, chiamato "percorso globale" (global route), prende un singolo riassunto dell'intera immagine e cerca di modificare quel riassunto per adattarlo al nuovo compito. L'altro, noto come "percorso dei token" (token route), funziona diversamente; invece di riassumere prima l'immagine, osserva i singoli pezzi dell'immagine e impara come ponderarli prima di prendere una decisione. Per anni, si è assunto che il percorso dei token fosse superiore perché preserva più dettagli. Per testarlo, i ricercatori hanno preso un modello IA congelato standard e hanno applicato entrambi i metodi di adattamento. Ma invece di eseguire l'esperimento una sola volta e riportare il vincitore, lo hanno eseguito molte volte, cambiando solo il punto di partenza casuale del processo di addestramento, noto come "seed". Hanno fatto questo per due diverse dimensioni di modelli IA, eseguendo l'esperimento dieci volte sul modello più piccolo e quindici volte su quello più grande, utilizzando sempre gli stessi dati e le stesse regole.

I risultati di questo rigoroso ri-test sono stati sorprendenti. Quando i ricercatori hanno esaminato i dati di una singola esecuzione, il percorso dei token appariva significativamente migliore del metodo globale in un test cross-dataset, con un vantaggio di quasi quattro punti percentuali. Questo è il tipo di risultato eclatante che di solito definisce un campo di ricerca. Tuttavia, quando hanno mediato i risultati su tutti i dieci o quindici diversi cicli di addestramento, quel vantaggio è svanito. Infatti, per il modello IA più piccolo, la classifica si è completamente invertita; il percorso dei token ha ottenuto prestazioni inferiori rispetto al metodo globale in media. La differenza tra la migliore e la peggiore delle esecuzioni era così grande da oscurare completamente l'affermazione originale. I ricercatori hanno scoperto che il punto di partenza casuale del processo di addestramento era sufficiente a invertire la conclusione dello studio. Cinque dei sei principali confronti effettuati mostravano questa instabilità, il che significa che un singolo esperimento poteva facilmente riportare un "vincitore" che avrebbe perso se l'esperimento fosse stato semplicemente ripetuto con un diverso punto di partenza casuale.

C'era, tuttavia, un'unica eccezione che è sopravvissuta alla prova della ripetizione. In un test specifico su immagini degradate da distorsioni sintetiche come sfocatura o rumore, il percorso dei token ha superato costantemente il metodo globale sul modello IA più grande. Questo vantaggio si è mantenuto costante in tutte le quindici esecuzioni di addestramento, con il percorso dei token in vantaggio di circa tre punti e mezzo. Per essere assolutamente certi che non si trattasse di un colpo di fortuna, i ricercatori hanno portato questo risultato su un dataset completamente nuovo di espressioni facciali che non avevano mai toccato prima. Hanno applicato le stesse regole rigide e i criteri predefiniti. Il percorso dei token ha vinto ancora, con un vantaggio di quasi tre punti. Ciò ha confermato che, sebbene il percorso dei token non sia una bacchetta magica universale che batte tutto in ogni situazione, possiede un vantaggio genuino e riproducibile quando si tratta di specifici tipi di corruzione dell'immagine su modelli più grandi.

Lo studio ha anche scoperto che il modo in cui i ricercatori tarano i loro esperimenti conta tanto quanto il punto di partenza casuale. Quando i ricercatori hanno permesso che il tasso di apprendimento (learning rate) — un parametro chiave che controlla la velocità con cui il modello apprende — venisse scelto diversamente per ogni esecuzione casuale, i risultati sono cambiati drasticamente. In un caso, cambiare questo parametro ha spostato la differenza di prestazione di oltre tre punti, che era esattamente la dimensione dell'effetto che la singola esecuzione originale aveva rivendicato. Ciò suggerisce che il "vincitore" di un confronto dipende spesso tanto dalle scelte specifiche di taratura quanto dal metodo stesso. I ricercatori hanno concluso che il settore si è affidato troppo pesantemente ai confronti a singola esecuzione, che possono produrre affermazioni direzionali fuorvianti. Hanno dimostrato che, per molti metodi di adattamento, il rumore introdotto dalle variazioni casuali dell'addestramento è sufficiente a invertire i risultati. L'unico modo per sapere se un metodo è davvero migliore è eseguirlo molte volte e riportare la diffusione dei risultati, piuttosto che il singolo risultato migliore.

Questo lavoro non dichiara che un metodo di adattamento sia permanentemente superiore all'altro. Al contrario, rivela che il panorama dell'adattamento dell'IA è molto più instabile di quanto si pensasse. Il percorso dei token non è una vittoria garantita, né il metodo globale è un fallimento; le loro prestazioni sono altamente sensibili ai seed casuali utilizzati durante l'addamento e alle specifiche condizioni del test. L'unico risultato chiaro e riproducibile è che il percorso dei token offre un vantaggio reale per i modelli più grandi quando le immagini sono corrotte, ma questo punto di forza non si estende a tutti i compiti o a tutte le dimensioni dei modelli. Lo studio funge da necessaria correzione al modo in cui queste tecnologie vengono valutate, esortando i ricercatori ad andare oltre i singoli istantanee delle prestazioni e ad abbracciare il quadro completo della variabilità. In questo modo, la comunità scientifica può distinguere tra il fugace rumore statistico e i miglioramenti genuini e affidabili nel modo in cui le macchine comprendono i volti umani.