The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges

Negli ultimi anni, è emersa un nuovo tipo di intelligenza artificiale in grado di creare immagini, video e suoni straordinariamente realistici a partire da semplici descrizioni testuali. Questi sistemi, noti come modelli di diffusione, funzionano imparando a invertire un processo di distruzione graduale. Immaginate di prendere una fotografia nitida e di aggiungere lentamente del rumore statico finché l'immagine non diventa nulla più di un ammasso granuloso e irriconoscibile. Un modello di diffusione impara l'operazione inversa: partendo dal puro rumore, impara come rimuovere gradualmente lo statico, passo dopo passo, finché un'immagine nitida non riappare. Per farlo, il modello viene addestrato a prevedere come spingere un'immagine rumorosa verso la chiarezza. Questo processo di addestramento si basa su un obiettivo matematico chiamato "score", che essenzialmente indica la direzione verso i dati puliti. Per anni, i ricercatori hanno utilizzato un metodo standard per insegnare questa abilità al modello, assumendo che se il modello impara a prevedere correttamente la direzione in media, alla fine padroneggerà il compito di generare nuove immagini.

Tuttavia, uno studio recente rivela che questo metodo di addestramento standard contiene un costo nascosto e inevitabile che è stato trascurato. I ricercatori hanno scoperto che l'obiettivo che il modello sta cercando di apprendere non è una direzione singola e fissa, ma una variabile casuale che cambia ogni volta che il modello osserva un'immagine rumorosa. Poiché il modello è costretto a indovinare questo bersaglio mutevole, il processo di addestramento include sempre una quantità basale di errore che nessuna quantità di migliore apprendimento o di hardware più potente potrà mai eliminare. Questo errore non è un difetto nel design del modello; è una proprietà intrinseca della matematica utilizzata per istruirlo. Lo studio identifica questo errore inevitabile come la traccia della metrica di Fisher-Rao dei dati, che misura quanta informazione sull'immagine originale viene persa man mano che viene aggiunto il rumore. Isolando questo costo nascosto, i ricercatori hanno dimostrato che confrontare i punteggi grezzi di addestramento di diversi modelli può essere fuorviante, poiché lo score dipende fortemente da come il rumore è stato aggiunto, non solo da quanto sia buono il modello.

Il nucleo di questa scoperta risiede nel comprendere la differenza tra ciò che il modello ha bisogno di sapere e ciò che gli viene effettivamente chiesto di imparare. L'obiettivo ideale per il modello è apprendere la direzione media che punta verso tutte le possibili immagini pulite che avrebbero potuto produrre un determinato stato rumoroso. Questa direzione media è il vero "score" della distribuzione dei dati. In pratica, tuttavia, calcolare questa media è impossibile. Invezione, il processo di addestramento chiede al modello di indovinare la direzione basandosi su un'unica immagine pulita e casuale che è stata utilizzata per creare il rumore. Sebbene questa ipotesi sia corretta in media su molti tentativi, ogni singola ipotesi è rumorosa e incerta. Lo studio dimostra che l'errore extra introdotto dall'uso di queste ipotesi casuali è esattamente uguale alla traccia della metrica di Fisher-Rao della famiglia di endpoint condizionale. In termini semplici, questa è una misura di quanto l'immagine rumorosa ci dice riguardo alla specifica immagine pulita da cui proviene. Man mano che il rumore aumenta, questa informazione svanisce, e lo studio mostra che l'errore totale di addestramento si accumula precisamente al ritmo con cui questa informazione viene persa.

Questa scoperta cambia il modo in cui dovremmo vedere l'addestramento di questi potenti sistemi di IA. I ricercatori hanno dimostrato che l'errore totale riportato durante l'addestramento è in realtà la somma di due parti distinte: l'errore che il modello può effettivamente correggere imparando meglio, e l'errore irreducibile causato dalla casualità del bersaglio di addestramento. Questa parte irreducibile, che chiamano "pavimento di perdita" (loss floor), dipende interamente dai dati e dal programma di rumore utilizzato durante l'addestramento, non dal modello stesso. Di conseguenza, se due modelli sono addestrati con diversi programmi di rumore o diversi intervalli di rumore, i loro punteggi grezzi di addestramento non possono essere confrontati direttamente. Un modello addestrato con un intervallo di rumore più ampio potrebbe apparire avere un errore maggiore semplicemente perché deve pagare un "costo di pavimento" più elevato, anche se è in realtà un modello migliore. Lo studio fornisce un modo per sottrarre questo costo nascosto, rivelando le reali prestazioni del modello. Nei test, rimuovere questo pavimento ha corretto la classifica dei modelli, mostrando che il modello migliore era effettmente il migliore, un fatto che era precedentemente oscurato dal rumore matematico del processo di addestramento.

La ricerca collega anche questo errore di addestramento alla geometria fondamentale dei dati. Lo studio mostra che l'errore irreducibile è correlato alla forma dello spazio in cui vivono i dati. Ad esempio, se i dati consistono in immagini che giacciono su una superficie a bassa dimensionalità all'interno di uno spazio ad alta dimensionalità, il tasso con cui l'errore cresce con l'aggiunta di rumore rivela la dimensionalità di quella superficie. Ciò significa che il processo di addestramento stesso contiene una misurazione integrata della complessità dei dati. Inoltre, lo studio chiarisce che il modo in cui pianifichiamo il rumore — quanto velocemente lo aggiungiamo e quanto pesiamo le diverse fasi del processo — non cambia l'importo totale di questo errore irreducibile. Cambia solo dove lungo il percorso si verifica l'errore. Ciò suggerisce che, sebbene possiamo riorganizzare il processo di addestramento per renderlo più efficiente, non possiamo eliminare il costo fondamentale dell'apprendimento da dati rumorosi.

Una delle implicazioni più pratiche di questo lavoro è un nuovo modo per valutare e confrontare diversi modelli di IA. Gli autori mostrano che, calcolando e sottraendo questo pavimento nascosto, i ricercatori possono ottenere una vera misura di quanto bene un modello stia imparando. Hanno testato questo su dati sintetici dove la qualità dei modelli era già nota. Osservando i numeri grezzi dell'addestramento, la classifica dei modelli era talvolta invertita, facendo apparire un modello peggiore migliore di uno buono semplicemente a causa del programma di rumore utilizzato. Una volta sottratto il pavimento, la classifica corretta è stata ripristinata. Ciò suggerisce che lo standard attuale per la segnalazione del progresso dell'addestramento è incompleto e che i confronti futuri dovrebbero tenere conto di questo costo geometrico. Lo studio non propone un nuovo algoritmo di addestramento o un nuovo modo per generare immagini, ma piuttosto una comprensione più chiara di quelli esistenti. Espone un livello nascosto del processo di addestramento che era sempre stato lì, in attesa di essere misurato.

I ricercatori hanno anche esplorato come questo concetto si applichi ad altri tipi di dati, come il testo, dove il processo prevede la mascheratura delle parole piuttosto che l'aggiunta di rumore gaussiano. Hanno scoperto che un costo nascosto simile esiste anche lì, legato all'entropia, o incertezza, dei dati. Ciò indica che il principio è universale tra i diversi tipi di modelli generativi. Lo studio conclude che la geometria dei dati, il flusso di informazione e l'obiettivo di addestramento sono tutti descrizioni diverse della stessa realtà sottostante. Il "pavimento di perdita" non è un bug da correggere, ma una caratteristica dell'universo dell'informazione che deve essere riconosciuta. Separando la capacità di apprendimento del modello dal costo inevitabile del metodo di addestramento, otteniamo un quadro più onesto e accurato di ciò che questi sistemi di intelligenza artificiale sono effettivamente capaci di raggiungere.