Benign interpolation and Occam's razor
Questo articolo sostiene che i recenti tentativi di spiegare il successo della generalizzazione dei modelli di deep learning interpolante attraverso un ricorso al rasoio di Occam creino un vuoto esplicativo confondendo proprietà non provate di singoli modelli con la connessione rigorosa e supportata da teoremi tra la semplicità della classe di modelli e la generalizzazione riscontrata nella teoria dell'apprendimento classica.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un robot a riconoscere foto di gatti e cani. Gli mostri migliaia di foto e lui impara a distinguere la differenza. Nei vecchi tempi dell'informatica, esisteva una regola d'oro chiamata "Il Rasoio di Occam". Diceva fondamentalmente: "Mantieni le cose semplici". Se due teorie spiegano i dati, scegli la più semplice. Perché? Perché se un modello diventa troppo complicato, inizia a memorizzare le foto di addestramento come un pappagallo invece di imparare davvero cosa sia un gatto. Questo si chiama "overfitting" (sovra-apprendimento), ed è un disastro. Se il robot vede una nuova immagine, fallisce perché era troppo impegnato a memorizzare quelle vecchie.
Per decenni, gli scienziati hanno usato questa regola per costruire un'IA sicura e affidabile. Credevano che, per rendere un robot intelligente, fosse necessario limitare la sua potenza cerebrale affinché non si confondesse. Ma poi, è successo qualcosa di strano. L'IA moderna, nello specifico il "deep learning", ha iniziato a infrangere tutte le regole. Questi nuovi robot hanno cervelli così enormi che possono memorizzare perfettamente ogni singola foto di addestramento, anche se mescoli le etichette e dici loro che un gatto è un tostapane. Secondo tutte le vecchie regole, dovrebbero essere terribili nel fare previsioni su nuove immagini. Eppure, sono incredibili. Si adattano perfettamente ai dati disordinati ma indovinano comunque il futuro correttamente. Questo strano fenomeno è chiamato "interpolazione benigna", e ha lasciato gli scienziati a grattarsi la testa, chiedendosi come un robot possa essere contemporo un perfetto memorizzatore e un brillante predittore.
Questo articolo, scritto da Tom F. Sterkenburg, Daniel A. Herrmann e Jan-Willem Romeijn, scava in questo mistero per vedere se le nuove spiegazioni di questo miracolo reggano il confronto. Gli autori agiscono essenzialmente come detective, indagando su una popolare nuova teoria emersa per spiegare perché questi enormi modelli di IA funzionino così bene.
La nuova teoria suggerisce che, nonostante questi modelli di IA siano enormi e complessi, il modo in cui apprendono (usando un metodo chiamato "discesa del gradiente stocastico") li spinga segretamente verso la soluzione più "semplice" tra tutti i fit perfetti. È come un escursionista che ha un milione di sentieri tra cui scegliere per raggiungere una vetta; la teoria sostiene che gli scarponi dell'escursionista lo guidino naturalmente verso il sentiero più liscio e diretto, ignorando quelli accidentati e rocciosi. I sostenitori di questa idea la chiamano "bias di semplicità" e dicono che sia una versione moderna del Rasoio di Occam che salva la situazione. Sostengono che l'IA scelga il modello più semplice che si adatta ai dati, motivo per cui generalizza così bene.
Tuttavia, gli autori di questo articolo sostengono che questa spiegazione abbia un enorme buco. Evidenziano che il vecchio "Rasoio di Occam" era una regola matematicamente provata riguardante gruppi di modelli (classi di modelli). Dimostrava che se scegli un gruppo di modelli piccolo e semplice, hai la garanzia di ottenere buoni risultati. Ma la nuova teoria parla di modelli individuali. Dice: "Questo specifico modello è semplice perché ha una 'norma' bassa (una misura matematica della dimensione) o è 'liscio'".
Il problema, spiegano gli autori, è che non esiste una prova matematica che colleghi la semplicità di un singolo modello alla sua capacità di predire il futuro. Nei vecchi tempi, la matematica garantiva che i gruppi semplici funzionassero. Nella nuova storia, gli autori affermano che gli scienziati stanno solo definendo questi modelli specifici come "semplici" e sperano che il nome "Rasoio di Occam" faccia il lavoro pesante per loro. È come dire: "Questa roccia è una pietra magica perché l'ho chiamata una pietra magica", senza alcuna prova che le pietre magiche esistano davvero.
L'articolo suggerisce che, sebbene queste nuove idee siano interessanti, lasciano un vuoto. Non hanno ancora dimostrato perché scegliere un modello individuale "semplice" porti a buone previsioni. Gli autori sostengono che la nuova teoria stia essenzialmente facendo un'ipotesi enorme e non provata: che il mondo sia pieno di pattern semplici che questi modelli di IA si trovano a trovare. Non dicono che questa ipotesi sia sbagliata, ma insistono sul fatto che le spiegazioni attuali siano solo congetture. Stanno usando il nome di un celebre principio (il Rasoio di Occam) per far sembrare un'ipotesi audace un fatto scientifico solido.
Quindi, qual è il verdetto? L'articolo non dice che la nuova IA sia rotta; dice che non comprendiamo ancora appieno perché funzioni. Gli autori suggeriscono che forse la risposta non è una regola universale sulla semplicità, ma qualcosa di più specifico relativo ai dati che raccogliamo o ai compiti specifici che chiediamo all'IA di svolgere. Finché qualcuno non potrà provare la connessione tra "modelli individuali semplici" e "buone previsioni", il mistero dell'interpolazione benigna rimarrà esattamente questo: un mistero. La nuova teoria è un indizio promettente, ma non è la risposta finale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.