L'intelligenza artificiale moderna si basa su un delicato gioco di equilibrio. Per insegnare a un computer a riconoscere un gatto in una foto o a scrivere una storia coerente, i ricercatori devono guidare un massiccio sistema matematico attraverso un paesaggio di errori, regolando costantemente le sue impostazioni interne per trovare il punto più basso. Questo processo è chiamato addestramento, e lo strumento utilizzato per navigare questo terreno è un ottimizzatore. Per anni, lo standard del settore è stato un algoritmo chiamato Adam. È il motore predefinito per i modelli linguistici più potenti, quelli che possono scrivere codice, tradurre lingue e sostenere conversazioni. Eppure, nonostante la sua ubiquità, il fondamento matematico di Adam è stato incerto. Per quasi un decennio, un famoso risultato teorico ha suggerito che Adam potesse fallire catastroficamente, sfuggendo al controllo anche su problemi semplici. Ciò ha creato un paradosso: lo strumento che alimenta l'IA più avanzata era teoricamente guasto, eppure funzionava perfettamente nella pratica. I ricercatori si chiedevano perché la teoria non corrispondesse alla realtà e se lo strumento su cui facevano affidamento fosse davvero sicuro.

Una nuova tesi di dottorato di Yushun Zhang, della Università Cinese di Hong Kong, Shenzhen, risolve questo paradosso osservando il problema da una prospettiva fresca. Il lavoro non si limita a riparare la teoria; riesamina la natura stessa dei problemi che questi modelli risolvono. Il ricercatore ha scoperto che il timore che Adam fallisse si basava su una configurazione specifica e artificiale che non riflette come avviene realmente l'addestramento nel mondo reale. Cambiando la prospettiva e concentrandosi sulla dimensione dei blocchi di dati utilizzati durante l'addestramento, lo studio dimostra che Adam è effettivamente sicuro, a patto che le sue impostazioni siano regolate correttamente per il compito specifico. Più importante ancora, la tesi scopre una struttura geometrica nascosta nei dati delle moderne reti neurali. Questa struttura spiega perché Adam superi i suoi rivali in compiti complessi come l'addestramento di grandi modelli linguistici, pur fallendo in quelli più semplici. Si scopre che il panorama interno di questi modelli non è un caos disordinato, ma piuttosto una collezione di blocchi distinti e organizzati. Riconoscere questo schema ha permesso al ricercatore di progettare un nuovo ottimizzatore più efficiente, chiamato Adam-mini, che riduce della metà la memoria necessaria per addestrare questi enormi modelli senza sacrificare le prestazioni.

La storia inizia con il lungo dibattito sulla l'affidabilità di Adam. Per anni, un articolo ampiamente citato ha sostenuto che Adam potesse divergere, ovvero che il processo di addestramento potesse scappare verso l'infinito invece di stabilizzarsi. Questa affermazione si basava su un esempio matematico specifico in cui l'algoritmo veniva testato su un problema che cambiava le proprie regole a seconda delle impostazioni dell'algoritmo stesso. Nel mondo reale, tuttavia, i ricercatori non cambiano il problema per adattarlo allo strumento; fissano il problema e regolano lo strumento per adattarlo ad esso. Il lavoro di Zhang mostra che quando il problema è fisso, come avviene nell'addestramento effettivo, Adam non diverge. Al contrario, mostra una chiara transizione di fase: se le impostazioni sono scelte male, può fallire, ma se sono scelte correttamente, converge in sicurezza. La chiave di questa sicurezza risiede in un'impostazione specifica che controlla quanto peso l'algoritmo dà alle informazioni passate. Lo studio dimostra che per dataset più grandi, questa impostazione deve essere più alta per garantire la stabilità. Questa scoperta si allinea con ciò che gli ingegneri hanno osservato nella pratica: quando si addestrano grandi modelli linguistici con piccoli batch di dati, aumentare questa impostazione evita il crash dell'addestramento. La tesi fornisce la prima prova matematica rigorosa che la versione standard di Adam, senza alcuna modifica, è sicura da usare se regolata correttamente.

Dopo aver stabilito che Adam è sicuro, la ricerca si sposta su una domanda più enigmatica: perché funziona molto meglio del suo principale concorrente, SGD, su modelli complessi come i Transformer, pur performando peggio su quelli più semplici? Per rispondere, il ricercatore ha esaminato la forma del panorama dell'errore, nello specifico un oggetto matematico chiamato Hessiana, che descrive come l'errore cambi in ogni direzione. Nei problemi semplici, questo panorama è denso e aggrovigliato, come una foresta fitta dove ogni sentiero è connesso a tutti gli altri. In tali ambienti, la strategia di Adam di regolare ogni impostazione individualmente è inefficiente. Tuttavia, quando il ricercatore ha esaminato l'Hessiana delle reti neurali profonde e dei Transformer, è emerso un modello sorprendente. Man mano che l'addestramento procedeva, il panorama complesso e aggrovigliato si semplificava in una struttura di blocchi distinti e separati. Immaginate un vasto foglio di calcolo dove, invece di ogni cella che influenza tutte le altre, l'influenza è confinata a specifiche righe e colonne. In queste reti, i parametri che controllano un neurone di output specifico o una specifica testa di attenzione formano il proprio gruppo isolato.

Questa struttura a blocchi è il segto di successo di Adam. Poiché il panorama è suddiviso in blocchi indipendenti, il metodo di Adam di assegnare un tasso di apprendimento unico per ogni parametro diventa altamente efficace. Può regolare le impostazioni per un blocco senza sballare accidentalmente le impostazioni di un altro. Al contrario, ottimizzatori più semplici come SGD applicano un singolo tasso di apprendimento all'intero sistema, che fatica a gestire le velocità e le scale variabili di questi diversi blocchi. Lo studio ha inoltre rivelato che questa struttura a blocchi non è una coincidenza; deriva naturalmente dal modo in cui queste reti sono costruite, specificamente dalla moltiplicazione consecutiva di grandi matrici durante il processo di calcolo. Mentre la rete si addestra, le connessioni tra parti distanti del sistema svaniscono, lasciando dietro di sé questi blocchi puliti e separati. Questa intuizione spiega perché Adam sia il motore preferito per l'IA moderna: i problemi che risolve hanno una geometria nascosta che si abbina perfettamente al design dell'ottimizzatore.

Armato di questa comprensione della struttura a blocchi nascosta, il ricercatore ha sviluppato un nuovo ottimizzatore chiamato Adam-mini. L'algoritmo standard Adam è vorace di memoria perché tiene traccia di un tasso di apprendimento unico per ogni singolo parametro del modello. Per un grande modello linguistico, ciò richiede di memorizzare il doppio dei dati rispetto al modello stesso, creando un collo di bottiglia che rallenta l'addestramento e limita la dimensione dei modelli che possono essere eseguiti sull'hardware disponibile. La nuova intuizione è che, poiché i parametri sono organizzati in blocchi, non abbiamo bisogno di un tasso di apprendimento unico per ognuno di essi. Inveve, possiamo assegnare un tasso di apprendimento a ogni intero blocco. Questo semplice cambiamento riduce l'impronta di memoria del 50 percento. Il nuovo ottimizzatore, Adam-mini, raggruppa i parametri secondo la loro naturale struttura a blocchi — raggruppandoli per righe per la maggior parte degli strati e per teste di attenzione per parti specifiche della rete — e applica un singolo tasso di apprendimento a ciascun gruppo.

I risultati di questo redesign sono immediati e pratici. Nei test di addestramento di modelli che vanno da 39 milioni a un miliardo di parametri, Adam-mini ha eguagliato le prestazioni del normale ottimizzatore Adam utilizzando la metà della memoria. Questa efficienza permette ai ricercatori di addestrare modelli più grandi sullo stesso hardware o di addestrare i modelli esistenti più velocemente. L'approccio è già stato adottato da importanti laboratori di IA, inclusi DeepSeek e il team dietro il modello Kimi K3, che utilizzano una variante di questo metodo per addestrare i loro sistemi di prossima generazione. La tesi ha anche dimostrato che questo principio dei tassi di apprendimento per blocchi può essere applicato ad altri ottimizzatori avanzati, migliorandone l'efficienza senza cambiare la loro logica di base. Rivelando la geometria nascosta dell'addestramento delle reti neurali, questo lavoro ha spostato il campo da un luogo di incertezza e tentativi ed errori a uno di design basato su principi. Dimostra che gli strumenti più efficaci per l'intelligenza artificiale non sono solo colpi di fortuna, ma algoritmi perfettamente sintonizzati sulla specifica struttura matematica dei problemi che risolvono.