SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
SLOPE è un nuovo metodo di pre-training per i Large Language Models che combina pesi sparsi N:M a doppia potatura con una strategia di adattatore low-rank "pigra" applicata solo nell'ultimo 1% delle iterazioni di addestramento, ottenendo incrementi significativi di velocità (fino a 1,54×) e riduzioni di memoria (fino a 0,63×) sia durante l'addestramento che durante l'inferenza, mantenendo al contempo un'accuratezza del modello comparabile a quella dei modelli densi.
Il mondo moderno dell'intelligenza artificiale è sempre più definito dai grandi modelli linguistici, vasti cervelli digitali addestrati su enormi biblioteche di testo per comprendere e generare il linguaggio umano. Questi sistemi sono potenti, ma comportano un prezzo elevato: richiedono quantità immense di potenza di calcolo per l'addestramento e vaste quantità di memoria per l'esecuzione. Per rendere questi modelli più veloci ed economici da utilizzare, i ricercatori cercano da tempo di semplificarli rimuovendo parti della loro struttura interna che sembrano meno importanti, un processo noto come pruning. Immaginate una biblioteca massiccia in cui decidete di rimuovere ogni libro che non viene letto spesso; l'edificio diventa più piccolo e facile da navigare, ma se rimuovete troppi libri o quelli sbagliati, la biblioteca perde la capacità di rispondere alle domande. Nel regno digitale, questa semplificazione porta spesso a una perdita di accuratezza, dove il modello diventa meno affidabile. Inoltre, sebbene la rimozione dei dati risparmi spazio, il computer deve comunque svolgere il complesso lavoro di controllare quali parti mantenere e quali scartare durante ogni fase del suo apprendimento, annullando spesso i vantaggi in termini di velocità.
Un team di ricercatori ha sviluppato un nuovo approccio chiamato SLOPE per risolvere questo persistente compromesso tra velocità, memoria e accuratezza. Il loro metodo consente che questi massicci modelli linguistici siano addestrati e utilizzati con significativamente meno risorse senza sacrificare la loro capacità di comprendere il linguaggio. Il cuore della loro innovazione risiede nel modo in cui gestiscono il processo di apprendimento del modello. Invece di cercare di mantenere il modello semplice fin dall'inizio, permettono che esso apprenda utilizzando una struttura standard e semplificata per quasi tutto il periodo di addestramento. Poi, nell'ultima, minuscola frazione del tempo di addestramento, introducono una piccola, flessibile aggiunta che aiuta il modello a recuperare qualsiasi precisione perduta. Questa aggiunta non è un componente pesante e a dimensione intera, ma uno strato leggero ed efficiente che agge come uno strumento di fine-tuning, permettendo al modello di recuperare la sua nitidezza senza la necessità di memorizzare o elaborare una quantità massiccia di dati extra.
I ricercatori hanno anche affrontato un collo di bottiglia specifico che ha rallentato i precedenti tentativi di semplificazione di questi modelli. Nelle operazioni informatiche standard, il modello deve guardare i suoi dati interni in due direzioni diverse: una per predire la parola successiva e l'altra per correggere i propri errori. I precedenti metodi di semplificazione funzionavano bene per la prima direzione, ma costringevano il computer a svolgere un lavoro extra e lento quando guardava i dati nella seconda direzione. Il nuovo metodo cambia l'ordine delle operazioni in modo che la semplificazione funzioni efficientemente in entrambe le direzioni simultaneamente. Ciò consente al computer di elaborare i dati molto più velocemente, utilizzando hardware specializzato progettato per gestire questi specifici pattern di zeri e non-zeri. Riorganizzando il modo in cui i dati vengono potati prima di essere elaborati nella fase di correzione, i ricercatori hanno garantito che il modello potesse apprendere con la stessa efficacia pur muovendosi attraverso i dati a una velocità molto più elevata.
Quando testato su modelli che vanno da centinaia di milioni a decine di miliardi di parametri, i risultati sono stati sostanziali. Il nuovo metodo ha accelerato il processo di addestramento fino a 1,25 volte e ha reso l'esecuzione del modello finale fino a 1,54 volte più veloce durante l'uso. Forse ancora più importante, ha ridotto la quantità di memoria informatica richiesta per eseguire questi modelli di oltre la metà in alcuni casi. I ricercatori hanno scoperto che, aggiungendo il loro strato leggero e flessibile solo alla fine dell'addestramento, il modello poteva raggiungere livelli di accuratezza molto vicini a quelli delle versioni molto più grandi e non semplificate. Questo approccio evita l'errore comune per cui i modelli semplificati richiedono una fase finale di riaddestramento costosa con dati a dimensione intera per tornare ad essere utili. Invece, il modello rimane efficiente durante l'intero ciclo di vita, dal momento in cui inizia l'apprendimento al momento in cui risponde alla domanda di un utente.
Lo studio dimostra che è possibile avere sia efficienza che alte prestazioni nell'intelligenza artificiale, a patto che la semplificazione sia applicata con una strategia specifica. I ricercatori hanno dimostrato che la tempistica con cui viene aggiunta la capacità extra conta moltissimo; introdurre una piccola quantità di flessibilità alla fine del processo di apprendimento produce risultati migliori rispetto al cercare di mantenere quella flessibilità durante tutto il percorso. Questa scoperta sfida l'assunto che un modello debba essere o completamente complesso o completamente semplice, suggerendo invece che un approccio ibrido, in cui il modello è per lo più semplice ma riceve una spinta mirata al traguardo, offra il meglio di entrambi i mondi. Il lavoro fornisce un percorso chiaro per rendere l'intelligenza artificiale avanzata più accessibile, più veloce e meno esigente per l'hardware che la alimenta.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.