Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models
Questo articolo propone un metodo privo di addestramento per dimezzare il costo computazionale dei modelli Mixture-of-Experts a grana fine durante l'inferenza, disaccoppiando la selezione degli esperti dalla rinormalizzazione delle probabilità, preservando così le prestazioni normalizzando rispetto a un insieme di riferimento di esperti più ampio anziché rispetto all'insieme attivo ridotto.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
I moderni sistemi di intelligenza artificiale che generano testo spesso si basano su un design che separa la quantità totale di conoscenza che possiedono dalla quantità di pensiero che dedicano a ogni parola. Immaginate una biblioteca enorme contenente migliaia di libri specializzati, ma che per ogni frase scritta il sistema ne apre solo un piccolo numero per trovare l'informazione corretta. Questo approccio, noto come modello Mixture-of-Experts, permette ai computer di archiviare enormi quantità di dati senza rallentare ogni volta che parlano. Il sistema utilizza una piccola guida interna per decidere quali libri specifici aprire per ogni parola, assicurando che solo una minuscola frazione dell'intera biblioteca venga consultata in ogni momento. Ciò crea una situazione unica: il computer deve tenere tutti i libri sui suoi scaffali per essere pronto a qualsiasi argomento, ma legge solo poche pagine alla volta.
Poiché il computer deve mantenere tutte queste sezioni specializzate nella sua memoria, i ricercatori hanno a lungo cercato modi per rendere il sistema più veloce, costringendolo a leggere ancora meno pagine. Il metodo standard per farlo è semplice: dire al sistema di aprire meno libri per frase. Tuttavia, questo approccio diretto ha storicamente causato confusione nel sistema, portandolo a commettere più errori. La confusione nasce non perché il sistema manchi dei libri giusti, ma perché il modo in cui pesa le informazioni provenienti da quei libri cambia inaspettatamente quando il numero di libri viene ridotto. Un nuovo studio di Xing Chen e Hengshuai Yao rivela che questa confusione è causata da un aggiustamento matematico nascosto che il sistema esegue automaticamente, e hanno scoperto un modo per disattivare tale aggiustamento senza dover riaddestrare il sistema o aggiungere nuovi componenti.
I ricercatori si sono concentrati su due modelli linguistici molto grandi, uno con 35 miliardi di parametri e un altro con quasi 400 miliardi. Questi modelli sono progettati con centinaia di piccole sezioni specializzate, o esperti, per ogni livello di elaborazione. Nella loro operazione standard, il sistema seleziona otto di questi esperti per ogni parola che elabora. Quando i ricercatori hanno cercato di velocizzare il sistema tagliando questo numero della metà, costringendolo a usare solo quattro esperti, le prestazioni sono diminuite significamente. In un test standard di conoscenza generale, l'accuratezza è scesa di quasi cinque punti. Questa perdita è stata così grave che molti avevano assunto che ridurre il numero di esperti attivi fosse semplicemente troppo costoso per essere utile. I ricercatori sospettavano che il problema non fosse la mancanza degli esperti in sé, ma piuttosto il modo in cui il sistema ricalibrava l'importanza dei rimanenti.
Nella configurazione standard, quando il sistema sceglie i suoi migliori esperti, ne regola l'influenza in modo che la loro importanza combinata sommi sempre a un totale fisso. Questo è un meccanismo di sicurezza per mantenere stabile il sistema. Tuttavia, in questi modelli a grana fine, i primi otto esperti detengono solitamente solo una piccola frazione della possibile importanza totale. Quando il sistema è costretto a sceglierne solo quattro, l'aggiustamento standard moltiplica la loro influenza per un fattore elevato per compensare la differenza. Questo improvviso aumento spinge il sistema in uno stato che non era mai stato addestrato a gestire, causando reazioni eccessive ed errori. I ricercatori si sono resi conto che il sistema non stava realmente perdendo informazioni; stava semplicemente ricevendo l'ordine di urlare più forte di quanto avrebbe dovuto.
Per risolvere il problema, il team ha introdotto un cambiamento semplice che non richiede addestramento né potenza di calcolo extra. Hanno separato la decisione di quali esperti utilizzare dalla decisione di come pesarli. Hanno permesso al sistema di scegliere solo quattro esperti per svolgere il lavoro, ma hanno ordinato di calcolare i pesi di importanza basandosi sui primi sedici esperti invece che solo sui primi quattro. Facendo ciò, il sistema ha mantenuto lo stesso volume di informazioni a cui era abituato ad ascoltare, anche se utilizzava solo la metà delle sezioni attive. Questo piccolo aggiustamento, che consiste nel cambiare un singolo parametro intero, ha cambiato completamente l'esito. Sul modello da 35 miliardi di parametri, ridurre gli esperti attivi da otto a quattro con questa nuova impostazione ha causato una diminuzione dell'accuratezza di soli 0,35 punti, una differenza così piccola da essere statisticamente indistinguibile dal sistema originale, più lento.
Lo studio ha testato questo metodo anche sul modello molto più grande da 400 miliardi di parametri, dove i risultati sono stati altrettanto drammatici. Tagliare la metà degli esperti attivi con il metodo standard ha causato una significativa perdita di prestazioni, ma l'uso del nuovo metodo di ponderazione ha ridotto la perdita a soli 0,55 punti. I ricercatori hanno scoperto che la migliore impostazione per questo nuovo peso dipendeva dal compito specifico. Ad esempio, un'impostazione che rendeva il sistema migliore nella lettura di un testo non faceva sempre performare al meglio il sistema nei puzzle logici o nei test di conoscenza. Questa scoperta suggerisce che misurare semplicemente quanto bene un modello compresso legge il testo non è sufficiente a garantire che funzionerà bene in altri compiti. I ricercatori hanno concluso che, per ridurre in sicurezza la potenza di calcolo necessaria per questi modelli, è necessario calibrare attentamente questa impostazione di ponderazione utilizzando test di prestazione reali piuttosto che affidarsi solo alla fluidità del testo.
Il documento ha anche esplorato perché rimuovere permanentemente gli esperti extra, piuttosto che usarne semplicemente meno temporaneamente, sia difficile. Hanno scoperto che questi modelli sono altamente specializzati, con diversi esperti che gestiscono contenuti differenti come il codice o la scrittura generale. Poiché gli esperti sono così specializzati e il sistema è così ben bilanciato, c'è pochissimo spazio per eliminare permanentemente gli esperti senza perdere la capacità di gestire argomenti diversificati. La strada più efficace da seguire, quindi, non è quella di buttare via parti del modello, ma semplicemente di dire al sistema di usare meno parti alla volta pur mantenendo costante il volume complessivo di informazioni che elabora. Questo approccio offre un modo per rendere questi potenti sistemi più veloci ed efficienti senza sacrificare la loro intelligenza, semplicemente correggendo un errore di calibrazione nascosto che si verifica quando cambiano le regole di interazione.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.