Compressing LLMs with MoP: Mixture of Pruners
Il documento introduce MoP (Mixture of Pruners), un framework iterativo che unifica la potatura di profondità e larghezza per superare i metodi esistenti a singola dimensione in termini di accuratezza e riduzione della latenza attraverso i modelli LLaMA e LLaVA.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di trasportare una biblioteca enorme e pesante in uno zaino. Questa biblioteca contiene la somma della conoscenza umana, scritta in una lingua così complessa che solo i computer più intelligenti sanno leggerla. Queste "biblioteche" sono chiamate Large Language Models (LLM). Sono incredibili nel scrivere storie, risolvere problemi di matematica e persino nel chiacchierare come un amico. Ma c'è un problema: sono così grandi e pesanti che richiedono enormi quantità di elettricità e computer super veloci solo per aprire il libro e leggere una singola frase. Se vuoi usarli su un normale laptop o su un telefono, spesso sono troppo lenti e pesanti da trasportare.
Per risolvere questo problema, gli scienziati hanno cercato di rendere queste biblioteche più piccole senza buttare via i libri importanti. Un modo per farlo si chiama "pruning" (potatura). Pensa alla potatura come al giardinaggio. Hai un cespuglio gigante e troppo cresciuto (il grande modello informatico) e vuoi ridurlo in una forma più piccola e ordinata. Puoi tagliare via interi rami (rendendo il cespuglio più corto) o puoi potare le foglie dai rami (rendendo il cespuglio più sottile). Per molto tempo, i giardinieri hanno dovuto scegliere: o tagliare interi rami o potare le foglie, ma non entrambe le cose contemporaneamente. La domanda era, in quale modo si può rendere il cespuglio più piccolo mantenendolo però sano e capace di dare frutti?
Questo articolo presenta un nuovo strumento da giardinaggio chiamato MoP, che sta per Mixture of Pruners. Invece di scegliere un solo metodo per potare, MoP è un giardiniere intelligente e iterativo che prova entrambi i metodi ad ogni passaggio. Immagina di stare potando il tuo cespuglio. Ad ogni taglio, MoP pone due domande: "Se taglio via questo intero ramo, come appare il cespuglio?" e "Se invece poto le foglie da questo ramo, come appare?". Poi sceglie la versione che mantiene il cespuglio più simile alla pianta originale e sana. Ripete questo processo, alternando il taglio dei rami e la potatura delle foglie, finché il cespuglio non è abbastanza piccolo da entrare nel tuo zaino.
I ricercatori hanno testato questo metodo su alcuni dei cervelli informatici più intelligenti del mondo, come i modelli LLaMA-2 e LLaMA-3. Hanno scoperto che MoP è molto più bravo a restringere questi modelli rispetto all'uso di un solo metodo da solo. Quando hanno ridotto i modelli del 40% (rendendoli il 40% più piccoli), MoP ha mantenuto i modelli intelligenti quanto la concorrenza, ma li ha anche resi significativamente più veloci. Infatti, i modelli sono diventati il 39% più veloci nel rispondere alle domande. In modo ancora più sorprendente, hanno provato questo metodo su un modello che può vedere immagini e leggere testo (chiamato LLaVA-1.5). Hanno scoperto che, anche se hanno "insegnato" al modello potato solo con il testo (senza immagini), il modello era ancora in grado di comprendere le immagini quasi quanto prima. Ciò suggerisce che mescolare le due strategie di potatura crea un cervello informatico più piccolo, veloce e intelligente che non perde la strada, anche quando diventa molto piccolo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.