🤖 machine learning

Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference

Questo articolo introduce la Moltiplicazione di Matrici Ridotta (RMM), un metodo di inferenza adattivo all'input e privo di addestramento che riduce i costi computazionali nei modelli basati su Transformer trattenendo selettivamente porzioni informative dei prodotti matriciali, ottenendo scalabili compromessi tra accuratezza ed efficienza attraverso varie dimensioni del modello, task e modalità senza modificare i pesi del modello.

Autori originali: Zixuan Lan, Yanhong Li, Jiawei Zhou

Pubblicato 2026-08-14

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zixuan Lan, Yanhong Li, Jiawei Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate il cervello di un computer moderno come un bibliotecario massiccio e iper-intelligente. Questo bibliotecario non si limita a leggere libri; li scrive, risolve problemi di matematica e persino guarda immagini per raccontare storie. Per farlo, utilizza un tipo speciale di architettura cerebrale chiamato "Transformer". Pensate al Transformer come a una gigantesca fabbrica dove le informazioni scorrono attraverso catene di montaggio. In ogni stazione di queste linee, la fabbrica esegue un calcolo massiccio: moltiplica enormi griglie di numeri tra loro. Queste sono le "moltiplicazioni di matrici" che alimentano la magia. Il problema è che questi calcoli sono incredibilmente pesanti. Richiedono molta energia e tempo, come cercare di spostare una montagna di sabbia con un cucchiaino. Man mano che questi modelli di IA diventano più intelligenti e grandi, la "montagna" diventa più alta, rendendo costoso e lento il loro funzionamento. Gli scienziati si sono chiesti a lungo: il bibliotecario sta usando davvero ogni singolo granello di sabbia in quella montagna per ogni singola attività, o c'è molta sabbia superflua che potremmo spazzare via senza che il bibliotecario se ne accorga?

Questo articolo introduce un nuovo trucco astuto chiamato Moltiplicazione di Matrici Ridotta (RMM). Invece di cercare di rimpicciolire permanentemente la fabbrica o di cancellare parti della memoria del bibliotecario (il che potrebbe rompere le cose), la RMM agisce come un filtro intelligente e istantaneo. Ogni volta che il bibliotecario sta per eseguire un calcolo massiccio, la RMM si ferma e chiede: "Quali numeri specifici in questa griglia stanno facendo il lavoro pesante proprio ora?". Poi sceglie solo quelli più importanti — diciamo il top 50% o 70% — e ignora il resto per quel momento specifico. È come uno chef che, invece di tagliare ogni singolo ortaggio nel frigorifero per una zuppa, assaggia rapidamente il brodo e decide di usare solo le carote e le cipolle di cui ha bisogno per quel particolare sapore. La cosa migliore? Il bibliotecario non ha bisogno di essere riaddestrato o istruito su come fare questo; funziona naturalmente con i numeri che sta già generando.

I ricercatori hanno testato questa idea su una vasta gamma di modelli di IA, che vanno da quelli piccoli con 1 miliardo di parametri a giganti con 70 miliardi. Hanno scoperto che questi modelli sono sorprendentemente flessibili. Quando hanno ridotto la quantità di matematica eseguita mantenendo solo una parte dei numeri, i modelli non sono crollati. Infatti, più grande era il modello, più sabbia sembrava disposto a lasciare andare senza perdere la ragione. Ad esempio, il gigante modello da 70 miliardi di parametri poteva gestire una riduzione del 50% dei calcoli pur continuando a rispondere a domande e scrivere storie quasi altrettanto bene di prima. Tuttavia, l'articolo ha anche scoperto una curiosa particolarità nel modo in cui queste fabbriche sono costruite: le parti dell' "attenzione" del cervello (dove il modello decide su cosa concentrarsi) sono molto tranquille e possono gestire facilmente la perdita di metà del loro lavoro. Ma le parti "MLP" (le parti che effettivamente elaborano e trasformano l'informazione) sono molto più sensibili; se si taglia troppo lì, il modello inizia a inciampare.

Il team ha anche dimostrato che questo trucco funziona per i modelli che possono vedere e parlare, non solo per quelli basati solo sul testo. Hanno persino costruito strumenti software speciali per dimostrare che saltare questi numeri rende effettivamente il computer più veloce nella vita reale, specialmente quando le storie o le frasi diventano molto lunghe. Sebbene l'articolo suggerisca che questo sia un modo promettente per rendere l'IA più economica e veloce, nota anche che non esiste un'impostazione "perfetta" per tutti. Bisogna regolare quanto tagliare in base al modello specifico e a ciò che si sta chiedendo di fare. Ma in generale, la RMM offre un nuovo modo, che non richiede addestramento, per rendere questi giganti digitali più leggeri, dimostrando che a volte, fare meno matematica può effettivamente aiutarti a pensare con la stessa chiarezza.

Riepilogo Tecnico: Riduzione della Moltiplicazione di Matrici (RMM) per l'Inferenza di LLM

Problematica
I modelli linguistici basati su Transformer ottengono prestazioni elevate ma comportano costi di inferenza sostanziali, guidati da ripetute moltiplicazioni di matrici ad alta dimensionalità nei livelli di attenzione e feed-forward (MLP). Sebbene lavori precedenti abbiano affrontato l'efficienza dell'inferenza attraverso il pruning strutturato, l'approssimazione a basso rango, la compressione dei token o la gestione della KV-cache, questi metodi tipicamente modificano strutture di modello fisse o accorciano input/cache. Essi non affrontano direttamente se la computazione contratta all'interno di ogni prodotto matriciale possa essere ridotta in modo adattivo per un input specifico senza modificare i pesi del modello. I metodi esistenti di sparsità delle attivazioni (ad es., TEAL, CATS) saltano le voci di attivazione a bassa magnitudo, ma si concentrano sul rendere sparse le attivazioni degli stati nascosti piuttosto che sul ridurre gli assi di contrazione condivisi di prodotti matriciali generici.

Metodologia: Riduzione della Moltiplicazione di Matrici (RMM)
Gli autori propongono Reduced Matrix Multiplication (RMM), un metodo di inferenza adattivo all'input e privo di addestramento (training-free). RMM opera sulla forma unificata delle computazioni Transformer, $Y = AB$, dove $A$ rappresenta la matrice di attivazione e $B$ rappresenta la matrice dei pesi (o la rappresentazione intermedia).

Meccanismo Core: Inveve di calcolare il prodotto completo $AB$, RMM seleziona dinamicamente un sottoinsieme di indici $I$ lungo la dimensione di contrazione condivisa $d$ in base alle magnitudo delle attivazioni dell'input corrente. Calcola il prodotto ridotto $A_{:,I} B_{I,:}$ .
Strategia di Selezione: Il metodo impiega una selezione della dimensione consapevole delle attivazioni (activation-aware dimension selection). Per ogni dimensione di caratteristica, viene calcolato un punteggio di importanza $s_j = \|A_{:,j}\|_2$ (la norma colonna della matrice di attivazione). Vengono mantenuti gli indici top- $k$ con i puntei più alti, dove $k = \lceil \rho d \rceil$ e $\rho$ è un rapporto di ritenzione controllato dall'utente.
Base Teorica: Gli autori dimostrano che la selezione TopK tramite norma colonna è minimax ottimale per minimizzare l'errore di approssimazione nel caso peggiore su tutte le possibili matrici di pesi $B$ quando solo $A$ è nota al momento della selezione. Ciò fornisce una giustificazione rigorosa all'uso delle magnitudo delle attivazioni per guidare la riduzione.
Ambito di Applicazione: RMM è applicato a:
- Livelli di Attenzione: Riduzione della dimensione delle caratteristiche in $QK^\top$ (interazione query-key) e, opzionalmente, della dimensione dei token in $PV$ (interazione attenzione-valore).
- MLP e Proiezioni Lineari: Riduzione della dimensione nascosta nelle proiezioni feed-forward ($XW$).
Implementazione: Il metodo richiede il calcolo dei punteggi delle caratteristiche e l'esecuzione della selezione top- $k$ , che sono operazioni vettoriali leggere rispetto alle moltiplicazioni di matrici dense che sostituiscono. Sono stati implementati kernel Triton personalizzati per realizzare questi risparmi nella pratica.

Contributi Chiave

Riduzione Adattiva all'Input: Introduce una nuova prospettiva sull'ottimizzazione dell'inferenza che riduce la computazione contratta dei prodotti matriciali stessi, distinguendosi dal pruning dei pesi, dalla compressione dei token o dalla gestione delle cache.
Privo di Addestramento e Controllabile: Il metodo non richiede riaddestramento e offre un compromesso tra accuratezza ed efficienza fluido e prevedibile, controllato da un semplice rapporto di ritenzione ( $\rho$ ).
Approfondimenti Meccanicistici: Attraverso studi di ablazione, il paper rivela un'asimmetria strutturale nei Transformer:
- Le computazioni lato attenzione (proiezioni Q, K, V, $QK^\top$ , $PV$) sono sostanzialmente più riducibili e robuste a un pruning aggressivo.
- I componenti MLP sono significativamente più sensibili alla riduzione, con la proiezione "Up" che è la più sensibile e la proiezione "Down" che è più robusta. Il pruning dell'intero blocco MLP porta a un severo collasso delle prestazioni.
Generalizzazione: Dimostra che il principio si estende oltre i modelli solo testuali all'inferenza multimodale visione-linguaggio (ad es., Qwen2.5-VL).

Risultati Sperimentali
Gli autori hanno valutato RMM su modelli che vanno da 1B a 70B di parametri (inclusi le famiglie LLaMA 3.1/3.2 e Qwen) e su diversi task (QA, ragionamento, riassunto, contesto lungo e visione-linguaggio).

Performance vs Baselines Statiche/Random: Con rapporti di ritenzione fissi (ad es., $\rho=0.5$ ), RMM supera costantemente i metodi di pruning statico (SparseGPT, Wanda, SliceGPT) e il pruning casuale. I metodi statici soffrono di un degrado instabile, mentre RMM mantiene capacità coerenti di generazione e ragionamento.
Tendenze di Scaling: I modelli più grandi generalmente tollerano una riduzione più aggressiva. Ad esempio, LLaMA 3.1 70B rimane vicino alle prestazioni del modello completo a $\rho=0.8$ nella maggior parte dei benchmark, mentre i modelli più piccoli degradano più rapidamente, specialmente su task impegnativi come GSM8K e HumanEval.
Robustezza: RMM rimane stabile nella generazione autoregressiva e nei contesti lunghi (fino a 30K token), mostrando un degrado fluido anziché un fallimento improvviso.
Efficienza di Runtime: I benchmark su GPU NVIDIA A100 utilizzando kernel personalizzati mostrano che i risparmi computazionali si traducono in velocità pratiche di tempo di esecuzione (wall-clock speedups), specialmente a lunghezze di sequenza maggiori (ad es., un aumento di velocità di 1.40x a 4096 token). Notevolmente, a 4096 token, l'implementazione densa è andata in esaurimento della memoria (out of memory), mentre RMM ha completato l'inferenza.
Compatibilità: Il metodo è compatibile con la quantizzazione dei pesi INT8 e si estende a vari backbone di modelli visione-linguaggio.

Significato e Rivendicazioni
Il paper posiziona RMM come una direzione scalabile per l'ottimizzazione dell'inferenza adattiva all'input. La sua importanza primaria risiede nel dimostrare che la ridondanza nell'inferenza dei Transformer non è distribuita uniformemente; piuttosto, è concentrata in componenti specifici (particolarmente le operazioni lato attenzione) e varia in base all'input. Sfruttando questa asimmetria strutturale e le informazioni sulle attivazioni dipendenti dall'input, RMM ottiene guadagni di efficienza controllabili senza la necessità di riaddestramento del modello o modifiche strutturali. Gli autori concludono che la riduzione adattiva a livello di prodotto matriciale è una via promettente per l'inferenza efficiente dei Transformer, suggerendo che i metodi futuri dovrebbero tenere conto dei pattern di ridondanza specifici per componente.

Limitazioni
Il lavoro si concentra su una formulazione priva di addestramento. Gli autori riconoscono di non aver esplorato estensioni oltre questo setting (ad es., integrare la riduzione adattiva negli obiettivi di pre-training) né di aver condotto uno studio dettagliato dei pattern di ridondanza in tutti i componenti di complessi modelli visione-linguaggio oltre alla valutazione iniziale. Inoltre, sebbene i kernel personalizzati mostrino miglioramenti di velocità, l'integrazione completa con tutti i framework di inferenza e i backend quantizzati rimane un lavoro futuro.

Riepilogo Tecnico: Riduzione della Moltiplicazione di Matrici (RMM) per l'Inferenza di LLM

Articoli simili