🤖 machine learning

Prox: Training-Free FFN Activation Sparsity via Approximate Intermediate-Channel Salience in LLMs

Prox è un framework privo di addestramento che consente un'esecuzione efficiente dei FFN SwiGLU sparsi nei LLM costruendo maschere di canale dalla salienza approssimativa dei canali intermedi, ottenendo così velocità significative e una qualità del modello superiore rispetto ai metodi esistenti senza richiedere il riaddestramento.

Autori originali: Jinyi Liu, Wei Chen, Pengyu Chen, Xinyi Yuan, Minghe Bai, Guoquan Wu, Jun Wei

Pubblicato 2026-07-31

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jinyi Liu, Wei Chen, Pengyu Chen, Xinyi Yuan, Minghe Bai, Guoquan Wu, Jun Wei

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di far girare un cervello robotico enorme e iper-intelligente su un piccolo dispositivo alimentato a batteria. Questo cervello, noto come Large Language Model (LLM), è incredibile nello scrivere storie, risolvere problemi matematici e chiacchierare, ma è anche incredibilmente affamato. Divora memoria e potenza di calcolo solo per pensare alla parola successiva in una frase. Per rendere questi robot più veloci e meno assetati, gli scienziati hanno cercato di insegnare loro a "saltare" parti del loro processo di pensiero che non sono importanti. Questo è chiamato attivazione sparsa (activation sparsity). Immaginalo come uno chef che, invece di tagliare ogni singolo ortaggio in cucina per una zuppa, assaggia rapidamente gli ingredienti e taglia solo quelli che aggiungeranno effettivamente sapore, lasciando il resto intatto. L'obiettivo è ottenere la stessa deliziosa zuppa (la risposta corretta) ma con molto meno lavoro. Tuttavia, la parte complicata è capire quali ortaggi saltare senza buttare accidentalmente via la spezia segreta che rende il piatto gustoso. Se indovini male, la zuppa risulterà insipida o, peggio, immangiabile.

Questo è l'enigma affrontato da un nuovo metodo chiamato Prox, sviluppato dai ricercatori Jinyi Liu e dal suo team. Si sono concentrati su un tipo specifico di architettura del cervello robotico chiamato SwiGLU, che è lo standard attuale per molti modelli potenti. I ricercatori hanno scoperto che, sebbene il "pensiero intermedio" del cervello (uno stato intermedio) contenga la mappa perfetta per decidere cosa saltare, calcolare esattamente quella mappa è troppo lento e costoso. Così, hanno ideato un trucco astuto in due fasi. Prima, utilizzano una versione "bozza" e di bassa qualità del pensiero del cervello per decidere rapidamente quali parti sono importanti. Poi, ed ecco la chiave, eseguono l'operazione matematica pesante e precisa solo su quelle parti specifiche importanti, ignorando completamente il resto. I loro esperimenti hanno dimostrato che questo metodo è molto più efficace dei trucchi precedenti che cercavano di indovinare l'importanza senza eseguire prima l'intero calcolo matematico. Nei test su dieci diversi modelli di IA, Prox è riuscito a velocizzare il pensiero del robot di quasi il doppio (fino a 1,99 volte più veloce) mantenendo le risposte altrettanto intelligenti della versione lenta a piena velocità. È come avere uno scout super veloce che corre davanti per segnare il sentiero, permettendo all'esercito principale di marciare solo sulle strade sicure e asfaltate, risparmiando tempo ed energia senza perdersi.

Il Problema: Il Pranzo Pesante del Robot

I Large Language Models sono come enormi biblioteche di conoscenza, ma sono anche molto pesanti. Quando cercano di rispondere a una domanda, devono spostare una quantità enorme di dati all'interno della loro memoria. Una grande fetta di questo traffico proviene da una parte specifica del cervello chiamata Feed-Forward Network (FFN). Puoi pensare alla FFN come alla parte del cervello che prende un'idea, la elabora e la trasmette. Nei modelli moderni, questa parte utilizza una ricetta speciale chiamata SwiGLU, che coinvolge tre diverse operazioni matematiche (proiezioni) che lavorano insieme.

Il problema è che queste tre operazioni sono così pesanti da rallentare tutto. Gli scienziati hanno cercato di risolvere il problema rendendo il modello "sparso", ovvero cercano di saltare la matematica per le parti del cervello che sembrano poco importanti. Tuttavia, i metodi esistenti per farlo senza riaddestrare il modello (il che richiede un tempo infinito) presentano un difetto. Spesso indovinano quali parti saltare basandosi su un solo pezzo di informazione, come guardando solo il "gate" o solo la parte "up" della ricetta. Questo è come cercare di decidere se una canzone è bella ascoltando solo la batteria o solo la voce. Se indovini male, salti una nota cruciale e la canzone (o la risposta dell'IA) cade a pezzi. Man mano che i ricercatori cercavano di saltare sempre più parti per diventare più veloci, la qualità delle risposte diminuiva significamente.

L'Intuizione: La Mappa vs Il Viaggio

I ricercatori, guidati da Jinyi Liu, hanno notato qualcosa di interessante nella ricetta SwiGLU. C'è un momento specifico nel processo chiamato stato intermedio (chiamiamolo il "pensiero intermedio"). Questo pensiero intermedio è il segnale perfetto per decidere quali parti del cervello mantenere e quali saltare. Se potessi vedere questo pensiero intermedio esattamente, potresti saltare fino al 70% del lavoro e ottenere comunque una risposta perfetta.

Ma ecco il problema: per vedere questo pensiero intermedio esattamente, devi eseguire prima tutta la matematica pesante. È come cercare di vedere il traguardo di una gara, ma devi correre l'intera corsa per arrivarci. Questo annulla lo scopo stesso di cercare di risparmiare tempo.

Il team si è reso conto che non avevano realmente bisogno del valore esatto del pensiero intermedio. Avevano solo bisogno di conoscere l'ordine di importanza. Dovevano sapere quali parti erano le "grandi" e quali le "piccole", non i numeri esatti. Questa è la differenza tra sapere esattamente quanti dollari hai nel portafoglio rispetto a sapere semplicemente quali banconote sono le più grandi. Se riesci a indovinare l'ordine correttamente, puoi scegliere le cose giuste da tenere.

La Soluzione: Il Trucco in Due Fasi di Prox

Per risolvere questo problema, il team ha creato Prox, un framework in due fasi che agisce come uno scout intelligente e un costruttore preciso.

Fase 1: Lo Scout Rapido (Costruzione del Proxy)
Nella prima fase, Prox utilizza una versione "economica" della matematica. Prende l'input e lo fa passare attraverso una versione semplificata e di qualità inferiore del cervello (utilizzando pesi quantizzati, che sono come numeri compressi e più piccoli). Non cerca di ottenere la risposta perfetta; vuole solo avere un'idea approssimativa di quali canali siano forti e quali deboli. Crea una "maschera", che è essenzialmente una lista di etichette "Mantieni" e "Scarta". Poiché questa fase utilizza una matematica semplificata, è molto veloce e non richiede molta memoria. Fondamentalmente, gli errori in questo calcolo approssimativo non rovinano la risposta finale perché i numeri approssimativi non vengono mai usati per l'output finale: vengono utilizzati solo per creare la lista.

Fase 2: Il Costruttore Preciso (Calcolo Sparso Esatto)
Una volta creata la lista, entra in gioco la seconda fase. È qui che avviene la vera magia. Il modello guarda la lista della Fase 1 e dice: "Ok, ignoreremo il 70% del lavoro e faremo la matematica solo per il top 30%". Ma ecco la differenza rispetto ad altri metodi: per quel 30% superiore, Prox utilizza la matematica originale, a piena precisione e ad alta intensità. Calcola i valori esatti per le parti importanti. Questo assicura che la risposta finale sia accurata quanto se il modello avesse svolto tutto il lavoro, ma ha svolto il lavoro solo per le parti che contavano.

Perché Funziona Meglio

I ricercatori hanno testato Prox su dieci diversi modelli di linguaggio di grandi dimensioni, inclusi modelli popolari come Qwen, Mistral e Llama-3. Hanno confrontato Prox con altri metodi che tentano di saltare il lavoro senza riaddestramento.

I risultati sono stati chiari: Prox è stato il vincitore. Ad alti livelli di salto (come la sparsità del 70%), altri metodi hanno iniziato a commettere errori e le risposte dell'IA sono peggiorate. Prox, invece, ha mantenuto le risposte nitide. Infatti, al 70% di sparsità, Prox è riuscito ad accelerare il processo di decodifica (la velocità con cui l'IA genera testo) fino a 1,99 volte su una scheda grafica standard. Ciò significa che l'IA può parlare quasi il doppio più velocemente senza perdere la sua intelligenza.

Il team ha anche controllato se questo nuovo metodo si sarebbe rotto se provato a combinare con altri trucchi di accelerazione, come rendere i numeri più piccoli (quantizzazione) o saltare parti del meccanismo di attenzione. Hanno scoperto che Prox funziona perfettamente insieme a questi altri metodi, come un adattatore universale che si inserisce in qualsiasi configurazione.

La Conclusione

L'articolo conclude che Prox è un modo potente e che non richiede riaddestramento per rendere l'IA più veloce. Dimostra che non è necessario riaddestrare un modello gigante per renderlo efficiente. Inveve, si può utilizzare un processo astuto in due fasi: usare una stima rapida e approssimativa per trovare le parti importanti, e poi svolgere il lavoro pesante solo su quelle parti. Questo approccio evita il "gioco delle ipotesi" che ha causato il fallimento di altri metodi, garantendo che il cervello robotico rimanga veloce e intelligente, anche quando gira su un piccolo dispositivo. Sebbene la versione attuale sia ottimale per conversazioni con un singolo utente (come chattare su un telefono), i ricercatori suggeriscono che, con un po' più di lavoro, questa idea potrebbe in futuro aiutare a gestire in modo efficiente anche gruppi più grandi di utenti. Per ora, rappresenta un importante passo avanti nel rendere l'IA più veloce senza sacrificarne l'intelligenza.

Riepilogo Tecnico: Prox - Sparsità dell'Attivazione FFN via Approssimazione della Salienza dei Canali Intermedi Senza Addestramento

Problematica

I Large Language Models (LLM) si affidano pesantemente alle reti Feed-Forward (FFN), in particolare alla variante SwiGLU, che dominano il traffico di memoria e la computazione durante l'inferenza. Sebbene la sparsità delle attivazioni offra una via per mitigare questi colli di bottiglia saltando i canali a bassa salienza, i metodi esistenti senza addestramento (training-free) affrontano un critico compromesso: soffrono di un sostanziale degrado della qualità del modello ad alti livelli di sparsità.

Gli approcci attuali si affidano tipicamente a segnali a ramo singolo (ad esempio, l'attivazione del gate $h$ o l'attivazione del ramo up $u$ ) per selezionare i canali per lo stato intermedio $s = u \odot h$ . Questa informazione parziale porta a una classificazione errata dei canali salienti. Alternativamente, i metodi che applicano la sparsità in modo sequenziale (ad esempio, rendendo sparso l'input $x$ e poi lo stato intermedio $s$ ) compongono gli errori di approssimazione, degradando le prestazioni a valle. Inoltre, sebbene l'esatto stato intermedio $s$ fornisca un segnale ideale per la selezione dei canali, calcolarlo richiede l'esecuzione densa delle proiezioni up e gate, annullando i benefici della sparsità.

Metodologia: Il Framework Prox

Gli autori propongono Prox, un framework a due stadi, senza addestramento, progettato per abilitare l'esecuzione sparsa delle FFN SwiGLU senza riaddestramento. L'intuizione centrale è che l'esecuzione sparsa richiede solo la maschera dei canali (determinata dal ranking di magnitudo dello stato intermedio), non i valori esatti dello stato stesso.

Stadio 1: Costruzione del Proxy Leggero

L'obiettivo dello Stadio 1 è costruire una maschera di canale condivisa ( $m_s$ ) con un costo computazionale minimo.

Sparsità dell'Input e Quantizzazione: Prox applica la sparsità dell'input alla FFN input $x$ e utilizza pesi proxy quantizzati (INT4) per le proiezioni up e gate.
Attivazione Proxy: Calcola le attivazioni proxy sparse $\tilde{u}$ e $\tilde{h}$ utilizzando i pesi quantizzati e l'input sparso.
Generazione della Maschera: Lo stato intermedio proxy viene calcolato come $\tilde{s} = \tilde{u} \odot \tilde{h}$ . Il ranking di magnitudo di $\tilde{s}$ viene utilizzato per generare una maschera binaria dei canali $m_s$ .
Isolamento dell'Errore: Fondamentalmente, gli errori di approssimazione in $\tilde{s}$ sono isolati al processo di selezione; questi valori proxy non vengono propagati a valle.

Stadio la: Computazione Sparsa Esatta

Una volta stabilita la maschera $m_s$ , Prox esegue la computazione esatta sui canali mantenuti utilizzando i pesi originali a precisione completa.

Proiezioni Esatte: I canali selezionati vengono calcolati esattamente per le proiezioni up e gate ( $u_{sp}, h_{sp}$ ) utilizzando pesi a precisione completa.
Output Finale: Lo stato intermedio esatto $s_{sp}$ viene calcolato e passato attraverso la proiezione down (anch'essa sparsificata dallo stesso mascheramento) per produrre l'output finale.

Allocazione della Sparsità

Prox alloca dinamicamente il budget computazionale tra lo Stadio 1 e lo Stadio 2.

Ancora dello Stadio 2: Basandosi su esperimenti "oracle" che mostrano che rendere sparso circa il 70% degli esatti canali intermedi comporta un aumento trascurabile della perplexity, la sparsità dello Stadio 2 ( $s_2$ ) è ancorata intorno al 70%.
Vincolo dello Stadio 1: La sparsità dello Stadio 1 ( $s_1$ ) è vincolata (ad esempio, mantenendo almeno il 30% delle voci di input) per garantire che il segnale proxy rimanga affidabile per la selezione dei canali.
Modello di Costo: Il framework ottimizza $s_1$ e $s_2$ per soddisfare una target di sparsità effettiva minimizzando il costo computazionale normalizzato, che tiene conto dell'overhead delle proiezioni proxy quantizzate.

Implementazione Hardware

Prox utilizza kernel CUDA e Triton personalizzati per realizzare l'accelerazione:

Stadio 1: Un kernel fused split-N valuta le proiezioni proxy, saltando gli input rifiutati ed eseguendo l'unpacking INT4 direttamente nei registri.
Stadio 2: Un kernel fused output-sparse calcola le proiezioni esatte up/gate e un GEMV con input sparso per la proiezione down, limitando l'accesso ai pesi ai soli canali attivi.

Contributi Chiave

Intuizione sullo Stato Intermedio: Gli autori identificano lo stato SwiGLU intermedio ( $s$ ) come il segnale ottimale per la selezione dei canali. Dimostrano che, sebbene l'esatto $s$ sia costoso, un proxy a basso costo con input sparso preserva il necessario ranking di magnitudo per recuperare la maschera ottimale.
Framework Prox: Un nuovo metodo a due stadi che separa la selezione dei canali (tramite proxy quantizzati) dal calcolo dei valori (tramite pesi esatti). Ciò evita l'accumulo di errori comune nei precedenti metodi senza addestramento.
Valutazione Comprensiva: Esperimenti estesi su dieci LLM di sei famiglie di modelli (inclusi Qwen3, Llama-3, Mistral e Gemma-3) mostrano che Prox supera gli altri stati dell'arte dei metodi senza addestramento (CATS, COUNTDOWN, TEAL) a tutti i livelli di sparsità, in particolare al 60–70%.

Risultati Sperimentali

Accuratezza: Al 70% di sparsità FFN, Prox ottiene fino a un miglioramento del 14,4% nelle prestazioni medie dei task downstream rispetto al miglior baseline (TEAL). Mantiene la qualità del modello con un aumento della perplexity relativa inferiore al 3% nella maggior parte dei casi, mentre altri metodi degradano significativamente.
Velocità: Su una GPU NVIDIA A6000, Prox raggiunge un'accelerazione del decoding end-to-end di 1,51× a 1,99× con il 60–70% di sparsità.
Compatibilità: Prox è ortogonale alla quantizzazione del modello (ad esempio, AWQ, FP8, W4A16) e ai meccanismi di attenzione sparsa (ad esempio, RocketKV, HShare), permettendo guadagni di efficienza sinergici.

Significato e Rivendicazioni

Il paper afferma che Prox rappresenta un avanzamento significativo nell'accelerazione degli LLM senza addestramento, risolvendo il compromesso accuratezza-efficienza inerente alle precedenti strategie di selezione dei canali. Sfruttando l'osservazione che la stabilità del ranking è sufficiente per la generazione della maschera, Prox consente una sparsità aggressiva (fino al 70%) senza il collasso dell'accuratezza visto in precedenza. Il framework è presentato come una soluzione pratica per l'inferenza con risorse limitate e latenza sensibile, offendo un'accuratezza quasi pari a quella densa con un throughput di decoding quasi raddoppiato, rimanendo pienamente compatibile con gli ecosistemi esistenti di quantizzazione e attenzione sparsa.

Gli autori notano le attuali limitazioni, specificamente che Prox mira al decoding autoregressivo a batch singolo e non supporta ancora il serving a grandi batch, e che lo storage dei pesi proxy INT4 introduce un overhead di memoria di circa il 12%, che il lavoro futuro potrebbe affrontare tramite schemi a finestra scorrevole (sliding-window).