🤖 machine learning

Prox: Training-Free FFN Activation Sparsity via Approximate Intermediate-Channel Salience in LLMs

Prox is een training-vrij framework dat efficiënte ijle SwiGLU FFN-executie in LLM's mogelijk maakt door kanaalmaskers te construeren op basis van benaderde intermediaire-kanaal salientie, waardoor het aanzienlijke versnellingen en een superieure modelkwaliteit bereikt vergeleken met bestaande methoden zonder hertraining te vereisen.

Oorspronkelijke auteurs: Jinyi Liu, Wei Chen, Pengyu Chen, Xinyi Yuan, Minghe Bai, Guoquan Wu, Jun Wei

Gepubliceerd 2026-07-31

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinyi Liu, Wei Chen, Pengyu Chen, Xinyi Yuan, Minghe Bai, Guoquan Wu, Jun Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch, hyperintelligent robotbrein probeert te draaien op een klein, batterijgestuurd apparaat. Dit brein, bekend als een Large Language Model (LLM), is ongelooflijk goed in het schrijven van verhalen, het oplossen van wiskundige problemen en het chatten, maar het is ook ongelooflijk hongerig. Het verslindt geheugen en rekenkracht, alleen maar om na te denken over het volgende woord in een zin. Om deze robots sneller en minder dorstig te maken, proberen wetenschappers ze te leren om delen van hun denkproces die niet belangrijk zijn te "overslaan". Dit wordt activatie-schaarsheid (activation sparsity) genoemd. Denk aan een chef die, in plaats van elke groente in de keuken voor een soep te snijden, snel de ingrediënten proeft en alleen de groenten snijdt die daadwerkelijk smaak toevoegen, terwijl de rest onberoerd blijft. Het doel is om dezelfde heerlijke soep (het juiste antwoord) te krijgen, maar met veel minder werk. Echter, het lastige deel is uitzoeken welke groenten je moet overslaan zonder per ongeluk de geheime specerij weg te gooien die het gerecht precies de juiste smaak geeft. Als je het fout raadt, smaakt de soep flauw, of erger nog, onsmakelijk.

Dit is het puzzelstuk waar een nieuwe methode genaamd Prox zich mee bezighoudt, ontwikkeld door onderzoeker Jinyi Liu en zijn team. Ze richtten zich op een specifiek type architectuur van het robotbrein genaamd SwiGLU, wat de huidige standaard is voor veel krachtige AI-modellen. De onderzoekers ontdekten dat hoewel de "middentijd" (een tussenliggende staat) van het brein de perfecte kaart bevat om te beslissen wat te overslaan, het exact berekenen van die kaart te traag en te duur is. Daarom kwamen ze met een slimme tweestaps-truc. Eerst gebruiken ze een snelle, kwalitatief minder goede "conceptversie" van de gedachte van het brein om snel te bepalen welke delen belangrijk zijn. Daarna, en dit is de sleutel, doen ze alleen het zware, nauwkeurige rekenwerk op die specifieke belangrijke delen en negeren ze de rest volledig. Hun experimenten toonden aan dat deze methode veel beter is dan eerdere trucs die probeerden de belangrijkheid te raden zonder eerst de volledige berekening uit te voeren. In tests bij tien verschillende AI-modellen wist Prox de denkprocessen van de robot bijna te verdubbelen in snelheid (tot 1,99 keer sneller), terwijl de antwoorden net zo slim bleven als de trage, volledige versie. Het is alsoid een super-snelle verkenner die vooruit rent om het pad te markeren, waardoor het hoofdleger alleen over de veilige, geasfalteerde wegen kan marcheren, wat tijd en energie bespaart zonder de weg kwijt te raken.

Het Probleem: De Zware Lunch van de Robot

Large Language Models zijn als gigantische bibliotheken vol kennis, maar ze zijn ook erg zwaar. Wanneer ze een vraag proberen te beantwoorden, moeten ze een enorme hoeveelheid data door hun geheugen verplaatsen. Een groot deel van dit verkeer komt van een specifiek deel van het brein dat het Feed-Forward Network (FFN) wordt genoemd. Je kunt het FFN zien als het deel van het brein dat een idee neemt, het verwerkt en vervolgens doorgeeft. In moderne modellen gebruikt dit deel een speciaal recept genaamd SwiGLU, wat drie verschillende wiskundige operaties (projecties) omvat die samenwerken.

Het probleem is dat deze drie operaties zo zwaar zijn dat ze alles vertragen. Wetenschappers hebben geprobeerd dit op te lossen door het model "schaars" te maken, wat betekent dat ze proberen de wiskunde voor delen van het brein over te slaan die onbelangrijk lijken. Bestaande methoden om dit te doen zonder het model opnieuw te trainen (wat eeuwig duurt) hebben echter een gebrek. Ze raden vaak welke delen ze moeten overslaan op basis van slechts één stuk informatie, zoals het kijken naar alleen de "gate" of alleen het "up"-gedeelte van het recept. Dit is alsof je probeert te beslissen of een liedje goed is door alleen naar de drums of alleen naar de zang te luisteren. Als je het fout raadt, sla je een cruciale noot over, en valt het liedje (of het antwoord van de AI) uit elkaar. Naarmate onderzoekers probeerden steeds meer delen over te slaan om sneller te worden, daalde de kwaliteit van de antwoorden aanzienlijk.

Het Inzicht: De Kaart versus de Reis

De onderzoekers, onder leiding van Jinyi Liu, merkten iets interessants op over het SwiGLU-recept. Er is een specifiek moment in het proces dat de intermediaire staat wordt genoemd (laten we dit de "middentijd" noemen). Deze middentijd is het perfecte signaal voor het beslissen welke delen van het brein behouden blijven en welke worden overgeslagen. Als je deze middentijd exact zou kunnen zien, zou je tot 70% van het werk kunnen overslaan en nog steeds een perfect antwoord krijgen.

Maar hier is de crux: om deze middentijd exact te zien, moet je eerst alle zware wiskunde uitvoeren. Het is alsof je probeert de finishlijn van een race te zien, maar je moet de hele race rennen om daar te komen. Dat doet het doel van het proberen te besparen van tijd teniet.

Het team realiseerde zich dat ze niet de exacte waarde van de middentijd nodig hadden. Ze hoefden alleen de volgorde van belangrijkheid te weten. Ze moesten weten welke delen de "grote" waren en welke de "kleine", niet de exacte getallen. Dit is het verschil tussen precies weten hoeveel dollar er in je portemonnee zit versus alleen weten welke biljetten de grootste zijn. Als je de volgorde correct kunt raden, kun je de juiste dingen selecteren om te houden.

De Oplossing: Prox's Tweestaps-Truc

Om dit op te lossen, creëerde het team Prox, een tweestaps-framework dat werkt als een slimme verkenner en een nauwkeurige bouwer.

Fase 1: De Snelle Verkenner (Proxy Constructie)
In de eerste fase gebruikt Prox een "goedkope" versie van de wiskunde. Het neemt de input en haalt deze door een vereenvoudigde, kwalitatief minder goede versie van het brein (met behulp van gekwantiseerde gewichten, wat vergelijkbaar is met gecomprimeerde, kleinere getallen). Het probeert niet het perfecte antwoord te krijgen; het wil alleen een ruwe indruk krijgen van welke kanalen luid zijn en welke zacht zijn. Het creëert een "masker", wat in feek een lijst is van "Behouden" en "Weggooien" labels. Omdat deze fase gebruikmaakt van vereenvoudigde wiskunde, is het zeer snel en vereist het weinig geheugen. Cruciaal is dat de fouten in deze ruwe berekening het uiteindelijke antwoord niet verpesten, omdat de ruwe getallen nooit worden gebruikt voor de uiteindelijke output — ze worden alleen gebruikt om de lijst te maken.

Fase 2: De Nauwkeurige Bouwer (Exacte Schaarse Berekening)
Zodod de lijst is gemaakt, komt de tweede fase in actie. Dit is waar de echte magie gebeurt. Het model kijkt naar de lijst uit Fase 1 en zegt: "Oké, we gaan 70% van het werk negeren en alleen de wiskunde doen voor de bovenste 30%." Maar hier is het verschil met andere methoden: voor die bovenste 30% gebruikt Prox de originele, volledige precisie, zware wrmsgkundige operaties. Het berekent de exacte waarden voor de belangrijke delen. Dit zorgt ervoor dat het uiteindelijke antwoord net zo accuraat is als wanneer het model al het werk had gedaan, maar het heeft alleen het werk gedaan voor de delen die ertoe deden.

Waarom het Beter Werkt

De onderzoekers testten Prox op tien verschillende grote taalmodellen, waaronder populaire modellen zoals Qwen, Mistral en Llama-3. Ze vergeleken het met andere methoden die proberen werk over te slaan zonder opnieuw te trainen.

De resultaten waren duidelijk: Prox was de winnaar. Bij hoge niveaus van overslaan (zoals 70% schaarsheid) begonnen andere methoden fouten te maken, en werden de antwoorden van de AI slechter. Prox hield de antwoorden echter scherp. Sterker nog, bij 70% schaarsheid kon Prox het decodeerproces (de snelheid waarmee de AI tekst genereert) met wel 1,99 keer versnellen op een standaard grafische kaart. Dat betekent dat de AI bijna twee keer zo snel kan praten zonder haar intelligentie te verliezen.

Het team controleerde ook of deze nieuwe methode zou breken als men het probeert te combineren met andere versnellings-trucs, zoals het kleiner maken van de getallen (kwantisatie) of het overslaan van delen van het aandachtsmecanisme (attention mechanism). Ze ontdekten dat Prox perfect samenwerkt met deze andere methoden, als een universele adapter die in elke opstelling past.

De Conclusie

Het artikel concludeert dat Prox een krachtige, training-vrije manier is om AI sneller te maken. Het bewijst dat je geen gigantisch model opnieuw hoeft te trainen om het efficiënt te maken. In plaats daarvan kun je een slim tweestaps-proces gebruiken: gebruik een snelle, ruwe schatting om de belangrijke delen te vinden, en doe dan het zware werk alleen op die delen. Deze aanpak vermijdt het "gokspel" dat ervoor zorgde dat andere methoden faalden, waardoor het robotbrein snel en slim blijft, zelfs als het op een klein apparaat draait. Hoewel de huidige versie het best is voor gesprekken met één gebruiker (zoals chatten op een telefoon), suggereren de onderzoekers dat dit idee, met wat meer werk, uiteindelijk ook kan helpen om zelfs grotere groepen gebruikers efficiënt te bedienen. Voor nu is het een belangrijke stap voorwaarts in het sneller maken van AI zonder de intelligentie op te offeren.

Technische Samenvatting: Prox - Training-vrije FFN Activatie-schaarsheid via Benaderde Tussenliggende Kanaal-salientie

Probleemstelling

Grote taalmodellen (LLM's) leunen zwaar op Feed-Forward Networks (FFN's), met name de SwiGLU-variant, die de geheugentrafiek en berekeningen tijdens inferentie domineren. Hoewel activatie-schaarsheid een weg biedt om deze knelpunten te verzachten door kanalen met een lage salientie over te slaan, kampen bestaande training-vrije methoden met een kritieke afruil: ze lijden onder substantiële degradatie van de modelkwaliteit bij hoge schaarsheid.

Huidige benaderingen vertrouwen doorgaans op signalen uit één enkele tak (bijv. de gate-activatie $h$ of de up-branch activatie $u$ ) om kanalen te selecteren voor de tussenliggende staat $s = u \odot h$ . Deze gedeeltelijke informatie leidt tot foutieve rangschikking van saliente kanalen. Alternatieve methoden die schaarsheid sequentieel toepassen (bijv. het sparsificeren van de input $x$ gevolgd door de tussenliggende staat $s$ ) stapelen benaderingsfouten op, wat de downstream prestaties verslechtert. Bovendien, hoewel de exacte tussenliggende staat $s$ een ideaal signaal biedt voor kanaalselectie, vereist het berekenen ervan een dense executie van de up- en gate-projecties, wat de voordelen van schaarsheid tenietdoet.

Methodologie: Het Prox-framework

De auteurs stellen Prox voor, een tweestaps, training-vrij framework ontworpen om sparse executie van SwiGLU FFN's mogelijk te maken zonder hertraining. De kerninzicht is dat sparse executie alleen de kanaalmasker (bepaald door de magnitude-rangschikking van de tussenliggende staat) vereist, niet de exacte waarden van de staat zelf.

Fase 1: Lichtgewicht Proxy-constructie

Het doel van Fase 1 is het construeren van een gedeeld kanaalmasker ( $m_s$ ) met minimale computationele kosten.

Input-schaarsheid & Kwantisatie: Prox past input-schaarsheid toe op de FFN-input $x$ en maakt gebruik van gekwantiseerde proxy-gewichten (INT4) voor de up- en gate-projecties.
Proxy-activatie: Het berekent sparse proxy-activaties $\tilde{u}$ en $\tilde{h}$ met behulp van de gekwantiseerde gewichten en de sparse input.
Maskergeneratie: De proxy tussenliggende staat wordt berekend als $\tilde{s} = \tilde{u} \odot \tilde{h}$ . De magnitude-rangschikking van $\tilde{s}$ wordt gebruikt om een binair kanaalmasker $m_s$ te genereren.
Foutisolatie: Cruciaal is dat de benaderingsfouten in $\tilde{s}$ worden geïsoleerd tot het selectieproces; deze proxy-waarden worden niet downstream gepropageerd.

Fase 2: Exacte Sparse Berekening

Zodra het masker $m_s$ is vastgesteld, voert Prox de exacte berekening uit op de behouden kanalen met behulp van de originele full-precision gewichten.

Exacte Projecties: De geselecteerde kanalen worden exact berekend voor de up- en gate-projecties ( $u_{sp}, h_{sp}$ ) met behulp van full-precision gewichten.
Finale Output: De exacte tussenliggende staat $s_{sp}$ wordt berekend en door de down-projectie gestuurd (die ook door hetzelfde masker is gesparsifieerd) om de finale output te produceren.

Allocatie van Schaarsheid

Prox verdeelt de computationele budget dynamisch tussen Fase 1 en Fase 2.

Fase 2 Anker: Gebaseerd op "oracle" experimenten die aantonen dat het sparsificeren van ~70% van de exacte tussenliggende kanalen een verwaarloosbare toename in perplexiteit veroorzaakt, is de Fase 2 schaarsheid ( $s_2$ ) verankerd rond de 70%.
Fase 1 Beperking: De Fase 1 schaarsheid ( $s_1$ ) wordt beperkt (bijv. het behouden van ten minste 30% van de input-entries) om te garanderen dat het proxy-signaal betrouwbaar blijft voor kanaalselectie.
Kostenmodel: Het framework optimaliseert $s_1$ en $s_2$ om een doelstelling van effectieve schaarsheid te halen terwijl de genormaliseerde computationele kosten worden geminimaliseerd, waarbij rekening wordt gehouden met de overhead van gekwantiseerde proxy-projecties.

Hardware-implementatie

Prox maakt gebruik van aangepaste CUDA en Triton kernels om versnelling te realiseren:

Fase 1: Een gefuseerde split-N kernel evalueert proxy-projecties, waarbij afgewezen inputs worden overgeslagen en INT4 unpacking direct in registers plaatsvindt.
Fase 2: Een gefuseerde output-sparse kernel berekent exacte up/gate-projecties en een input-sparse GEMV voor de down-projectie, waarbij de toegang tot gewichten wordt beperkt tot actieve kanalen.

Belangrijkste Bijdragen

Inzicht in de Tussenliggende Staat: De auteurs identificeren de SwiGLU tussenliggende staat ( $s$ ) als het optimale kanaalselectie-signaal. Ze tonen aan dat hoewel de exacte $s$ kostbaar is, een laag-kostbare input-sparse proxy de noodzakelijke magnitude-rangschikking behoudt om het optimale masker te herstellen.
Prox Framework: Een nieuw tweestaps-methode die kanaalselectie (via gekwantiseerde proxies) ontkoppelt van waarde-berekening (via exacte gewichten). Dit voorkomt de accumulatie van fouten die gebruikelijk zijn bij eerdere training-vrije methoden.
Uitgebreide Evaluatie: Uitgebreide experimenten over tien LLM's uit zes modelfamilies (inclusief Qwen3, Llama-3, Mistral en Gemma-3) tonen aan dat Prox de state-of-the-art training-vrije baselines (CATS, COUNTDOWN, TEAL) overtreft op alle schaarsheidsniveaus, met name bij 60–70% schaarsheid.

Experimentele Resultaten

Nauwkeurigheid: Bij 70% FFN-schaarsheid bereikt Prox een verbetering van tot wel 14,4% in gemiddelde downstream taakprestaties vergeleken met de beste baseline (TEAL). Het behoudt de modelkwaliteit met minder dan een 3% relatieve toename in perplexiteit in de meeste gevallen, terwijl andere methoden significant degraderen.
Versnelling: Op een NVIDIA A6000 GPU bereikt Prox een end-to-end decoding versnelling van 1,51× tot 1,99× bij 60–70% schaarsheid.
Compatibiliteit: Prox is orthogonaal aan model-kwantisatie (bijv. AWQ, FP8, W4A16) en sparse attention mechanismen (bijv. RocketKV, HShare), waardoor synergetische efficiëntievoordelen mogelijk zijn.

Betekenis en Claims

De paper claimt dat Prox een significante vooruitgang vormt in training-vrije LLM-acceleratie door de inherent aan eerdere kanaalselectie-strategieën gelegen afruil tussen nauwkeurigheid en efficiëntie op te lossen. Door gebruik te maken van de observatie dat rangschikkingsstabiliteit voldoende is voor maskergeneratie, maakt Prox agressieve schaarsheid (tot 70%) mogelijk zonder de nauwkeurigheidscollaps die bij eerdere methoden optreedt. Het framework wordt gepresenteerd als een praktische oplossing voor middelen-beperkte, latentie-gevoelige inferentie, die bijna dense nauwkeurigheid biedt met bijna dubbele decoding-doorvoer, terwijl het volledig compatibel blijft met bestaande kwantisatie- en sparse-attention ecosystemen.

De auteurs merken huidige beperkingen op, specifenlijk dat Prox zich richt op single-batch autoregressieve decoding en nog geen ondersteuning biedt voor large-batch serving, en dat het opslaan van INT4 proxy-gewichten een ~12% geheugenoverhead introduceert, wat toekomstig werk via sliding-window schema's kan adresseren.