🤖 machine learning

SelectInfer: Selective Neuron Loading and Computation for On-Device LLMs

SelectInfer is een optimalisatiekader op neuronniveau dat efficiënte on-device inferentie van Large Language Models mogelijk maakt door een offline profiler te gebruiken om de meest belangrijke neuronen te identificeren en selectief te laden en te berekenen, waardoor de geheugen- en computationele kosten aanzienlijk worden verminderd zonder de prestaties voor de taak in gevaar te brengen.

Oorspronkelijke auteurs: Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische bibliotheek aan kennis hebt, zo uitgestrekt dat deze het antwoord bevat op bijna elke vraag die je zou kunnen stellen. Dit is wat wetenschappers een Large Language Model (LLM) noemen. Denk eraan als een superintelligent robotbrein dat bijna elk boek op het internet heeft gelezen. Maar hier is de crux: dit brein is zo groot en zwaar dat het meestal een enorme, dure datacentrum met krachtige supercomputers nodig heeft om te draaien. Het is alsof je een volledige bibliotheek probeert mee te nemen in je rugzak; het past er simpelweg niet in.

Onlangs wilden mensen deze "bibliotheek" in kleinere apparaten krijgen, zoals de slimme gadgets in je broekzak of de computers in zelfrijdende auto's. Dit worden "edge devices" genoemd. Het probleem is dat deze gadgets zeer beperkte ruimte en batterijkracht hebben. Als je probeert de hele bibliotheek erop te dwingen, crasht het apparaat of werkt het zo traag dat het nutteloos is. Wetenschappers hebben geprobeerd de bibliotheek te verkleinen door de boeken te samendrukken (ze kleiner maken maar moeilijker leesbaar) of door hele planken weg te gooien (waardoor de robot dingen vergeet). Maar deze oude trucjes maken het vermogen van de robot om helder na te denken vaak kapot. De grote vraag is: kunnen we dit gigantische brein in een kleine rugzak laten passen zonder het genie te verliezen?

Maak kennis met SelectInfer, een nieuw idee van onderzoekers van de Universiteit van Paderborn dat suggereert dat er een slimme manier is om dit puzzelstukje op te lossen. In plaats van te proberen de hele bibliotheek te verkleinen of willekeurige boeken weg te gooien, werkt SelectInfer als een zeer slim bibliothecaris die precies weet welke boeken je nu nodig hebt.

Zo werkt het, met behulp van een simpel verhaal. Stel je voor dat je robotbrein een enorme fabriek is met duizenden werkers (genaamd "neuronen"). In een normale fabriek komt elke enkele werker elke dag opdagen, zelfs als ze niets te doen hebben. Dit verspilt ruimte en energie. De onderzoekers ontdekten dat deze werkers eigenlijk in twee groepen vallen. Sommigen zijn "Generalisten" die altijd opdagen, ongeacht de opdracht — zoals de mensen die het licht aanhouden en de koffiemachine laten draaien. Anderen zijn "Specialisten" die alleen verschijnen voor specifieke taken, zoals het team dat de leidingen repareert of het team dat de muren schildert.

Het artikel laat zien dat je voor een specifieke taak niet alle specialisten nodig hebt, en je hebt zeker niet degenen nodig die vandaag niet aan het werk zijn. SelectInfer gebruikt een tweestaps magische truc om de fabriek op een klein apparaat te laten draaien:

Selectief Laden (De Rugzaktruc): Voordat de robot zelfs begint met werken, gebruiken de onderzoekers een "offline profiler" (een soort verkenner) om te bepalen welke Generalisten en Specialisten het belangrijkste zijn. Vervolgens, wanneer de robot klaar is om te gaan, laden ze alleen die specifieke werkers in hun rugzak (geheugen). Ze laten de rest achter. Dit is alsof je alleen de gereedschappen inpakt die je nodig hebt voor een kampeertrip in plaats van de hele bouwmarkt. Dit stelt de robot in staat om in apparaten te passen die voorheen te klein waren om hem te kunnen bevatten. Bijvoorbeeld, op een apparaat met slechts 8 GB geheugen (zoals een NVIDIA Jetson Orin Nano), kan een model dat normaal gesproken 9 GB ruimte nodig heeft, nu toch passen omdat het slechts 70% van zijn werkers meedraagt.
Selectieve Computatie (De Op-aanvraag-truc): Zelfs met een lichtere rugzak moet de robot nog steeds elke werker vragen om zijn werk te doen, wat tijd kost. SelectInfer voegt een tweede regel toe: zodien de robot begint te werken, vraagt hij alleen de meest relevante werkers om daadwerkelijk de berekeningen voor dat specifieke moment uit te voeren. Als de robot een gedicht schrijft, heeft hij het loodgietersbedrijf niet nodig om het rijm te berekenen. Hij wekt alleen de dichters. Dit zorgt ervoor dat de robot veel sneller nadenkt.

De onderzoekers testten dit op drie verschillende robotbreinen (Llama3.2-3B, Llama3.2-1B en Qwen2.5-3B) op een kleine computerchip. Ze ontdekten dat ze door deze methode te gebruiken, deze gigantische modellen konden draaien op apparaten die voorheen onmogelijk te gebruiken waren. Voor het model met 3 miljard parameters maakte SelectInfer het ongeveer 1,53 keer sneller dan de huidige beste methode van het samendrukken van de data (4-bit kwantisatie) en meer dan 13 keer sneller dan het proberen te halen van data van een trage harde schijf.

Cruciaal is dat het artikel betoogt dat dit de robot niet "dommer" maakt. Sterker nog, voor veel taken zoals vertaling en het samenvatten van verhalen, was SelectInfer zelfs nauwkeuriger dan andere methoden die probeerden ruimte te besparen. De onderzoekers vonden dat terwijl andere methoden ofwel geheugen bespaarden maar traag liepen, ofwel snel waren maar dingen vergaten, SelectInfer erin slaagde om alle drie te balanceren: het bespaarde geheugen, versnelde het denken en hield de antwoorden accuraat.

Het artikel sluit expliciet de gedachte uit dat je de hele het model moet weggooien of vanaf nul opnieuw moet trainen om het te laten passen. Het laat ook zien dat het simpelweg willekeurig werkers achterlaten (willekeurig laden) ervoor zorgt dat de robot volledig faalt, wat bewijst dat je een slimme kaart nodig hebt om te weten wie je moet houden. Hoewel de methode een eenmalige "verkenningsfase" vereist om uit te zoeken welke werkers belangrijk zijn, suggereren de resultaten dat dit een praktische en krachtige manier is om superintelligente AI naar de kleine gadgets in onze zakken te brengen zonder een supercomputer in de cloud nodig te hebben.

Technische Samenvatting: SelectInfer

Probleemstelling

Large Language Models (LLMs) worden geconfronteerd met aanzienlijke barrières bij de implementatie op resource-beperkte edge-apparaten (bijv. NVIDIA Jetson Orin Nano) vanwege de hoge geheugen- en rekenvereisten. Bestaande optimalisatiestrategieën slagen er niet in om tegelijkertijd de drie kritieke dimensies van edge-implementatie aan te pakken: geheugensvoetprint, inferentiesnelheid en output-nauwkeurigheid.

Quantisatie vermindert het geheugen, maar degradeert vaak de decoding-doorvoer en biedt slechts grove controle (bijv. 4-bit versus 8-bit).
Pruning vereist kostbare hertraining en verwijdert permanent gewichten, waardoor het geen runtime-aanpasbaarheid mist.
Offloading (bijv. naar disk) wordt beperkt door I/O-bandbreedte en is vaak incompatibel met de unified memory-architecturen die in edge SoC's worden aangetroffen.
Runtime Sparsity-methoden (bijv. CoreInfer) verbeteren de snelheid door inactieve neuronen over te slaan, maar vereisen dat het volledige model in het geheugen aanwezig is, wat de implementatie van grotere modellen op geheugenbeperkte hardware verhindert.

Methodologie

SelectInfer is een neuron-niveau optimalisatieraamwerk dat efficiënte LLM-inferentie mogelijk maakt door middel van selectieve loading en selectieve berekening, geleid door een offline profiling-fase. De kerninzicht is dat LLM-neuronen een duale structuur vertonen: een stabiele kern van model-specifieke (algemene) neuronen die universeel over taken heen worden geactiveerd, en taak-specifieke neuronen die de prestaties voor individuele inputs aansturen.

1. Offline Fase: LLM Profiler

Vóór implementatie gebruikt SelectInfer een offline profiler om neuron-activaties te analyseren over diverse datasets (bijv. QA, vertaling, samenvatting).

Scoring: Voor elk neuron $n$ wordt een score $s_n$ berekend op basis van de som van de absolute activaties over een set tokens $T$ : $s_n = \sum_{t \in T} |a_n(t)|$ .
Classificatie: Neuronen worden gecategoriseerd in twee groepen:
- Base Neurons: Taak-specifieke neuronen geïdentificeerd door scores van prompts binnen een specifieke taak samen te voegen.
- Secondary Neurons: Model-specifieke neuronen geïdentificeerd door scores over verschillende taken heen samen te voegen.
Output: De profiler genereert gerangschikte neuron-bestanden die de belangrijkste neuronen identificeren voor specifieke taken en algemeen modelgedrag.

2. Online Fase: Optimalisatie

Tijdens runtime op het edge-apparaat past SelectInfer twee mechanismen toe:

Selective Loading (Geheugenoptimalisatie):
In plaats van het volledige model te laden, laadt SelectInfer alleen een subset van neuronen in het geheugen. Het geeft prioriteit aan base neurons (taak-specifiek) en vult het resterende geheugenbudget aan met secondary neurons (model-specifiek) tot een gedefinieerde loading-drempel $\gamma$ . Dit maakt het mogelijk om modellen te draaien die anders het apparaatgeheugen zouden overschrijden (bijv. 3B modellen op 8GB apparaten) door irrelevante gewichten volledig te verwerpen.
Selective Computation (Snelheidsoptimalisatie):
Zelfs met een gereduceerde geheugensvoetprint kan het berekenen van alle geladen neuronen traag zijn. SelectInfer beperkt de berekening verder tot een subset van de geladen neuronen ( $\epsilon < \gamma$ ).
- Static Neurons: Komen overeen met de base neurons; deze worden altijd berekend, ongeacht de input.
- Dynamic Neurons: Worden tijdens runtime geselecteerd tijdens de prefill-fase. Het systeem berekent de activatiewaarden voor alle geladen neuronen, sorteert ze, en selecteert de top $\alpha$ neuronen per token. Vervolgens aggregeert het deze om de top $\beta$ meest frequente neuronen voor de prompt te vinden.
- De totale computation ratio $\phi = \delta + \epsilon$ is door de gebruiker configureerbaar, wat een afweging biedt tussen snelheid en nauwkeurigheid.

Belangrijkste Bijdragen

Offline Profiler: Een mechanisme om model-specifieke en taak-specifieke neuronen te identificeren en te rangschikken, waarmee de "duale structuur" van LLM-activatie wordt vastgesteld.
Selective Loading: Een implementatiestrategie die alleen relevante neuronen in het geheugen laadt, wat de uitvoering van modellen mogelijk maakt die groter zijn dan het beschikbare geheugen van het apparaat.
Selective Computation: Een runtime-mechanisme dat dynamisch alleen de meest relevante neuronen berekent (statisch + dynamisch), wat de inferentie versnelt zonder significante nauwkeurigheidsverlies.
Tunable Framework: Een systeem dat geheugen, snelheid en nauwkeurigheid behandelt als onafhankelijk instelbare parameters, wat een fijnmazige controle biedt vergeleken met de grove knoppen van quantisatie of pruning.

Evaluatieresultaten

Het framework werd geëvalueerd op de NVIDIA Jetson Orin Nano (8 GB shared memory) met behulp van Llama3.2-1B, Llama3.2-3B en Qwen2.5-3B modellen over QA, vertaling en samenvattings-taken.

Haalbaarheid: SelectInfer stelde 3B-schaal modellen (die natief ~8,5–9,5 GB vereisen) in staat om te draaien op het 8 GB Jetson-apparaat door slechts 70% van de neuronen te laden.
Geheugensvoetprint: SelectInfer verminderde het geheugengebruik met ~13,2% voor Llama3.2-3B (van 6,88 GB naar 5,97 GB) vergeleken met het originele model, en aanzienlijk meer vergeleken met CoreInfer (dat volledige model-loading vereist). Hoewel 4-bit quantisatie een lager absoluut geheugengebruik bereikte, behield SelectInfer een hogere precisie voor de geladen gewichten.
Nauwkeurigheid: SelectInfer behield een concurrerende nauwkeurigheid. Op vertaal-taken (WMT16) behaalde SelectInfer ~~25–26 BLEU voor Llama3.2-3B, wat aanzienlijk beter presteert dan CoreInfer (~~4–5 BLEU) en CoreInfer met random loading. Het presteerde over het algemeen beter dan of gelijk aan 4-bit quantisatie op vertaal- en samenvattings-taken.
Snelheid: SelectInfer bereikte een decoding-doorvoer van ~9,85 tokens/s voor Llama3.2-3B. Dit vertegenwoordigt een 1,53× verbetering ten opzichte van 4-bit quantisatie en een 13× verbetering ten opzichte van disk-offloading benaderingen.
Vergelijking: SelectInfer presteerde beter dan CoreInfer in nauwkeurigheid (door offline profiling) en geheugenefficiëntie (door selective loading). Het bood betere snelheid en nauwkeurigheid dan quantisatie op vertaal-taken terwijl het de hardwarebeperkingen van low-precision kernels vermeed.

Betekenis en Claims

Het artikel claimt dat SelectInfer een praktische stap vormt naar de implementatie van LLM's op edge-apparaten door de "trilemma" van geheugen, snelheid en nauwkeurigheid op te lossen. In tegenstelling tot eerder werk dat slechts één of twee dimensies optimaliseert, biedt SelectInfer een gebalanceerd en instelbaar werkpunt over alle drie de dimensies.

De auteurs benadrukken dat hun aanpak:

Geen hertraining vereist, wat het onderscheidt van pruning en distillatie.
Compatibel is met unified memory-architecturen, in tegenstelling tot offloading-methoden.
Fijnmazige controle biedt, waardoor gebruikers het percentage geladen en berekende neuronen kunnen aanpassen aan specifieke apparaatbeperkingen en applicatiebehoeften.
Generaliseert over modelfamilies, door effectiviteit te demonstreren op zowel Llama- als Qwen-architecturen.

Het werk positioneert SelectInfer als een noodzakelijke evolutie voorbij grove compressie, wat de uitvoering van grotere, krachtigere modellen mogelijk maakt op hardware die voorheen als onvoldoende werd beschouwd voor dergelijke taken.