💻 computer science

Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

Dit artikel stelt een meerdimensionale benchmarkmethodologie voor om de prestaties en efficiëntie van het draaien van grote taalmodellen op hardware-versnelde single-board computers te evalueren, en biedt praktische richtlijnen voor het implementeren van generatieve AI in privacygevoelige en connectiviteitsbeperkte edge-omgevingen.

Oorspronkelijke auteurs: Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

Gepubliceerd 2026-04-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, super slimme robotbrein hebt (een Large Language Model, of LLM) dat verhalen kan schrijven, problemen kan oplossen en vragen kan beantwoorden. Meestal woont dit brein in een gigantisch, duur datacenter ver weg in de "cloud". Om het te gebruiken, moet je je vragen via internet sturen en wachten op een antwoord.

Maar wat als je je bevindt op een plek zonder internet, of waar het verzenden van data een veiligheidsrisico vormt (zoals een geheim militair basisstation of een afgelegen drone)? Dan moet dat brein direct bij jou wonen, op een kleine, goedkope computer. Dit heet "Edge Computing".

Dit artikel is als een winkelführer voor het bouwen van een lokaal robotbrein. De auteurs testten vier verschillende kleine computers (Single-Board Computers) om te zien welke het beste geschikt is om deze slimme breinen te laten draaien zonder dat je een enorm krachtcentrale nodig hebt of een grote koffer om ze te vervoeren.

Hier is hoe ze het deden en wat ze vonden, met behulp van eenvoudige analogieën:

Het Probleem: De "Cloud" versus de "Rugzak"

Een slim brein draaien in de cloud is als het bestellen van een pizza die wordt bezorgd door een restaurant aan de andere kant van de stad. Het is geweldig als je een snelle weg (internet) hebt, maar als de weg geblokkeerd is, of als je de bezorger je geheime adres niet mag laten zien (privacy), zit je vast.

De auteurs wilden weten: Kunnen we de pizza in onze eigen keuken bakken?
Ze testten kleine computers die in je hand passen (of zelfs kleiner) om te zien of ze deze slimme breinen snel genoeg konden laten draaien om nuttig te zijn.

De Testkeuken: Vier Verschillende "Ovens"

De onderzoekers richtten vier verschillende "ovens" (hardware-opstellingen) in om de pizza te bakken (de AI te draaien):

Het Kleine Baksteen (M5Stack): Een tiny, creditcard-grootte computer met een speciale helper-chip (NPU) ingebouwd. Het is de grootte van een klein luciferdoosje.
Het Standaard Bord (Raspberry Pi 5): Een populair, betaalbaar computerbord, maar het probeert alles alleen te doen met zijn hoofdbrain (CPU).
Het Geüpgradeerde Bord (Raspberry Pi 5 + HAT): Dezelfde standaardbord, maar met een speciale "snelheidsversterker"-kaart (Hailo NPU) eraan bevestigd.
De Krachtpatser (Jetson Orin Nano): Een duurdere, krachtigere bord met een high-end grafische kaart (GPU) ingebouwd.

De Nieuwe Manier van Succes Meten

Meestal vragen mensen alleen: "Hoe snel is het?" (Tokens per seconde). Maar de auteurs beseften dat voor kleine, draagbare apparaten snelheid niet het enige is dat telt. Ze introduceerden twee nieuwe manieren om succes te meten:

De "Kofferdichtheid"-test (Throughput Density):
Stel je voor dat je inpakt voor een wandeltocht. Je wilt niet alleen de krachtigste tent; je wilt de krachtigste tent die in de kleinste rugzak past. De auteurs maten hoeveel "slim denken" een apparaat kon doen per kubieke inch van zijn formaat.
- De Winnaar: Het tiny M5Stack was hier de kampioen. Hoewel het niet het snelste was overall, pakte het de meeste rekenkracht in de kleinste ruimte.
De "Batterijduur"-test (Energie per Miljoen Tokens):
Stel je voor dat je een marathon loopt. Je wilt niet alleen snel rennen; je wilt snel rennen zonder uitgeput te raken. Ze maten hoeveel elektriciteit het kostte om een miljoen woorden te genereren.
- De Winnaar: De M5Stack en de Jetson GPU waren het meest energie-efficiënt. Het standaard Raspberry Pi (zonder versterker) was als een hardloper die zeer snel moe werd, waarbij veel energie werd gebruikt voor zeer weinig snelheid.

De Resultaten: Wat Werkte Het Best?

De "Snelheidsduivel": De Jetson Orin Nano was overall het snelst. Als je het meeste antwoorden per seconde nodig hebt en wat ruimte en stroom hebt, is dit degene om te kiezen.
De "Ruimtebespaarder": De M5Stack (het kleine baksteen) was het beste voor krappe ruimtes. Het bewees dat je een slim brein kunt passen in iets zo kleins als een luciferdoosje.
De "Slimme Upgrade": Het toevoegen van de Hailo snelheidsversterker aan de Raspberry Pi maakte het veel beter. Het werd veel sneller en gebruikte veel minder energie dan de Raspberry Pi alleen.
De "Doe Dit Niet": Het proberen om deze slimme breinen te draaien op het standaard Raspberry Pi zonder speciale versterkerchips was zeer inefficiënt. Het was traag en at veel stroom op, als proberen een marathon te lopen in zware laarzen.

Waarom Is Dit Belangrijk? (De Specifieke Beweringen van het Artikel)

De auteurs zeggen dat deze bevindingen cruciaal zijn voor drie specifieke real-world scenario's die in het artikel worden genoemd:

Onbemande Voertuigen (Drones): Drones hebben kleine batterijen. Ze hebben een slim brein nodig dat de batterij niet leegtrekt. Het artikel laat zien dat je een slim brein op een drone kunt plaatsen dat klein genoeg is om te vliegen en efficiënt genoeg is om de drone niet te laten crashen door gebrek aan stroom.
Draagbare, Robuuste Operaties: Denk aan soldaten of werknemers in ruwe omgevingen die uitrusting dragen. Ze hebben computers nodig die in een kleine, stevige koffer passen. De "Kofferdichtheid"-test laat zien welke computers het beste passen in deze krappe, robuuste dozen.
Satelliet Grondstations: Mensen bouwen kleine, draagbare stations om in afgelegen gebieden met satellieten te communiceren. Ze moeten data lokaal verwerken zonder te wachten op een verbinding met het hoofdkantoor. Het artikel laat zien dat deze kleine computers het werk aankunnen, vooral als ze de speciale versterkerchips gebruiken om stroom te besparen.

De Conclusie

Je hebt geen gigantisch datacenter meer nodig om een slimme AI te hebben. Je kunt het in een klein doosje stoppen. Echter, je kunt niet zomaar elke kleine computer pakken; je hebt de juiste combinatie nodig van een kleine computer en een speciale "helper"-chip (versneller) om het snel en energie-efficiënt te maken.

Als je maximale snelheid nodig hebt, haal de Jetson.
Als je maximale kleinheid nodig hebt, haal de M5Stack.
Als je een goede balans wilt, voeg een versterkerchip toe aan een standaard bord.

Dit artikel geeft je de kaart om het juiste gereedschap te kiezen zodat je slimme AI overal kunt draaien, zelfs waar het internet niet komt.

1. Probleemstelling

De implementatie van Large Language Models (LLM's) blijft grotendeels cloud-gericht, wat kritieke knelpunten creëert voor Operationele Technologie (OT) en defensieomgevingen. Deze uitdagingen omvatten:

Gegevensprivacy en -beveiliging: Gevoelige data in kritieke infrastructuur (energie, defensie, productie) kan vaak het gecontroleerde netwerkperimeter niet verlaten.
Latentie en Connectiviteit: De afhankelijkheid van stabiele internetverbindingen is een zwakke schakel in afgelegen of betwiste omgevingen (bijvoorbeeld onbemande voertuigen, satellietgrondstations).
Beoordelingsgaten: Bestaande edge-benchmarkingtools (zoals DeepEdgeBench, LEAF) lijden onder drie hoofdbeperkingen:
1. Ze vertrouwen sterk op CPU-only inferentie of legacy GPU's, en negeren moderne dedicated edge-accelerators (NPUs).
2. Ze missen dekking van echte Single-Board Computers (SBC's) die geschikt zijn voor IoT.
3. Ze gebruiken generieke evaluatiemetrics die niet rekening houden met de multidimensionale beperkingen van edge-implementatie (fysieke grootte, stroombudget en energie-efficiëntie).

2. Methodologie

De auteurs stellen een gestructureerd, multidimensionaal benchmarkkader voor om LLM-inferentie te evalueren op vier verschillende IoT-geschikte edge-platforms.

Experimentele Opstelling:

Hardwareplatforms (5 Configuraties):
1. M5Stack LLM (Module M140): Bevat een AX630C SoC met een geïntegreerde NPU (3,2 TOPS). Kleinste formaat ( $54 \times 54 \times 13$ mm).
2. Raspberry Pi 5: Alleen CPU (Broadcom BCM2712).
3. Raspberry Pi 5 + AI HAT+: Voegt een Hailo-10H NPU toe (40 TOPS).
4. NVIDIA Jetson Orin Nano Super: Bevat een Ampere GPU (67 TOPS).
Modellen: Een selectie van compacte, gedistilleerde LLM's (0,5B tot 3B parameters), waaronder DeepSeek-R1-Distill-Qwen, Qwen 2.5 (Instruct/Coder) en Llama 3.2.
Inferentieconfiguratie:
- Kwantisering: Alle modellen draaien met 4-bit kwantisatie (Q4_K_M) om het geheugengebruik te minimaliseren.
- Runtimes: Ollama (voor CPU/GPU), Hailo Ollama (voor NPU op Pi 5) en StackFlow (voor M5Stack).
- Werklast: Vaste prompts die 100 tokens genereren om doorlopende prestaties te meten.

Evaluatiemetrics:
Het artikel introduceert een multidimensionaal kader dat verder gaat dan eenvoudige latentie/nauwkeurigheid:

Rauwe Prestaties: Token-doorvoer (tokens/s) en Time-to-First-Token (TTFT).
Energie-efficiëntie: Energieverbruik per miljoen tokens (MJ/Mtok).
Samengestelde Metrics (Nieuwe Bijdragen):
- Throughput Density ( $Tps/m^3$ ): Token-doorvoer genormaliseerd naar apparaatvolume. Cruciaal voor ruimtebeperkte implementaties (bijvoorbeeld drones, draagbare apparaten).
- Energie per Miljoen Tokens (MJ/Mtok): Totale energiekost voor generatie, kritiek voor op batterijen werkende systemen.

3. Belangrijkste Bijdragen

Gapanalyse: Geïdentificeerd het ontbreken van multidimensionale kaders die inferentieprestaties, hardware-efficiëntie en fysieke beperkingen gezamenlijk evalueren voor moderne SBC's met dedicated accelerators.
Nieuwe Metrics: Geïntroduceerde Throughput Density en Energie per Miljoen Tokens om hardwareselectie mogelijk te maken op basis van specifieke implementatiebeperkingen (ruimte versus vermogen versus snelheid).
Uitgebreide Benchmarking: Biedt de eerste vergelijkende analyse van moderne edge-accelerators (Hailo-10H, NVIDIA Ampere, AX630C NPU) tegen CPU-only baselines over meerdere modelfamilies.

4. Belangrijkste Resultaten

Impact van Hardware-acceleratie:
- NPU (Hailo-10H): Leverde 9,5x tot 40x energie-efficiëntiewinst ten opzichte van CPU-only inferentie op de Raspberry Pi 5. Het doorvoer steeg van ~0,3 tok/s (CPU) naar ~6,3 tok/s (NPU).
- GPU (Jetson Orin): Biedt een bescheidener 1,2x tot 1,8x efficiëntiewinst ten opzichte van de eigen CPU-baseline, maar bood de hoogste absolute doorvoer (tot ~10 tok/s).
Throughput Density:
- De M5Stack AX630c domineerde deze metric, met >90.000 Tps/m³ dankzij zijn tiny formaat, waardoor het ideaal is voor ultra-compacte, versterkte toepassingen.
- De Jetson Orin, hoewel krachtig, had de laagste dichtheid vanwege het grotere fysieke volume.
Energie-efficiëntie:
- CPU-only inferentie was een orde van grootte minder efficiënt (33–76 MJ/Mtok) in vergelijking met versnelde platforms (0,5–5,5 MJ/Mtok).
- De M5Stack en Jetson GPU waren het meest energie-efficiënt, met een verbruik van ~0,5–1,7 MJ/Mtok.
- De RPi 5 + Hailo toonde variabele efficiëntie afhankelijk van de modelarchitectuur, wat suggereert dat NPU-prestaties gevoeliger zijn voor modelstructuur dan GPU's.

5. Betekenis en Implicaties

De bevindingen bieden praktische richtlijnen voor het implementeren van Generatieve AI in kritieke, privacy-gevoelige en connectiviteit-beperkte omgevingen:

Resiliente Gedistribueerde Systemen: Low-power edge AI (bereik 5–25W) maakt gedecentraliseerde architecturen mogelijk waarbij individuele knooppunten fungeren als intelligente agenten. Dit vermindert de afhankelijkheid van centraal commando en versterkt de weerbaarheid tegen netwerkstoringen of cyberaanvallen.
Energie-beperkte Autonomie: Voor drones en autonome systemen met krappe energiebudgetten verlengt de verschuiving van CPU naar NPU/GPU-inferentie de operationele tijd aanzienlijk, terwijl het lokale besluitvorming en real-time datavertaling mogelijk maakt.
Satellietgrondstations: De resultaten valideren dat modellen met 1,5B parameters kunnen draaien op draagbare SBC's (zoals RPi 5 + Hailo) met hoge efficiëntie. Dit stelt grondstations in staat om intelligente taken (commando-parsing, telemetrie-redenering) lokaal uit te voeren zonder hoge-bandbreedteverbindingen naar centrale faciliteiten nodig te hebben.

Conclusie:
Het artikel toont aan dat hardware-versnelde SBC's nu levensvatbaar zijn voor het lokaal draaien van LLM's. De keuze van hardware mag niet uitsluitend gebaseerd zijn op ruwe snelheid; deze moet in plaats daarvan worden geleid door de specifieke afwegingen tussen fysieke footprint (voordeel M5Stack), absolute doorvoer (voordeel Jetson) en stroomefficiëntie (voordeel M5Stack of Jetson GPU), afhankelijk van de specifieke operationele beperkingen van de IoT-implementatie.