💻 computer science

Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

Questo articolo propone una metodologia di benchmarking multidimensionale per valutare le prestazioni e l'efficienza dell'esecuzione di modelli linguistici di grandi dimensioni su computer a scheda singola accelerati da hardware, fornendo indicazioni pratiche per il dispiegamento di intelligenza artificiale generativa in ambienti periferici sensibili alla privacy e con connettività limitata.

Autori originali: Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

Pubblicato 2026-04-29

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello robotico brillante e super-intelligente (un Modello Linguistico su Grande Scala, o LLM) in grado di scrivere storie, risolvere problemi e rispondere a domande. Di solito, questo cervello risiede in un enorme e costoso data center lontano, nella "nuvola". Per utilizzarlo, devi inviare le tue domande su Internet e attendere una risposta.

Ma cosa succede se ti trovi in un luogo senza Internet, o dove l'invio di dati verso l'esterno rappresenta un rischio per la sicurezza (come una base militare segreta o un drone remoto)? Hai bisogno che quel cervello viva esattamente lì con te, su un computer piccolo ed economico. Questo si chiama "Edge Computing".

Questo articolo è come una guida alla spesa per costruire un cervello robotico locale. Gli autori hanno testato quattro diversi piccoli computer (Single-Board Computers) per vedere quale sia il migliore nell'eseguire questi cervelli intelligenti senza aver bisogno di una centrale elettrica massiccia o di una valigia enorme per trasportarli.

Ecco come hanno proceduto e cosa hanno scoperto, utilizzando semplici analogie:

Il Problema: La "Nuvola" contro lo "Zaino"

Eseguire un cervello intelligente nella nuvola è come ordinare una pizza consegnata da un ristorante dall'altra parte della città. È ottimo se hai una strada veloce (Internet), ma se la strada è bloccata, o se non puoi permettere al fattorino di vedere il tuo indirizzo segreto (privacy), sei bloccato.

Gli autori volevano sapere: Possiamo cuocere la pizza nella nostra stessa cucina?
Hanno testato piccoli computer che stanno nel palmo della mano (o anche più piccoli) per vedere se potevano eseguire questi cervelli intelligenti abbastanza velocemente da essere utili.

La Cucina Sperimentale: Quattro Diversi "Forni"

I ricercatori hanno allestito quattro diversi "forni" (configurazioni hardware) per cuocere la pizza (eseguire l'IA):

Il Mattoncino Minuscolo (M5Stack): Un computer minuscolo, grande quanto una carta di credito, con un chip helper speciale (NPU) integrato. È grande quanto una piccola scatola di fiammiferi.
La Scheda Standard (Raspberry Pi 5): Una scheda computer popolare ed economica, ma che cerca di fare tutto da sola con il suo cervello principale (CPU).
La Scheda Aggiornata (Raspberry Pi 5 + HAT): La stessa scheda standard, ma con una scheda speciale "boost di velocità" (Hailo NPU) attaccata ad essa.
Il Powerhouse (Jetson Orin Nano): Una scheda più costosa e potente con una scheda grafica di fascia alta (GPU) integrata.

Il Nuovo Modo di Misurare il Successo

Di solito, le persone chiedono solo: "Quanto è veloce?" (Token al secondo). Ma gli autori hanno realizzato che per dispositivi piccoli e portatili, la velocità non è l'unica cosa che conta. Hanno introdotto due nuovi modi per misurare il successo:

Il Test "Densità Valigia" (Throughput Density):
Immagina di fare i bagagli per un'escursione. Non vuoi solo la tenda più potente; vuoi la tenda più potente che si adatta allo zaino più piccolo. Gli autori hanno misurato quanto "pensiero intelligente" un dispositivo poteva produrre per pollice cubo delle sue dimensioni.
- Il Vincitore: Il minuscolo M5Stack è stato il campione qui. Anche se non era il più veloce in assoluto, ha racchiuso la maggior parte della potenza di calcolo nello spazio più piccolo.
Il Test "Durata della Batteria" (Energia per Milione di Token):
Immagina di correre una maratona. Non vuoi solo correre veloce; vuoi correre veloce senza stancarti. Hanno misurato quanta elettricità serviva per generare un milione di parole.
- Il Vincitore: Il M5Stack e la GPU Jetson sono stati i più efficienti dal punto di vista energetico. Il Raspberry Pi standard (senza booster) è stato come un corridore che si stancava molto velocemente, usando molta energia per pochissima velocità.

I Risultati: Cosa Ha Funzionato Meglio?

Il "Demone della Velocità": Il Jetson Orin Nano è stato il più veloce in assoluto. Se hai bisogno del maggior numero di risposte al secondo e hai un po' di spazio e potenza a disposizione, questa è quella da scegliere.
Il "Salvaspazio": Il M5Stack (il mattoncino minuscolo) è stato il migliore per spazi ristretti. Ha dimostrato che puoi inserire un cervello intelligente in qualcosa grande quanto una scatola di fiammiferi.
L'"Aggiornamento Intelligente": Aggiungere il boost di velocità Hailo al Raspberry Pi lo ha reso molto migliore. È diventato molto più veloce e ha consumato molta meno energia rispetto al Raspberry Pi da solo.
Il "Non Fare Questo": Cercare di eseguire questi cervelli intelligenti sul Raspberry Pi standard senza alcun chip booster speciale è stato molto inefficiente. Era lento e consumava molta energia, come cercare di correre una maratona con stivali pesanti.

Perché Questo È Importante? (Le Affermazioni Specifiche dell'Articolo)

Gli autori affermano che queste scoperte sono cruciali per tre scenari reali specifici menzionati nell'articolo:

Veicoli Non Presidiati (Droni): I droni hanno batterie minuscole. Hanno bisogno di un cervello intelligente che non scarichi la batteria. L'articolo mostra che puoi mettere un cervello intelligente su un drone abbastanza piccolo da volare e abbastanza efficiente da non far schiantare il drone a causa della scarsa potenza.
Operazioni Portatili e Robuste: Pensa a soldati o lavoratori in ambienti difficili che trasportano attrezzature. Hanno bisogno di computer che entrino in una piccola e robusta custodia. Il test "Densità Valigia" mostra quali computer si adattano meglio a queste scatole strette e robuste.
Stazioni di Terra per Satelliti: Le persone stanno costruendo piccole stazioni portatili per comunicare con i satelliti in luoghi remoti. Hanno bisogno di elaborare i dati localmente senza aspettare una connessione all'ufficio principale. L'articolo mostra che questi piccoli computer possono gestire il lavoro, specialmente se utilizzano i chip booster speciali per risparmiare energia.

La Conclusione

Non hai più bisogno di un enorme data center per avere un'IA intelligente. Puoi metterla in una scatola piccola. Tuttavia, non puoi prendere qualsiasi piccolo computer; hai bisogno della combinazione giusta di un piccolo computer e di un chip "helper" speciale (acceleratore) per renderlo veloce ed efficiente dal punto di vista energetico.

Se hai bisogno di velocità massima, prendi il Jetson.
Se hai bisogno di piccolezza massima, prendi il M5Stack.
Se vuoi un buon equilibrio, aggiungi un chip booster a una scheda standard.

Questo articolo ti fornisce la mappa per scegliere lo strumento giusto in modo da poter eseguire un'IA intelligente ovunque, anche dove Internet non arriva.

1. Enunciato del Problema

Il deployment dei Large Language Models (LLM) rimane prevalentemente centrato sul cloud, creando colli di bottiglia critici per gli ambienti di Tecnologia Operativa (OT) e difesa. Queste sfide includono:

Privacy e Sicurezza dei Dati: I dati sensibili nelle infrastrutture critiche (energia, difesa, manifattura) spesso non possono lasciare i perimetri di rete controllati.
Latenza e Connettività: La dipendenza da connessioni internet stabili è un punto debole in ambienti remoti o contestati (es. veicoli non presidiati, stazioni di terra satellitari).
Lacune nella Valutazione: Gli strumenti esistenti di benchmarking edge (es. DeepEdgeBench, LEAF) soffrono di tre limitazioni principali:
1. Si basano pesantemente sull'inferenza solo CPU o su GPU legacy, ignorando gli acceleratori edge dedicati moderni (NPU).
2. Mancano di copertura di veri e propri Single-Board Computers (SBC) adatti all'IoT.
3. Utilizzano metriche di valutazione generiche che non tengono conto dei vincoli multidimensionali del deployment edge (dimensioni fisiche, budget energetico ed efficienza energetica).

2. Metodologia

Gli autori propongono un framework di benchmarking strutturato e multidimensionale per valutare l'inferenza LLM su quattro piattaforme edge distinte adatte all'IoT.

Setup Sperimentale:

Piattaforme Hardware (5 Configurazioni):
1. M5Stack LLM (Modulo M140): Dotato di un SoC AX630C con NPU integrata (3.2 TOPS). Formato più piccolo ( $54 \times 54 \times 13$ mm).
2. Raspberry Pi 5: Solo CPU (Broadcom BCM2712).
3. Raspberry Pi 5 + AI HAT+: Aggiunge una NPU Hailo-10H (40 TOPS).
4. NVIDIA Jetson Orin Nano Super: Dotato di GPU Ampere (67 TOPS).
Modelli: Una selezione di LLM compatti e distillati (da 0.5B a 3B parametri), inclusi DeepSeek-R1-Distill-Qwen, Qwen 2.5 (Instruct/Coder) e Llama 3.2.
Configurazione di Inferenza:
- Quantizzazione: Tutti i modelli eseguono quantizzazione a 4 bit (Q4_K_M) per minimizzare l'impronta di memoria.
- Runtime: Ollama (per CPU/GPU), Hailo Ollama (per NPU su Pi 5) e StackFlow (per M5Stack).
- Carico di Lavoro: Prompt fissi che generano 100 token per misurare le prestazioni sostenute.

Metriche di Valutazione:
Il documento introduce un framework multidimensionale che va oltre la semplice latenza/accuratezza:

Prestazioni Pure: Throughput dei token (token/s) e Time-to-First-Token (TTFT).
Efficienza Energetica: Consumo energetico per milione di token (MJ/Mtok).
Metriche Composite (Contributi Novelli):
- Densità di Throughput ( $Tps/m^3$ ): Throughput dei token normalizzato per il volume del dispositivo. Cruciale per deployment con vincoli di spazio (es. droni, dispositivi indossabili).
- Energia per Milione di Token (MJ/Mtok): Costo energetico totale per la generazione, critico per sistemi alimentati a batteria.

3. Contributi Chiave

Analisi delle Lacune: Ha identificato l'assenza di framework multidimensionali che valutino congiuntamente le prestazioni di inferenza, l'efficienza hardware e i vincoli fisici per gli SBC moderni con acceleratori dedicati.
Metriche Novelle: Ha introdotto la Densità di Throughput e l'Energia per Milione di Token per abilitare la selezione hardware basata su vincoli di deployment specifici (spazio vs. potenza vs. velocità).
Benchmarking Completo: Ha fornito la prima analisi comparativa degli acceleratori edge moderni (Hailo-10H, NVIDIA Ampere, NPU AX630C) rispetto alle baseline solo CPU su più famiglie di modelli.

4. Risultati Chiave

Impatto dell'Accelerazione Hardware:
- NPU (Hailo-10H): Ha fornito guadagni di efficienza energetica da 9.5x a 40x rispetto all'inferenza solo CPU sul Raspberry Pi 5. Il throughput è aumentato da ~0.3 tok/s (CPU) a ~6.3 tok/s (NPU).
- GPU (Jetson Orin): Ha fornito un guadagno di efficienza più modesto, da 1.2x a 1.8x, rispetto alla propria baseline CPU, ma ha offerto il throughput assoluto più alto (fino a ~10 tok/s).
Densità di Throughput:
- L'M5Stack AX630c ha dominato questa metrica, raggiungendo >90.000 Tps/m³ grazie al suo formato minuscolo, rendendolo ideale per applicazioni ultra-compatte e ruggedizzate.
- Il Jetson Orin, sebbene potente, ha avuto la densità più bassa a causa del suo volume fisico maggiore.
Efficienza Energetica:
- L'inferenza solo CPU è stata un ordine di grandezza meno efficiente (33–76 MJ/Mtok) rispetto alle piattaforme accelerate (0.5–5.5 MJ/Mtok).
- M5Stack e GPU Jetson sono stati i più efficienti dal punto di vista energetico, consumando ~0.5–1.7 MJ/Mtok.
- RPi 5 + Hailo ha mostrato un'efficienza variabile a seconda dell'architettura del modello, suggerendo che le prestazioni NPU sono più sensibili alla struttura del modello rispetto alle GPU.

5. Significato e Implicazioni

I risultati offrono indicazioni pratiche per il deployment di Generative AI in ambienti critici, sensibili alla privacy e con connettività limitata:

Sistemi Distribuiti Resilienti: L'AI edge a bassa potenza (fascia 5–25W) abilita architetture decentralizzate in cui i singoli nodi agiscono come agenti intelligenti. Questo riduce la dipendenza dal comando centrale, aumentando la resilienza contro jamming di rete o cyberattacchi.
Autonomia Vincolata dall'Energia: Per droni e sistemi autonomi con budget energetici stretti, il passaggio dall'inferenza CPU a NPU/GPU estende significativamente il tempo operativo, abilitando al contempo il processo decisionale locale e il riassunto dei dati in tempo reale.
Stazioni di Terra Satellitari: I risultati validano che modelli da 1.5B parametri possono essere eseguiti su SBC portatili (come RPi 5 + Hailo) con alta efficienza. Ciò permette alle stazioni di terra di eseguire compiti intelligenti (analisi dei comandi, ragionamento sulla telemetria) localmente, senza bisogno di collegamenti ad alta larghezza di banda verso strutture centrali.

Conclusione:
Il documento dimostra che gli SBC accelerati hardware sono ora fattibili per l'esecuzione locale di LLM. La scelta dell'hardware non dovrebbe basarsi esclusivamente sulla velocità pura; piuttosto, deve essere guidata dai compromessi specifici tra ingombro fisico (a favore di M5Stack), throughput assoluto (a favore di Jetson) ed efficienza energetica (a favore di M5Stack o GPU Jetson), a seconda dei vincoli operativi specifici del deployment IoT.