Benchmarking Deep Learning Models for Object Detection on Edge Computing Devices

Questo articolo valuta i modelli di rilevamento di oggetti all'avanguardia su diversi dispositivi edge per analizzare i compromessi tra accuratezza, velocità di inferenza ed efficienza energetica, fornendo infine indicazioni pratiche per selezionare le combinazioni modello-dispositivo ottimali per applicazioni in tempo reale.

L'essenziale

Immagina di dover costruire un sistema di telecamere di sicurezza per un piccolo negozio, ma non puoi collegarlo a un server cloud massiccio e costoso. Invece, hai bisogno che la telecamera "pensi" e individui gli intrusi direttamente sul posto, utilizzando un computer minuscolo alimentato a batteria. Questo è il mondo del Edge Computing: svolgere il lavoro pesante localmente invece di inviare dati al cloud.

Questo articolo è come una recensione automobilistica per computer minuscoli, ma invece di testare quanto velocemente guidano, gli autori hanno testato quanto bene riescono a "vedere" e identificare oggetti (come persone, auto o animali) utilizzando diversi tipi di software di intelligenza artificiale.

Ecco la scomposizione del loro esperimento in termini semplici:

I Contendenti: I "Cervelli" (Modelli AI)

I ricercatori hanno testato tre diverse famiglie di "cervelli" AI progettati per individuare oggetti. Immagina questi come diversi tipi di detective:

1. YOLOv8 (You Only Look Once): Questi sono i detective ad alte prestazioni.
   • La versione "Medium": Un detective senior incredibilmente preciso, ma che impiega molto tempo a pensare e si stanca rapidamente (consuma molta batteria).
   • Le versioni "Nano" e "Small": Detective junior che sono più veloci e consumano meno energia, ma potrebbero perdere qualche dettaglio.
2. SSD (Single Shot Detector): Questi sono gli sprinter.
   • Sono molto veloci e consumano pochissima energia, ma non sono bravi quanto gli altri nell'individuare oggetti difficili o piccoli. Sono come una guardia di sicurezza che fa un pattugliamento veloce ma potrebbe perdere un ladro furtivo.
3. EfficientDet Lite: Questi sono i detective equilibrati. Cercano di trovare un punto di mezzo tra velocità e precisione.

La Pista da Corsa: I "Muscoli" (Dispositivi Edge)

Gli autori hanno testato questi detective su diversi tipi di computer minuscoli, che fungono da corpi per i cervelli:

• Raspberry Pi (Modelli 3, 4 e 5): Questi sono come i "coltellini svizzeri" del mondo informatico. Sono economici, piccoli e popolari. Gli autori li hanno testati sia da soli sia con un particolare stick USB collegato (chiamato TPU) che agisce come un turbocompressore per aiutarli a pensare più velocemente.
• NVIDIA Jetson Orin Nano: Questa è la "vettura sportiva" del gruppo. È più costosa e potente, progettata specificamente per compiti AI pesanti.

I Risultati della Gara: Velocità, Batteria e Precisione

I ricercatori hanno corso una maratona chiedendo a ogni computer di identificare oggetti in migliaia di foto. Hanno misurato tre cose:

1. Quanto tempo ha impiegato per individuare un oggetto (Tempo di Inferenza).
2. Quanta batteria ha consumato per foto (Consumo Energetico).
3. Quanti oggetti ha effettivamente trovato correttamente (Precisione/mAP).

Ecco cosa hanno scoperto:

• Il Vincitore "Veloce ed Economico": I modelli SSD sono stati i vincitori chiari per velocità e durata della batteria. Erano come un maratoneta che mangia pochissimo e corre veloce, ma non erano i migliori nell'individuare ogni singolo dettaglio.
• Il Vincitore "Preciso ma Affamato": Il modello YOLOv8 Medium è stato il detective più preciso, trovando il maggior numero di oggetti correttamente. Tuttavia, era lento e consumava molta batteria, come un'auto di lusso con un alto consumo di carburante.
• L'Effetto "Turbocompressore": Quando hanno aggiunto l'acceleratore TPU (lo stick USB) ai Raspberry Pi, è stato come dare un motore a reazione a una bicicletta.
  • Per i modelli SSD ed EfficientDet, il TPU li ha resi incredibilmente veloci ed efficienti senza comprometterne la precisione.
  • Tuttavia, per i modelli YOLOv8, il TPU li ha costretti a rimpicciolire il loro "cervello" (comprimere il modello) per adattarsi. Questo li ha resi più veloci, ma meno precisi, come un detective senior costretto a indossare una benda sugli occhi per correre più veloce.
• Il Campione "Vettura Sportiva": Il Jetson Orin Nano è stato il campione assoluto. È stato il più veloce e il più efficiente dal punto di vista energetico per i pesanti modelli YOLOv8. Ha potuto gestire i modelli grandi e precisi senza rallentare o scaricare la batteria troppo velocemente.

La Grande Conclusione

Non esiste una scelta "perfetta" unica. Dipende da cosa ti serve:

• Se hai bisogno di massima velocità e durata della batteria (come un drone che vola per ore), dovresti scegliere il modello SSD su un Raspberry Pi con TPU.
• Se hai bisogno di massima precisione (come un'auto a guida autonoma che deve vedere ogni pedone) e hai un dispositivo potente, la scelta migliore è il Jetson Orin Nano che esegue YOLOv8.
• Se sei a budget limitato e hai bisogno di un equilibrio, il Raspberry Pi 4 o 5 con EfficientDet è una solida via di mezzo.

In breve, l'articolo ci insegna che costruire AI locale intelligente è un atto di equilibrio. Devi scegliere tra quanto vuoi che il computer sia veloce, quanta batteria può risparmiare e quanto deve essere intelligente. Non esiste il pranzo gratis, ma conoscere questi compromessi ti aiuta a costruire il sistema giusto per il tuo lavoro specifico.

Sommario tecnico

1. Enunciato del Problema

Le applicazioni moderne, in particolare i veicoli autonomi e la sorveglianza in tempo reale, richiedono la distribuzione di algoritmi di rilevamento oggetti basati sul deep learning su dispositivi edge con risorse limitate. Sebbene il cloud computing offra elevate prestazioni, introduce problemi di latenza e dipendenza. L'edge computing risolve questo problema ma presenta sfide significative:

• Vincoli di Risorse: I dispositivi edge (es. Raspberry Pi, Jetson) hanno potenza CPU/GPU, memoria e durata della batteria limitate.
• Il Dilemma del Trade-off: Manca una comprensione completa dei compromessi tra accuratezza (mAP), velocità di inferenza (latenza) ed efficienza energetica attraverso diversi modelli e configurazioni hardware.
• Lacuna nella Letteratura: Gli studi esistenti si concentrano spesso su modelli specifici o mancano di una valutazione simultanea del consumo energetico, del tempo di inferenza e dell'accuratezza su un'ampia gamma di modelli moderni (come YOLOv8) e hardware diversificato (inclusi TPU e nuovi moduli Jetson).

2. Metodologia

Configurazione Sperimentale

Gli autori hanno condotto uno studio di benchmarking completo che ha coinvolto:

• Dispositivi Edge:
  • Serie Raspberry Pi: Pi 3 Model B+, Pi 4 Model B e Pi 5.
  • Acceleratori: Acceleratori USB Google Coral (Edge TPU) collegati ai modelli Pi.
  • Edge ad Alte Prestazioni: NVIDIA Jetson Orin Nano (4 GB di RAM).
• Modelli di Rilevamento Oggetti:
  • YOLOv8: Varianti Nano, Small e Medium.
  • EfficientDet Lite: Lite0, Lite1 e Lite2.
  • SSD: SSD MobileNet V1 e SSDLite MobileDet.
• Framework e Distribuzione:
  • PyTorch: Utilizzato per la distribuzione nativa di YOLOv8 sui Pi.
  • TensorFlow Lite (TFLite): Utilizzato per i modelli sui Pi con TPU (i modelli sono stati compressi da una risoluzione di input 640x640 a 320x320 per adattarsi ai vincoli della TPU).
  • TensorRT: Utilizzato per l'ottimizzazione dei modelli su Jetson Orin Nano.
  • Servizio Web: I modelli sono stati distribuiti come servizi web Flask-API per simulare la gestione delle richieste in scenari reali.

Metriche di Valutazione

Lo studio ha misurato tre metriche critiche:

1. Tempo di Inferenza: Tempo necessario per elaborare un'immagine (esclusi pre/post-processing), misurato in millisecondi.
2. Consumo Energetico: Calcolato come Energia per Richiesta (esclusa l'energia di base).
   • Formula: $E_{excR} = \frac{TE - BE}{NR}$
   • Dove $TE$ è l'Energia Totale, $BE$ è l'Energia di Base (idle) e $NR$ è il Numero di Richieste.
3. Accuratezza: Precisione Media Media (mAP) valutata sul dataset di validazione COCO (5.000 immagini) utilizzando lo strumento FiftyOne.

Automazione

• Locust: Utilizzato per generare richieste HTTP automatizzate e sequenziali agli endpoint API per intervalli di 5 minuti per misurare il throughput e l'energia.
• Misuratore di Potenza: Un misuratore di potenza USB UM25C con connettività Bluetooth ha misurato il consumo energetico in tempo reale.

3. Contributi Chiave

1. Benchmarking Completo: Una valutazione unica di modelli all'avanguardia (YOLOv8, EfficientDet Lite, SSD) su un insieme diversificato di hardware (Pi 3/4/5, TPU, Jetson Orin Nano).
2. Metriche Olistiche: Misurazione simultanea di Accuratezza, Latenza ed Efficienza Energetica (per richiesta), fornendo una visione multidimensionale delle prestazioni.
3. Ottimizzazione del Framework: Ha dimostrato l'impatto di diversi framework di distribuzione (PyTorch, TFLite, TensorRT) e della compressione della risoluzione di input sull'hardware TPU.
4. Guida Pratica: Ha fornito indicazioni attuabili per i professionisti sulla selezione della coppia modello-dispositivo ottimale in base a vincoli applicativi specifici (es. durata della batteria vs velocità in tempo reale).

4. Risultati Chiave

Consumo Energetico

• Più Efficiente: SSD MobileNet V1 ha consumato costantemente meno energia per richiesta su tutti i dispositivi.
• Meno Efficiente: YOLOv8 Medium ha avuto il consumo energetico più elevato.
• Prestazioni del Dispositivo:
  • Jetson Orin Nano è stato il dispositivo più efficiente dal punto di vista energetico per la gestione delle richieste, nonostante avesse il consumo di potenza idle più elevato.
  • Impatto della TPU: L'aggiunta di una TPU ha ridotto il consumo energetico per richiesta per tutti i modelli, ma ha aumentato il consumo energetico di base idle del dispositivo (dal 9% al 46% a seconda del modello Pi).
  • Divario Generazionale: Pi 4 e Pi 5 sono stati più efficienti energeticamente rispetto a Pi 3.

Tempo di Inferenza (Velocità)

• Modelli Più Veloci: SSD MobileNet V1 è stato il modello più veloce su tutte le piattaforme.
• Modelli Più Lenti: YOLOv8 Medium è stato costantemente il più lento.
• Accelerazione Hardware:
  • TPU: Hanno ridotto significativamente i tempi di inferenza (es. SSD_v1 su Pi 3+TPU è sceso da 427ms a 61ms).
  • Jetson Orin Nano: Ha raggiunto i tempi di inferenza assoluti più bassi (es. YOLOv8 Nano a 16ms), superando anche i Pi accelerati da TPU.

Accuratezza (mAP)

• Accuratezza Più Alta: YOLOv8 Medium ha raggiunto la mAP più alta (44 sui Pi standard).
• Accuratezza Più Bassa: SSD MobileNet V1 ha avuto la mAP più bassa (19).
• Impatto della TPU sull'Accuratezza:
  • EfficientDet & SSD: L'accuratezza è rimasta stabile quando distribuita su TPU.
  • YOLOv8: L'accuratezza è crollata significativamente sui Pi con TPU (es. YOLOv8 Nano è sceso da 31 mAP a 16 mAP) a causa della compressione del modello richiesta (riduzione della risoluzione di input da 640x640 a 320x320).
• Impatto di Jetson: Jetson Orin Nano ha mantenuto un'alta accuratezza per YOLOv8 ma ha mostrato una leggera diminuzione della mAP per i modelli SSD e EfficientDet rispetto ai Pi.

Analisi del Trade-off (Frontiera di Pareto)

• Modelli SSD: Mostrano una correlazione lineare tra energia e tempo. Jetson Orin Nano e Pi 5+TPU hanno formato la "frontiera di Pareto" (miglior equilibrio).
• YOLOv8: Jetson Orin Nano si è rivelata la scelta superiore, offrendo il miglior equilibrio tra velocità, energia e accuratezza senza la penalità di accuratezza osservata sulle TPU.

5. Significato e Conclusione

Il documento conclude che non esiste una singola configurazione "migliore"; la scelta dipende dai requisiti specifici dell'applicazione:

• Per la Massima Accuratezza: YOLOv8 Medium su Jetson Orin Nano è la scelta ottimale.
• Per Massima Velocità/Efficienza Energetica: SSD MobileNet V1 su Jetson Orin Nano o Pi 5 con TPU è preferito.
• Insight Critico: Sebbene le TPU Edge migliorino drasticamente la velocità e riducano l'energia per richiesta, possono degradare severamente l'accuratezza di modelli complessi come YOLOv8 a causa dei vincoli sulla risoluzione di input. Pertanto, per distribuzioni YOLOv8 ad alta accuratezza, i dispositivi edge basati su GPU (Jetson) sono superiori rispetto alle configurazioni basate su TPU.

Questo studio fornisce un riferimento vitale per ricercatori e ingegneri che sviluppano soluzioni di AI edge, evidenziando la necessità di bilanciare le capacità hardware, l'architettura del modello e i framework di distribuzione per soddisfare i vincoli del mondo reale.