A Study on Inference Latency for Vision Transformers on Mobile Devices

Questo studio analizza quantitativamente la latenza di inferenza dei Vision Transformers su dispositivi mobili confrontandoli con le CNN, sviluppando un dataset predittivo che permette di stimare con precisione le prestazioni di nuove architetture ViT su diverse piattaforme.

L'essenziale

📱 Il Grande Esperimento: Le "Intelligenze" sui Telefoni

Immagina che il tuo smartphone sia come una cucina di un ristorante.
Per anni, i cuochi (gli sviluppatori di app) hanno usato una ricetta tradizionale chiamata CNN (Reti Neurali Convoluzionali). È una ricetta collaudata, veloce e che funziona bene anche con fornelli piccoli (il processore del telefono).

Poi, è arrivata una nuova ricetta rivoluzionaria chiamata ViT (Vision Transformers). È come se avessimo scoperto un modo magico di cucinare che rende il cibo (le immagini) molto più gustoso e preciso. Tuttavia, questa nuova ricetta richiede di mescolare tutti gli ingredienti insieme in una volta sola, invece di lavorarli uno per uno. Questo la rende molto più complessa e rischia di far saltare il fornello del telefono!

Gli autori di questo studio (Zhuojin Li, Marco Paolieri e Leana Golubchik) si sono chiesti: "Questa nuova ricetta magica funziona davvero sui nostri telefoni, o è troppo pesante?"

Ecco cosa hanno scoperto, spiegato con analogie semplici:

1. La Corsa di Velocità: Il Vecchio vs. Il Nuovo

Hanno messo a confronto 190 nuove ricette (ViT) contro 102 vecchie ricette (CNN).

• Il risultato: Se guardi solo la "teoria" (quante operazioni matematiche servono, chiamate FLOPs), le due ricette sembrano simili. Ma nella realtà, quando le fai girare sul telefono, le ViT sono più lente.
• L'analogia: È come se due corse avessero la stessa distanza. La CNN corre su una pista d'asfalto liscia. La ViT corre su una pista piena di buche e ostacoli. Anche se la ViT è più potente, impiega più tempo a finire la gara perché deve fare più pause per gestire gli ostacoli.

2. Il Collo di Bottiglia: La Memoria è la Chiave

Hanno scoperto che il problema principale non è la "forza" del processore (il motore), ma la memoria (il magazzino).

• L'analogia: Immagina che la CNN sia un camioncino che porta pochi pacchi alla volta, ma li scarica velocemente. La ViT, invece, è un gigantesco treno merci che deve portare tutti i pacchi insieme.
• Su un telefono, il "magazzino" (la RAM) è piccolo. La ViT deve continuamente spostare i pacchi da un ripiano all'altro per poterli leggere. Questo movimento (chiamato accesso alla memoria) è lento e consuma energia.
• Scoperta: Se provi ad accelerare il motore (il processore), il treno non va più veloce perché è bloccato nel magazzino. Se invece allarghi il magazzino (aumenti la larghezza di banda della memoria), il treno accelera moltissimo!

3. I "Blocchi" della Costruzione: Come sono fatti i ViT

Per capire meglio, hanno costruito 1000 "ViT finti" (sintetici) usando mattoncini diversi, proprio come i bambini con i LEGO.

• Hanno scoperto che alcuni mattoncini sono più veloci di altri a seconda di come sono impilati.
• Il trucco del formato: Hanno notato che se i mattoncini sono impilati in un certo modo (chiamato formato di memoria), il cuoco (il processore) li prende molto più velocemente. È come se avessi gli ingredienti già tagliati e pronti nel cassetto giusto, invece di doverli cercare in tutto il frigo.
• Il problema del "GELU": C'è un ingrediente speciale chiamato GELU (una funzione matematica). Il tempo per cucinarlo cambia a seconda di quanto è "caldo" l'ingrediente (il valore numerico). A volte è velocissimo, a volte è lentissimo. Questo rende impossibile prevedere il tempo di cottura solo guardando la ricetta scritta sulla carta.

4. La Previsione: La Sfera di Cristallo

La parte più bella dello studio è che hanno creato una palla di cristallo (un modello di intelligenza artificiale) capace di prevedere quanto tempo impiegherà una nuova ricetta ViT prima ancora di provarla sul telefono.

• Come funziona? Hanno insegnato alla palla di cristallo guardando i tempi di cottura di 900 ricette finte.
• Il risultato: La palla di cristallo è diventata bravissima! Riesce a dire: "Se costruisci questa nuova app, impiegherà 50 millisecondi".
• Perché è utile?
  1. Per i progettisti (NAS): Invece di costruire 1000 app diverse e provarle tutte (che richiederebbe giorni), possono usare la palla di cristallo per scegliere subito quella che sarà veloce.
  2. Per la collaborazione (Split Inference): A volte il telefono è troppo stanco per fare tutto il lavoro. La palla di cristallo aiuta a decidere: "Faccio io questa parte veloce, e mando al cloud quella parte lenta".

5. Le Sorprese dei "Motori" (Framework)

Hanno notato che due diversi "motori" per far girare le app (PyTorch e TensorFlow) si comportano in modo diverso.

• L'analogia: È come se avessi due auto diverse (una Ferrari e una Lamborghini) che usano lo stesso carburante. Su una strada (il telefono), la Ferrari potrebbe essere più veloce in rettilineo, ma la Lamborghini potrebbe essere più agile nelle curve.
• Hanno scoperto che a volte un motore è veloce, ma se cambi un piccolo dettaglio (come la precisione dei numeri, o quantizzazione), diventa lento. È una sorpresa che solo testando sul vivo si può scoprire.

🏁 Conclusione: Cosa ci insegnano?

In sintesi, questo studio ci dice che:

1. Le nuove "intelligenze" (ViT) sono potenti ma affamate di memoria.
2. Non basta guardare la teoria; bisogna testare sul telefono reale, perché i dettagli contano (come il formato dei dati o il tipo di processore).
3. Abbiamo creato una mappa e una bussola (il dataset e i predittori) che permettono agli sviluppatori di costruire app intelligenti che non bloccano il nostro telefono, rendendo la realtà aumentata e l'analisi video possibili anche sui dispositivi tascabili.

È come se avessero scritto il manuale di istruzioni definitivo per costruire "cervelli" che corrono veloci anche su scarpe da ginnastica, invece che su scarpe da corsa da laboratorio! 🏃‍♂️📱✨

Sommario tecnico

Titolo

Uno studio sulla latenza di inferenza per Vision Transformers (ViT) su dispositivi mobili.

1. Il Problema

Con i recenti avanzamenti nell'apprendimento automatico (ML) e nella visione artificiale (CV), i modelli basati su Vision Transformers (ViT) hanno dimostrato una precisione superiore rispetto alle tradizionali Reti Neurali Convoluzionali (CNN) su vari compiti. Tuttavia, il meccanismo di auto-attenzione utilizzato nei ViT è computazionalmente costoso e richiede risorse di memoria significative.
Su dispositivi mobili, caratterizzati da risorse limitate (RAM, potenza di calcolo) e vincoli di latenza stringenti per l'esperienza utente, l'implementazione efficiente dei ViT rappresenta una sfida. La letteratura esistente si è concentrata principalmente sull'addestramento su GPU cloud o sull'analisi delle CNN, lasciando un vuoto di conoscenza riguardo alle caratteristiche di prestazione dei ViT reali su hardware mobile (CPU e GPU) e ai fattori che ne influenzano la latenza. Inoltre, le metriche tradizionali come i FLOPS (operazioni in virgola mobile) si sono rivelate proxy inaffidabili per la latenza reale su questi dispositivi.

2. Metodologia

Gli autori hanno adottato un approccio empirico e sistematico diviso in tre fasi principali:

• Analisi di Modelli Reali: È stata condotta una misurazione quantitativa delle prestazioni di 190 ViT reali (presi da Timm e HuggingFace) e 102 CNN reali su 6 piattaforme mobili diverse (inclusi Google Pixel, Samsung Galaxy, Apple iPhone con SoC Snapdragon, Exynos, Helio e Apple Silicon). Le misurazioni sono state eseguite su PyTorch Mobile e TensorFlow Lite (TFLite), considerando diverse combinazioni di core CPU (grandi, medi, piccoli) e stati di quantizzazione.
• Identificazione dei Fattori Critici: Attraverso il profiling, gli autori hanno analizzato i colli di bottiglia, il consumo di memoria e l'impatto di:
  • Formati di memoria (NCHW vs NHWC).
  • Funzioni di attivazione (in particolare GELU).
  • Differenze tra librerie di calcolo dei framework ML (es. XNNPACK vs QNNPACK).
• Costruzione di un Dataset Sintetico: Per superare la scarsità di dati e abilitare la previsione, è stato progettato uno spazio di ricerca per generare 1000 ViT sintetici. Questi modelli utilizzano blocchi costitutivi rappresentativi delle architetture efficienti moderne (es. SepConv, SRA, diversi rapporti di espansione MLP) e coprono diverse risoluzioni di input e formati di memoria.
• Sviluppo di Predittori ML: Sono stati addestrati modelli di machine learning (Lasso, Random Forest, Gradient Boosted Decision Trees - GBDT) sui dati di latenza misurati dei ViT sintetici per prevedere la latenza end-to-end di nuovi architetture ViT.

3. Contributi Chiave

1. Confronto Quantitativo ViT vs CNN: Il primo studio su larga scala che confronta direttamente ViT e CNN su dispositivi mobili, evidenziando differenze sostanziali in latenza, colli di bottiglia e consumo di memoria.
2. Dataset Pubblico: Creazione e rilascio di un dataset completo contenente le misurazioni di latenza per 190 ViT reali e 1000 ViT sintetici su 6 piattaforme e 2 framework ML, coprendo diverse configurazioni di core e rappresentazioni dei dati (float/int8).
3. Insight Tecnici Profondi:
   • I ViT sono più soggetti a vincoli di memoria (memory-bound) rispetto alle CNN a causa dell'auto-attenzione.
   • Il formato di memoria influisce drasticamente sulla latenza delle convoluzioni (NHWC è più efficiente su PyTorch Mobile per certi casi).
   • La latenza della funzione di attivazione GELU non è costante ma dipende dai valori di input, rendendo i FLOPS un indicatore inaccurato.
   • Le librerie di calcolo sottostanti nei framework ML (es. differenze tra PyTorch e TFLite) causano variazioni significative nella latenza.
4. Predittori di Latenza Accurati: Dimostrazione che modelli ML semplici (GBDT) addestrati su dati sintetici possono prevedere con alta accuratezza la latenza di ViT reali e sintetici, abilitando applicazioni pratiche.

4. Risultati Principali

• Latenza e FLOPS: I ViT mostrano sistematicamente una latenza di inferenza più elevata rispetto alle CNN con FLOPS simili (es. un ViT da 5.0 GFLOPS è 1.75x più lento di una CNN da 4.95 GFLOPS). I FLOPS sono un proxy inaffidabile per i ViT.
• Vincoli di Memoria: I ViT richiedono più memoria e sono più sensibili alla larghezza di banda della memoria rispetto alle CNN. L'aumento della frequenza della memoria accelera i ViT molto più delle CNN (fino a 3.4x per il 75% dei ViT), mentre l'aumento della frequenza della CPU ha un impatto minore.
• Impatto dei Framework:
  • Su PyTorch Mobile, la quantizzazione migliora le prestazioni sui core piccoli ma può degradarle sui core potenti a causa dell'uso di librerie diverse (QNNPACK vs XNNPACK).
  • Su TFLite, le prestazioni sono generalmente più lineari e meno sensibili ai cambi di formato di memoria.
• Accuratezza della Predizione:
  • I predittori basati su GBDT addestrati su 900 ViT sintetici hanno raggiunto errori medi percentuali (MAPE) molto bassi:
    • ViT Sintetici: ~4.4% su PyTorch Mobile e ~4.8% su TFLite (CPU).
    • ViT Reali: ~8.2% su PyTorch Mobile e ~6.1% su TFLite (CPU).
  • Questi risultati confermano che è possibile prevedere la latenza di architetture non viste (out-of-distribution) con sufficiente accuratezza per applicazioni reali.

5. Significato e Implicazioni

Questo lavoro è fondamentale per lo sviluppo di applicazioni di visione artificiale su dispositivi mobili (edge AI). I risultati permettono di:

• Neural Architecture Search (NAS): Automatizzare la ricerca di architetture ViT che bilanciano accuratezza e efficienza, rispettando i vincoli di latenza specifici del dispositivo target senza dover addestrare e testare fisicamente ogni candidato.
• Inferenza Collaborativa (Split Inference): Ottimizzare il partizionamento del modello tra dispositivo e cloud, calcolando esattamente dove dividere il modello per minimizzare il tempo totale tenendo conto della latenza di trasmissione e computazione locale.
• Ottimizzazione dei Framework: Fornire linee guida per gli sviluppatori di framework ML su come ottimizzare le implementazioni (es. gestione dei formati di memoria e funzioni di attivazione) per migliorare le prestazioni sui dispositivi mobili.

In sintesi, il paper fornisce le basi empiriche e gli strumenti necessari per rendere i Vision Transformers praticabili ed efficienti nell'ecosistema mobile, superando le limitazioni delle metriche tradizionali e offrendo un approccio basato sui dati per la previsione delle prestazioni.