🤖 machine learning

MiCoPro: End-to-End Mixed Precision HW/SW Co-design with HW-aware Proxy Model

Il documento presenta MiCoPro, un framework di co-design hardware-software end-to-end che utilizza un modello proxy consapevole dell'hardware e un nuovo algoritmo di ottimizzazione per ricercare efficientemente schemi di quantizzazione a precisione mista, consentendo una rapida implementazione di modelli AI per l'edge con una significativa riduzione della latenza e una perdita minima di accuratezza.

Autori originali: Zijun Jiang, Yangdi Lyu

Pubblicato 2026-08-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zijun Jiang, Yangdi Lyu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di far stare un film massiccio in alta definizione in un vecchio lettore MP3 minuscolo. Il film è una "Rete Neurale", un tipo di cervello informatico che impara a riconoscere i gatti, tradurre lingue o guidare auto. Il problema è che questi cervelli sono solitamente costruiti con numeri in virgola mobile pesanti (come a 32 o 64 bit), che occupano molto spazio e richiedono molta energia per essere elaborati. Per farli girare su piccoli dispositivi come smartwatch o droni, gli ingegneri usano la "Quantizzazione". Immagina questo come la compressione del film: invece di usare milioni di colori, costringi l'immagine a usare solo poche sfumature di grigio. Questo rende il file più piccolo e veloce da riprodurre, ma se comprimi troppo, l'immagine diventa sfuocata e l'IA smette di riconoscere il gatto.

Per molto tempo, gli ingegneri hanno cercato di comprimere l'intero film con la stessa bassa qualità, come trasformare ogni fotogramma in uno schizzo a 4 bit. Ma questo è come forzare una scena d'azione al rallentatore e una scena di dialogo tranquilla ad avere la stessa bassa risoluzione; si spreca spazio sulle parti tranquille e si rovinano le parti d'azione. Un'idea più intelligente è la "Quantizzazione a Precisione Mista" (MPQ). Questo è come un algoritmo di compressione intelligente che mantiene le scene d'azione in alta definizione (8 bit) ma rimpicciolisce le scene di dialogo noiose in piccoli schizzi (2 bit). La sfida, tuttavia, è capire esattamente quali scene restringere e di quanto. Se sbagli il tiro, il film sembra terribile. Se indovini, ottieni un file minuscolo che però appare ancora fantastico. Questo è l'enigma che i ricercatori di questo articolo si sono dati la missione di risolvere.

L'articolo presenta un nuovo toolkit chiamato MiCo (e la sua versione aggiornata, MiCoPro) per risolvere questo enigma automaticamente. Invece di un essere umano che cerca di regolare manualmente ogni livello di una rete neurale — il che è come cercare di montare un film di 100 ore fotogramma per fotogramma — il sistema MiCo agisce come un editor super intelligente che accelera la riproduzione. Utilizza un "modello proxy", che è essenzialmente una palla di cristallo addestrata a prevedere quanto velocemente uno specifico schema di compressione girerà sull'hardware reale senza doverlo effettivamente eseguire.

I ricercatori hanno scoperto che il vecchio modo di indovinare la velocità era come contare il numero di parole in un libro per indovinare quanto tempo occorre per leggerlo. È una stima approssimativa, ma ignora se il carattere è piccolo, se il lettore è stanco o se il libro è pesante. L'articolo sostiene che questo vecchio metodo (chiamato "Operazioni di Bit" o BOPs) spesso porta a scelte errate perché non comprende le peculiarità specifiche dell'hardware. MiCoPro, d'altra parte, costruisce un "tachimetro" personalizzato per ogni specifico dispositivo. Impara come diverse hardware gestiscono diversi tipi di calcoli matematici, permettendogli di trovare il mix perfetto di alta e bassa precisione che rende l'IA più veloce senza perderne l'accuratezza.

Nei loro esperimenti, il team ha testato questo sistema su vari modelli di IA, dai semplici riconoscitori di immagini ai più grandi modelli linguistici. Hanno scoperto che, utilizzando il loro nuovo "Proxy Consapevole dell'Hardware", potevano tagliare il tempo necessario all'IA per pensare (latenza) fino al 40% perdendo meno del 3% della sua accuratezza. È come trovare un modo per far durare la batteria del tuo telefono il 40% in più senza rendere lo schermo meno luminoso.

L'articolo evidenzia anche che non si tratta solo di una teoria; hanno effettivamente costruito il software per prendere un modello progettato in Python (un linguaggio di programmazione popolare) e trasformarlo in codice C puro, "bare-metal", che può girare direttamente sui chip, inclusi acceleratori specializzati e processori RISC-V modificati. Hanno dimostrato che il loro metodo funziona meglio dei precedenti algoritmi di "ricerca", che spesso si perdono nell'enorme numero di possibili combinazioni. Usando una tecnica chiamata "Near-Constraint Sampling", MiCo concentra la sua ricerca proprio vicino al limite di velocità, invece di perdere tempo a controllare opzioni troppo lente o troppo veloci.

In definitiva, l'articolo suggerisce che per ottenere il massimo dai modelli di IA su piccoli dispositivi, dobbiamo smettere di trattare tutti i livelli di una rete neurale allo stesso modo. Usando una guida intelligente e consapevole dell'hardware per mescolare e abbinare i livelli di precisione, possiamo rendere l'IA più veloce ed efficiente. Gli autori dimostrano che questo approccio è robusto, funzionando su diversi tipi di chip e modelli, e forniscono un framework open-source affinché altri possano utilizzarlo. Sebbene i risultati si basino su simulazioni e test hardware specifici, il successo costante in vari scenari suggerisce che questa strategia di "compressione intelligente" è uno strumento potente per il futuro dell'Edge AI.

Sintesi Tecnica: MiCoPro: Co-design HW/SW a precisione mista end-to-end con Modello Proxy Hardware-Aware

Problematica
Le reti neurali quantizzate (QNN) sono essenziali per il deployment di IA su dispositivi edge con risorse limitate. Sebbene la quantizzazione a precisione mista (MPQ) per livello offra una via per massimizzare l'efficienza senza sacrificare l'accuratezza, gli algoritmi di esplorazione esistenti affrontano limitazioni significative. I metodi convenzionali faticano a gestire l'alta dimensionalità e le complesse correlazioni dello spazio di ricerca MPQ, affidandosi spesso a ricerche euristiche inefficienti o a tecniche di machine learning che richiedono budget di valutazione eccessivi. Inoltre, le metriche di costo hardware standard, come le Bit Operations (BOPs), non riescono a prevedere accuratamente la latenza reale su target hardware specifici perché ignorano le sfumature architettoniche come il packing degli operandi, la larghezza di banda della memoria e l'utilizzo SIMD. Infine, manca un framework unificato ed end-to-end in grado di esplorare efficientemente gli schemi MPQ basati sulle caratteristiche hardware e di distribuire direttamente i modelli risultanti da PyTorch a codice C bare-metal su diverse piattaforme.

Metodologia
Gli autori propongono MiCo, un framework olistico per l'esplorazione MPQ, e la sua estensione MiCoPro, che integra un Modello Proxy Hardware-Aware (HAP).

Algoritmo di Esplorazione MPQ (MiCo):
- Formulazione: La ricerca è trattata come un problema di ottimizzazione black-box con vincoli di budget.
- Modellazione Surrogata: Il framework impiega l'apprendimento ensemble Random Forest (RF) per prevedere l'accuratezza del modello in base alle configurazioni di quantizzazione. RF è stata scelta per la sua capacità di modellare interazioni non lineari in spazi di ricerca discreti con dati di addestramento limitati.
- Strategia di Campionamento:
  - Campionamento Iniziale Ortogonale: Invece di un campionamento casuale uniforme, il metodo genera un insieme iniziale di campioni che includono bit-width estremi (es. W8A8, W1A1) e combinazioni ortogonali dove specifici layer sono quantizzati mentre altri rimangono a precisione intera. Ciò assicura che il predittore apprenda efficacementamente i limiti e le interazioni dello spazio di ricerca.
  - Campionamento Near-Constraint (NCS): Un algoritmo genetico genera schemi candidati all'interno di una Regione di Interesse (ROI) vicina al vincolo hardware (es. limite di latenza o BOPs). La ROI inizia stretta ed si espande se non vengono trovate soluzioni fattibili, dando priorità agli schemi che massimizzano l'accuratezza vicino al confine del vincolo.
- Strategia di Valutazione: Il framework utilizza un approccio di valutazione bifurcato. Per bit-width $\ge$ 4 bit, utilizza la Post-Training Quantization (PTQ) per una stima rapida. Per le configurazioni sub-4-bit, impiega una breve fase di ri-addestramento Quantization-Aware Training (QAT) per recuperare l'accuratezza, bilanciando il costo di ricerca con la precisione.
Hardware-Aware Proxy (MiCoPro):
- Profiling dei Kernel: Il sistema raccoglie dati di latenza ciclo-accurati per kernel a precisione mista (MatMul, Conv2D) attraverso varie forme e combinazioni di precisione sull'hardware target.
- Ingegneria delle Caratteristiche: Per superare i limiti delle BOPs, gli autori introducono le Composite Bit Operations (CBOPs). Queste caratteristiche decompongono il costo hardware in:
  - BMACs (Bit Multiply-Accumulate): $\max(b_w, b_a) \times MACs$ , catturando il collo di bottiglia dell'estensione degli operandi a larghezza variabile.
  - ALoads/WLoads: Termini separati per il traffico di memoria di attivazione e pesi, catturando gli impatti asimmetrici sulla larghezza di banda.
- Calibrazione e Trasferimento: Una calibrazione min-max dipendente dalla rete allinea le predizioni del proxy con le latenze hardware reali agli estremi di precisione. Inoltre, un meccanismo di transfer learning consente al proxy di adattarsi a nuove varianti hardware (es. diverse configurazioni di core RISC-V) utilizzando una quantità minima di nuovi dati di profiling, apprendendo l'errore residuo di un modello pre-addestrato.
Deployment End-to-End:
- Il framework include una pipeline di deployment che converte il modello PyTorch ottimizzato in un grafo PyTorch FX.
- Supporta la conversione del grafo per simulatori specifici (es. BitFusion) e genera codice C bare-metal per CPU.
- Utilizza una libreria di kernel a precisione mista personalizzata (estensione di baremetal-NN) con varianti accelerate SIMD per operazioni a 8/4/2/1 bit, consentendo l'esecuzione diretta su processori RISC-V e acceleratori.

Contributi Chiave

Algoritmo di Esplorazione Novello: Una strategia di Near-Constraint Sampling guidata da Random Forest (RF+NCS) che esplora efficientemente gli schemi MPQ, raggiungendo cali di accuratezza inferiori sotto vincoli stretti rispetto ai metodi euristici e basati sul reinforcement learning.
Modello Proxy Hardware-Aware: Un metodo di predizione della latenza utilizzando CBOPs e transfer learning che supera significativamente le metriche tradizionali delle BOPs nel prevedere la latenza hardware reale, consentendo una vera ottimizzazione hardware-aware.
Framework Olistico: Una pipeline end-to-end open-source che colma il divario tra esplorazione MPQ e deployment, supportando diversi target inclusi acceleratori dedicati (BitFusion) e processori RISC-V con estensioni SIMD.

Risultati Sperimentali
Il framework è stato valutato su una varietà di modelli (CNN, ResNet, ViT, TinyLLaMa) e target hardware (acceleratore BitFusion, varianti RISC-V VexiiMiCo).

Efficienza di Ricerca: Nella ricerca PTQ, MiCo ha superato costantemente gli stati dell'arte (HAWQ-V3, HAQ, BOMP, w-based) attraverso vari modelli e vincoli. Ad esempio, su SqueezeNet, MiCo ha raggiunto il 68,22% di accuratezza in 32 iterazioni, mentre HAQ ha richiesto 91 iterazioni per raggiungere lo stesso livello.
Performance QAT: Nelle ricerche QAT a basso bit-width (1/2/4/8-bit), MiCo ha mantenuto un'accuratezza competitiva, particolarmente sui modelli piccoli dove altri metodi faticavano a causa degli spazi di ricerca ad alta dimensionalità.
Accuratezza del Proxy: Il modello HAP utilizzando CBOPs e feature complete ha ottenuto un'accuratezza di predizione significativamente più alta (es. $R^2$ di 0,94 rispetto a 0,50 per le BOPs su BitFusion) e un Mean Absolute Percentage Error (MAPE) inferiore rispetto ai baseline basati su BOPs.
Velocità di Deployment: Il deployment end-to-end ha dimostrato che l'esplorazione guidata da HAP produce velocità reali superiori. Su BitFusion, l'MPQ guidata da HAP ha ridotto la latenza al 60% del baseline (rispetto al 72% per quelle guidate da BOPs) con una perdita di accuratezza trascurabile. Sui processori RISC-V, l'esplorazione guidata da HAP ha ottenuto fino al 40% di riduzione della latenza rispetto alla quantizzazione uniforme, mentre l'esplorazione guidata da BOPs ha prodotto velocità significativamente inferiori a causa degli overhead hardware non modellati.

Significatività
Il paper sostiene che MiCoPro affronti il divario critico tra l'efficienza teorica della quantizzazione e il deployment hardware pratico. Passando oltre le semplici metriche BOPs verso un modello proxy hardware-aware e fornendo uno stack di deployment unificato, il framework consente la rapida esplorazione e il deployment diretto di modelli MPQ che ottengono una reale accelerazione su dispositivi edge. I risultati dimostrano che l'ottimizzazione hardware-aware è essenziale per realizzare il pieno potenziale della quantizzazione a precisione mista, ottenendo fino al 40% di riduzione della latenza con meno del 3% di calo dell'accuratezza su diverse architetture hardware.

Articoli simili