ImageHD: Energy-Efficient On-Device Continual Learning of Visual Representations via Hyperdimensional Computing

1. Il Problema: Apprendimento Continuo su Dispositivi Edge

L'apprendimento continuo (Continual Learning - CL) permette ai sistemi di intelligenza artificiale di acquisire conoscenze in modo incrementale da flussi di dati, adattandosi a nuovi compiti senza dover essere riaddestrati da zero. Questo è cruciale per le applicazioni edge (es. droni autonomi, robotica, sensori IoT) dove:

• Vincoli di risorse: I dispositivi hanno memoria, energia e capacità di calcolo limitate.
• Requisiti di latenza: L'adattamento deve avvenire in tempo reale senza perdere frame.
• Privacy e connettività: L'elaborazione deve avvenire localmente, senza inviare dati al cloud.

Sfide attuali:

• I metodi CL esistenti si basano spesso su backpropagation (addestramento iterativo) o su classificatori pesanti basati su esempi (exemplars), che richiedono elevate risorse computazionali e memoria.
• Le implementazioni precedenti basate su Hyperdimensional Computing (HDC) utilizzano gerarchie di memoria complesse e algoritmi di clustering (come lo spettro grafico) con complessità cubica $O(N^3)$, rendendoli difficili da deployare su hardware con risorse limitate.
• Le piattaforme generiche (CPU/GPU) sono spesso inefficienti in termini energetici per carichi di lavoro HDC specifici.

2. Metodologia: ImageHD

Il paper propone ImageHD, un acceleratore FPGA progettato end-to-end per l'apprendimento continuo di dati visivi su dispositivo, basato su un'architettura ibrida CNN-HDC.

A. Pipeline Ibrida CNN-HDC

1. Front-end CNN Quantizzato: Utilizza una rete MobileNetV2 pre-addestrata e quantizzata in INT8. Questa rete estrae caratteristiche visive semantiche. La quantizzazione riduce drasticamente l'ingombro in memoria senza compromettere l'accuratezza, sfruttando la robustezza intrinseca dell'HDC al rumore.
2. Codifica HDC: Le caratteristiche estratte vengono mappate in ipervettori binari ad alta dimensionalità (Hypervectors - HV) utilizzando tabelle di livello e posizione.
3. Apprendimento Continuo: L'adattamento avviene nello spazio HDC tramite operazioni bitwise (XOR, bundling) invece che tramite gradienti.

B. Strategie Algoritmiche Chiave

• Memoria Unificata degli Esempi: A differenza dei lavori precedenti che usano memorie a più livelli (STM/LTM), ImageHD utilizza un'unica memoria di cluster vincolata (bounded). Questo semplifica la logica di controllo e riduce l'ingombro in memoria.
• Fusione di Cluster Hardware-Ottimizzata: Sostituisce il clustering spettrale (complessità $O(N^3)$) con un algoritmo kMeans++ ottimizzato per l'hardware.
  • Sfrutta la quasi-ortogonalità degli ipervettori per usare distanze semplici (Hamming).
  • Riduce la complessità da cubica a lineare $O(N)$, ottenendo un speedup algoritmico di 8.6x.
• Architettura di Streaming: L'intero sistema è progettato come un flusso di dati (dataflow) su FPGA, permettendo di sovrapporre estrazione delle feature, codifica HDC, ricerca di similarità e fusione dei cluster.

3. Contributi Chiave

1. Acceleratore FPGA End-to-End: Prima implementazione completa su FPGA per l'apprendimento continuo visivo non supervisionato, integrando estrazione delle feature, codifica e gestione dei cluster.
2. Ottimizzazione Algoritmica: Sostituzione del clustering spettrale con kMeans++ basato su distanze Hamming, riducendo la complessità computazionale e permettendo l'esecuzione in tempo reale.
3. Efficienza di Memoria: Introduzione di una memoria unificata vincolata che si adatta alle risorse on-chip, eliminando la necessità di gerarchie di memoria complesse.
4. Robustezza alla Quantizzazione: Dimostrazione che la quantizzazione INT8 della CNN non degrada le prestazioni dell'HDC, riducendo il modello di 3.7x rispetto alla precisione FP32.
5. Architettura di Streaming: Progettazione di unità di calcolo specializzate (PCU, DCU, HEU, HLU, CMU) su FPGA (Zynq ZCU104) che sfruttano operazioni bitwise parallele su ipervettori "word-packed".

4. Risultati Sperimentali

Il sistema è stato valutato sul dataset CORe50 (e CIFAR-10/100) confrontato con baseline CPU (AMD EPYC 7763), GPU (NVIDIA RTX A4000) e edge GPU (Jetson AGX Orin).

• Velocità (Latency):
  • Fino a 40.4x più veloce rispetto alla CPU.
  • Fino a 4.84x più veloce rispetto alla GPU.
  • Su CORe50, la latenza è scesa da ~19ms (CPU) a 0.48ms (FPGA).
• Efficienza Energetica:
  • Guadagni fino a 383x rispetto alla CPU.
  • Guadagni fino a 105.1x rispetto alla GPU.
  • Consumo energetico per immagine: 1.76 mJ/img (contro 673 mJ/img della CPU su CORe50).
• Accuratezza:
  • L'uso della quantizzazione INT8 e del kMeans++ mantiene un'accuratezza di clustering (ACC, Purity, NMI) paragonabile o superiore rispetto alle controparti non quantizzate o basate su clustering spettrale, con un impatto trascurabile sulle metriche di qualità.
• Confronto con altri Acceleratori:
  • Rispetto a lavori FPGA precedenti (es. AILIS, ILOC), ImageHD offre latenze inferiori (fino a 19.7x rispetto a [11]) e un'efficienza energetica superiore (53x), grazie all'architettura streaming completa che include l'estrazione delle feature.

5. Significato e Impatto

Il lavoro ImageHD stabilisce un nuovo standard per l'intelligenza artificiale su dispositivo (Edge AI):

• Fattibilità del CL in Tempo Reale: Dimostra che l'apprendimento continuo su flussi di dati visivi è fattibile su hardware con risorse estremamente limitate, senza bisogno di cloud o riaddestramento offline.
• Efficienza Energetica: Risolve il collo di bottiglia energetico delle soluzioni attuali, rendendo possibili applicazioni a batteria per lungo periodo (es. droni, sensori IoT).
• Paradigma HDC: Conferma che l'Hypervector Computing, combinato con reti neurali quantizzate e accelerazione hardware dedicata, è una via praticabile per superare i limiti delle architetture basate su backpropagation nei contesti edge.

In sintesi, ImageHD fornisce una fondazione pratica per sistemi di "lifelong learning" in tempo reale, combinando l'efficienza algoritmica dell'HDC con l'ottimizzazione hardware specifica degli FPGA.