CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras

Sintesi Tecnica: CLANE – Apprendimento Continuo di Azioni su Hardware Neuromorfico da Telecamere a Eventi

Enunciato del Problema
Il documento affronta la sfida di implementare sistemi di apprendimento continuo (CL) per il riconoscimento di azioni su dispositivi edge con vincoli rigorosi di potenza e memoria. Gli approcci tradizionali di deep learning si basano sulla propagazione globale dell'errore, su grandi buffer di attivazione e sull'accesso a dati passati o buffer di replay, incompatibili con i budget di risorse dei dispositivi edge sempre attivi. Inoltre, il riconoscimento standard delle azioni visive fatica con illuminazione variabile, sfocatura da movimento e dati statici ridondanti. Sebbene le telecamere a eventi offrano dati sparsi, asincroni e ad alto intervallo dinamico, adatti all'elaborazione a bassa latenza, nessun sistema precedente ha implementato con successo un'intera pipeline di apprendimento continuo end-to-end per il riconoscimento di azioni basato su eventi su hardware neuromorfico. I lavori esistenti sul CL neuromorfico sono stati limitati a input spaziali statici (riconoscimento di oggetti) o a benchmark su piccola scala privi di analisi dell'oblio catastrofico.

Metodologia
Gli autori presentano CLANE (Continual Learning of Actions on Neuromorphic hardware from Event cameras), un sistema end-to-end implementato sul processore neuromorfico Intel Loihi 2. Il sistema integra tre componenti fondamentali:

1. Pipeline di Dati Guidata dagli Eventi: Il sistema utilizza il dataset THUE-ACT-50 acquisito da una telecamera a eventi CeleX-V. I flussi di eventi vengono raggruppati in finestre temporali fisse (ad esempio 40 ms) per creare istogrammi sparsi di conteggio di eventi 2D. Queste rappresentazioni sparse vengono elaborate direttamente come treni di impulsi, evitando le operazioni su tensori densi richieste dalle telecamere basate su fotogrammi.
2. Estrattore di Caratteristiche CNN 2D a Impulsi: Una rete neurale convoluzionale a impulsi (SNN) a 5 livelli estrae caratteristiche spazio-temporali. La rete utilizza neuroni Parametric Leaky Integrate-and-Fire (PLIF). Questo estrattore di caratteristiche viene pre-addestrato su 38 classi base utilizzando la retropropagazione attraverso il tempo (BPTT) su una GPU e poi congelato per la fase di apprendimento continuo.
3. Modulo CLP-Loihi (Testa di Apprendimento On-Chip): Per gestire la natura temporale delle azioni e i vincoli hardware di Loihi 2, gli autori estendono l'algoritmo CLP-SNN con due moduli innovativi:
   • Livello di Aggregazione Temporale: Integra flussi binari di impulsi durante la durata di un clip di azione utilizzando neuroni Integrate-and-Fire non perdenti, producendo "impulsi graduati" (vettori) che rappresentano l'intera azione.
   • Livello di Normalizzazione: Implementa la normalizzazione L2 utilizzando un algoritmo a punto fisso per la radice quadrata inversa rapida tramite il motore di microcodice di Loihi 2, poiché il chip manca di istruzioni native di divisione.
   • Meccanismo di Apprendimento Continuo: Il sistema impiega una regola di apprendimento a tre fattori auto-normalizzante. Apprende online e in modo incrementale per classe creando nuovi vettori prototipo per azioni nuove quando si verificano errori, senza richiedere propagazione globale dell'errore o buffer di replay.

Contributi Chiave

• CLP-Loihi: L'estensione dell'algoritmo CLP-SNN al riconoscimento di azioni spazio-temporali. Ciò include l'implementazione innovativa dei livelli di Aggregazione Temporale e Normalizzazione a Punto Fisso direttamente su Loihi 2 utilizzando modelli di neuroni personalizzati.
• Implementazione Neuromorfica Completa: La prima implementazione end-to-end di un estrattore di caratteristiche CNN a impulsi profondo e di una testa di apprendimento continuo su un singolo chip Loihi 2. Il sistema elabora input da telecamere a eventi senza intervento della GPU né nei cicli di inferenza né in quelli di apprendimento.
• Benchmarking Rigoroso Iso-Algoritmico: Il documento introduce una metodologia di benchmarking cross-piattaforma che confronta CLANE su Loihi 2 con un Nvidia Jetson Orin Nano. Mantenendo costanti l'algoritmo di apprendimento (CLP) e la capacità del modello tra le piattaforme, gli autori isolano i guadagni di efficienza hardware dalle differenze algoritmiche.

Risultati
Valutato sul dataset THUE-ACT-50 (50 classi, condizioni reali incluse variazioni di illuminazione e occlusioni), CLANE dimostra quanto segue:

• Accuratezza: In un compito di apprendimento incrementale per classe da 10 esempi (10-shot), CLANE raggiunge un'accuratezza del 70,4%. Questo risultato è competitivo con l'algoritmo CLP eseguito sulla GPU (73,0%) e supera significativamente il fine-tuning ingenuo, che soffre di oblio catastrofico.
• Efficienza: Rispetto a una baseline sequenziale CNN+GRU che esegue lo stesso algoritmo CLP su Jetson Orin Nano, CLANE offre:
  • Riduzione del consumo energetico >100×.
  • Latenza inferiore di 16×.
  • Un Prodotto Energia-Latenza (EDP) di 0,018 mJ·s, che eguaglia l'efficienza di una CNN 3D sulla GPU ma con latenza significativamente inferiore in scenari di streaming.
• Estrazione di Caratteristiche: La CNN a impulsi su Loihi 2 fornisce una riduzione della latenza di circa 30× e una riduzione dell'energia di 230× rispetto alla baseline 2D CNN+GRU sulla GPU, con un costo marginale in termini di accuratezza (2,6%).

Significato e Affermazioni
Il documento afferma che CLANE stabilisce l'hardware neuromorfico come substrato pratico per "sistemi di percezione sempre attivi e in continua adattamento". Gli autori sostengono che l'allineamento architetturale tra telecamere a eventi (rilevamento sparso), SNN (calcolo sparso) e processori neuromorfici (apprendimento locale) crea guadagni di efficienza sinergici irraggiungibili con architetture von Neumann per regimi sparsi, online e a potenza limitata.

Il lavoro evidenzia che, mentre le GPU eccellono nell'elaborazione densa e in batch, i sistemi neuromorfici dominano in scenari che richiedono bassa latenza, basso consumo energetico e adattamento continuo senza oblio. Il documento conclude che questo approccio full-stack affronta una lacuna critica nel campo, fornendo una metodologia di benchmarking attualmente mancante alla comunità dell'apprendimento continuo neuromorfico, e dimostrando che l'apprendimento continuo spazio-temporale su larga scala è fattibile su hardware neuromorfico edge.