Modelling and Simulation of Neuromorphic Datasets for Anomaly Detection in Computer Vision

Il paper presenta ANTShapes, un nuovo framework di simulazione basato su Unity che genera dataset neuromorfici sintetici configurabili per superare la scarsità di dati reali e supportare compiti di visione artificiale come il rilevamento di anomalie.

L'essenziale

Immagina di voler insegnare a un robot a riconoscere un comportamento strano in una folla, come se fosse un guardiano della sicurezza molto attento. Il problema è che i robot moderni (chiamati "sensori neuromorfici") non guardano il mondo come noi o come le telecamere normali. Noi vediamo un filmato continuo, frame dopo frame; loro vedono solo i movimenti, come se fosse un'esplosione di scintille che si accendono solo quando qualcosa cambia.

Il problema principale è che questi robot hanno fame di dati: hanno bisogno di vedere milioni di esempi di "comportamenti normali" e di "comportamenti strani" per imparare. Ma trovare telecamere speciali che registrano solo scintille è difficile e costoso, e i dati reali sono pochi.

Ecco che entra in gioco il paper che hai condiviso, che presenta ANTShapes.

Cos'è ANTShapes? (Il "Giocattolo" per Robot)

Pensa ad ANTShapes come a un videogioco di simulazione creato apposta per addestrare questi robot. È stato costruito usando un motore grafico famoso (Unity), proprio quello usato per creare giochi 3D.

Invece di girare per strada con una telecamera speciale, gli scienziati hanno creato un mondo virtuale astratto dove:

• Ci sono oggetti geometrici (cubi, sfere, piramidi) che si muovono.
• Questi oggetti hanno "personalità" diverse: alcuni girano, altri saltano, altri si muovono veloci, altri lenti.
• La maggior parte degli oggetti si comporta in modo "normale" (come una folla che cammina ordinata).
• Alcuni oggetti, invece, fanno cose strane (come un cubo che gira all'indietro o una sfera che scappa via). Questi sono le anomalie.

Come funziona la "Magia" delle Anomalie?

Immagina di avere una stanza piena di palline che rimbalzano.

1. La Regola Normale: La maggior parte delle palline rimbalza a una velocità media, diciamo 5 km/h. Se lanci una pallina a 4 o 6 km/h, va bene, è ancora "normale".
2. L'Anomalia: Se improvvisamente una pallina parte a 100 km/h o rimane ferma come se fosse incollata al pavimento, quella è un'anomalia.

ANTShapes usa la matematica (una cosa chiamata "distribuzione normale" o curva a campana) per decidere cosa è normale e cosa è strano.

• Crea un "centro" di comportamento normale.
• Lascia che gli oggetti si muovano un po' a caso intorno a questo centro.
• Se un oggetto si allontana troppo dal centro (diventa troppo veloce, troppo lento, gira in modo strano), il sistema lo etichetta come "SOSPETTO".

È come se il sistema dicesse: "Ok, 99 palline si muovono così. Questa qui? No, questa è diversa. È un'anomalia!"

Perché è speciale?

Fino ad ora, per creare questi dati, gli scienziati dovevano:

• Filmati reali e trasformarli in scintille (ma se il video è lento, il robot non capisce bene).
• Oppure puntare una telecamera speciale contro uno schermo (ma è noioso e pieno di errori).

ANTShapes invece è come una fabbrica di scenari infiniti:

• Puoi dire al computer: "Voglio 10.000 cubi che girano, e tra questi, 50 devono essere strani".
• Puoi decidere cosa rende un oggetto strano: solo la velocità? Solo la rotazione? O entrambi?
• Puoi creare scenari che non esistono nella realtà, per testare se il robot è davvero intelligente o se sta solo imparando a memoria.

Il Risultato: Un Allenatore Virtuale

Il programma genera due cose:

1. Il "Filmato" delle scintille: I dati grezzi che il robot neuromorfico imparerà a leggere.
2. Le "Etichette" (La soluzione): Un file che dice al computer: "Ehi, guarda, quel cubo rosso era strano, quello blu era normale". Questo permette al robot di imparare dai propri errori.

In sintesi

ANTShapes è come un palestra virtuale per i robot di sicurezza. Invece di aspettare che accada un crimine reale per addestrarli, gli scienziati creano un mondo di cubi e sfere che fanno cose strane in modo controllato. Questo permette di creare milioni di scenari di "emergenza" in pochi secondi, per insegnare ai robot a riconoscere il pericolo anche quando non hanno telecamere costose a disposizione.

È un passo fondamentale per rendere le città più sicure e i robot più intelligenti, senza dover aspettare che la realtà ci fornisca tutti i dati necessari.

Sommario tecnico

Titolo: Modellazione e Simulazione di Dataset Neuromorfici per il Rilevamento di Anomalie nella Visione Artificiale

1. Il Problema

La ricerca nel campo della visione artificiale neuromorfica, in particolare per il rilevamento di anomalie, affronta una limitazione fondamentale: la scarsità di dataset reali acquisiti tramite sensori di visione dinamica (DVS - Dynamic Vision Sensors).

• Scarsità di dati: I DVS offrono vantaggi significativi rispetto alle telecamere tradizionali (basso consumo energetico, alto dinamismo, alta velocità di cattura), ma sono raramente utilizzati come telecamere di sicurezza, rendendo difficile l'acquisizione di dati reali per l'addestramento di reti neurali a impulsi (SNN - Spiking Neural Networks).
• Limitazioni degli approcci esistenti:
  • I simulatori basati su interpolazione di frame video tradizionali spesso falliscono se il tasso di cattura temporale della sorgente è troppo basso per codificare correttamente le azioni degli agenti.
  • L'uso di telecamere DVS puntate su monitor per catturare dati simulati introduce rumore esterno e imprecisioni.
  • Simulatori esistenti come CARLA sono progettati per veicoli autonomi (movimento ego-centrico) e non per scenari di sorveglianza a distanza con telecamere fisse; inoltre, richiedono un'etichettatura manuale delle anomalie, soggetta a errori umani e dispendiosa.

2. Metodologia: ANTShapes

Per colmare il divario, gli autori hanno sviluppato ANTShapes (Anomalous Neuromorphic Tool for Shapes), un framework di simulazione basato sul motore grafico Unity.

• Ambiente di Simulazione:

  • Il sistema genera scene 3D astratte e configurabili popolate da oggetti (agenti) con forme geometriche variabili (cubi, sfere, coni, modelli complessi come la "scimmia" di Blender).
  • Gli agenti esibiscono comportamenti casuali generati statisticamente (movimento, rotazione, scala).
  • La telecamera è fissa, simulando una telecamera di sorveglianza (CCTV), a differenza di simulatori basati su movimento ego-centrico.

• Modellazione delle Anomalie:

  • Definizione Statistica: Il comportamento "normale" è modellato utilizzando distribuzioni normali (Gaussiane) basate sul Teorema del Limite Centrale. Gli agenti "normali" seguono una distribuzione con media ($\mu$) e deviazione standard ($\sigma$) specifiche per attributi come posizione, rotazione e velocità.
  • Identificazione delle Anomalie: Un agente è considerato anomalo se il suo comportamento si discosta significativamente dalla norma. La probabilità di esistenza di un agente ($\omega_n$) è calcolata combinando la probabilità della sua classe e la probabilità del suo comportamento specifico. Un agente è etichettato come anomalo se il suo valore di probabilità scende sotto una soglia normalizzata ($v$).
  • Comportamento di Folla: È stata implementata una funzione di "sfocatura" (coefficiente $z$) e una curva cubica per modellare comportamenti di folla, dove i valori normali sono concentrati attorno a un centro, rendendo le deviazioni (anomalie) più evidenti e accentuate.

• Generazione degli Eventi (Event Generation):

  • Gli eventi neuromorfici (spike) sono calcolati confrontando l'intensità monocromatica dei pixel tra il frame corrente ($f^t$) e quello precedente ($f^{t-1}$).
  • Viene applicato un gate di isteresi bipolare con una soglia $\pm\beta$:
    • Aumento di luminosità > $\beta$ $\rightarrow$ Evento 1.
    • Diminuzione di luminosità < $-\beta$ $\rightarrow$ Evento 0.
    • Nessun cambiamento significativo $\rightarrow$ Valore 0.5 (nessun evento).
  • Il sistema supporta scale temporali microsecondiche per mimare accuratamente il comportamento dei sensori DVS reali.

• Parametrizzazione:

  • Gli utenti possono controllare finemente i parametri $\mu$ e $\sigma$ per ogni asse (X, Y, Z) di traslazione e rotazione.
  • È possibile escludere specifici attributi dal calcolo dell'anomalia per focalizzare il rilevamento su caratteristiche specifiche (es. solo la velocità di traslazione).
  • Gli oggetti che escono dall'inquadratura vengono sostituiti o fatti rimbalzare, a seconda della configurazione.

3. Contributi Chiave

1. ANTShapes Framework: Introduzione di un simulatore completo e configurabile per la generazione di dataset neuromorfici sintetici, specificamente ottimizzato per il rilevamento di anomalie in scenari di sorveglianza a telecamera fissa.
2. Modellazione Statistica delle Anomalie: Un approccio matematico rigoroso che utilizza distribuzioni normali e il teorema del limite centrale per definire oggettivamente cosa costituisce un'anomalia in un ambiente controllato, riducendo la soggettività umana.
3. Flessibilità e Scalabilità: La capacità di generare dataset con un numero arbitrario di campioni, etichette e dati di frame, modificando un numero limitato di parametri.
4. Accessibilità: Il codice sorgente è disponibile pubblicamente su GitHub, permettendo alla comunità di ricerca di generare dati personalizzati per testare architetture SNN.

4. Risultati e Stato Attuale

• Stato di Sviluppo: Al momento della stesura, ANTShapes è in una fase iniziale di sviluppo.
• Validazione: I dataset sintetizzati non sono stati ancora testati estensivamente con architetture SNN reali. L'obiettivo prioritario degli autori è comprendere il potenziale dello strumento prima di procedere con lo sviluppo core del software.
• Limitazioni Riconosciute:
  • Il modello assume che gli eventi siano non causali e indipendenti (gli agenti possono intersecarsi), il che non riflette la realtà fisica.
  • Le scene sono astratte (forme geometriche) piuttosto che realistiche (pedestri, veicoli reali).
  • Mancanza di visione stereoscopica e movimento della telecamera (ego-motion).

5. Significato e Impatto

Il lavoro è significativo per diversi motivi:

• Abilitazione della Ricerca SNN: Fornisce una soluzione critica alla mancanza di dati di addestramento per le reti neurali a impulsi, che sono promettenti per l'identificazione autonoma di anomalie con apprendimento continuo ai margini (edge computing).
• Controllo Sperimentale: Permette ai ricercatori di studiare le caratteristiche di apprendimento delle SNN in ambienti altamente controllabili prima di affrontare la complessità del mondo reale.
• Futuri Sviluppi: Il framework pone le basi per futuri lavori che includeranno agenti umani procedurali, modellazione della causalità (flussi di folla), visione stereoscopica e scenari urbani realistici, rendendolo uno strumento versatile per l'evoluzione della visione computerizzata neuromorfica.

In sintesi, ANTShapes rappresenta un passo fondamentale verso la democratizzazione della ricerca sulle anomalie neuromorfiche, offrendo un metodo robusto e parametrico per superare le barriere legate alla disponibilità di dati reali.