Modelling and Simulation of Neuromorphic Datasets for Anomaly Detection in Computer Vision

Dit paper introduceert ANTShapes, een nieuw simulatiekader gebaseerd op de Unity-engine dat de beschikbaarheid van neuromorfe datasets voor computer vision verbetert door aanpasbare 3D-scènes te genereren voor het trainen van modellen in objectherkenning en anomaliedetectie.

De kern

De Probleemstelling: De "Zeldzame Camera"

Stel je voor dat je een superkrachtige camera wilt bouwen die niet werkt zoals onze gewone camera's (die foto's maken van statische beelden), maar die werkt als een snelle, energieke jager. Deze camera, een neuromorphische sensor (DVS), ziet alleen veranderingen. Als er niets beweegt, ziet hij niets. Als er iets beweegt, schreeuwt hij: "Hier gebeurt er iets!"

Dit is geweldig voor veiligheid en robots, want het verbruikt heel weinig stroom. Maar er is een groot probleem: er zijn maar heel weinig van deze camera's. Het is alsof je een zeldzame diersoort wilt bestuderen, maar er zijn maar drie exemplaren in de hele wereld.

Onderzoekers hebben daarom geprobeerd om deze camera's te "nabootsen" op een computer. Maar de oude methoden waren als het proberen om een film te maken door een oude, trage filmprojector op een scherm te richten en daarop een nieuwe camera te richten. Het resultaat is vaak onbetrouwbaar, ruisig en niet echt.

De Oplossing: ANTShapes (De "Virtuele Speelplaats")

De auteurs van dit paper hebben een nieuw gereedschap bedacht: ANTShapes.

Stel je ANTShapes voor als een digitale speeltuin in Unity (een populaire game-engine). In plaats van te proberen een perfecte, realistische stad na te bootsen (zoals in een auto-racegame), hebben ze gekozen voor een abstracte, minimalistische wereld.

• De Bewoners: De wereld is gevuld met simpele vormen: blokjes, bollen, piramides en zelfs een apenhoofd (een beroemd 3D-model).
• Het Doel: Het doel is niet om te kijken of de camera een auto herkent, maar om te testen of een slim algoritme (een "Spiking Neural Network" of SNN) kan leren wie er niet hoort.

Hoe werkt het? De "Kippenren" en de "Zwarte Schapen"

In deze digitale wereld lopen honderden vormen rond. Meestal gedragen ze zich normaal: ze bewegen met een bepaalde snelheid, draaien een beetje en veranderen van grootte.

De onderzoekers gebruiken een wiskundige regel (de " Centrale Limiet Stelling") om te beslissen wat "normaal" is.

• De Normaal: Stel je een kippenren voor waar 99 kippen rustig rondlopen. De meeste lopen met een snelheid van 5 km/u. Dat is de "norm".
• Het Anomalie: Plotseling komt er een kip aan die met 50 km/u rent, of die achteruit loopt, of die van kleur verandert. Dit is het anomalie (de afwijking).

In ANTShapes kunnen onderzoekers precies instellen:

1. Hoeveel "kippen" er zijn.
2. Hoe snel ze normaal gesproken lopen.
3. Hoe vaak er een "raar" dier moet verschijnen.

Het systeem berekent dan automatisch: "Huh, deze bol beweegt zo raar dat hij waarschijnlijk niet bij de rest hoort." En dan krijgt hij een rood label (een waarschuwing).

Waarom is dit slim?

1. Onbeperkt materiaal: Je kunt duizenden van deze "speelzalen" genereren in seconden. Je kunt een wereld maken met alleen draaiende bollen, of een wereld met vliegende blokken.
2. Precisie: Je kunt precies zeggen: "Ik wil alleen anomalieën op basis van snelheid, niet op basis van draaien." Het systeem luistert.
3. Toekomstbestendig: Omdat het een simpele, abstracte wereld is, kunnen onderzoekers eerst hun algoritmes testen op deze simpele vormen. Als het daar werkt, kunnen ze later proberen het toe te passen op echte, complexe stadsgezichten.

De "Gaten" in het Plan

Het paper is eerlijk over wat het nog niet kan:

• Geen echte logica: In deze wereld kunnen vormen door elkaar heen lopen (ze botsen niet). In de echte wereld zou een mens niet door een muur lopen. Dit is nu nog te simpel.
• Statische camera: De camera staat stil. In de echte wereld bewegen camera's soms mee (zoals in een auto).
• Eenzaamheid: De vormen gedragen zich niet als een groep. Ze reageren niet op elkaar.

Conclusie: De Proefkonijnen

Kortom: ANTShapes is een proefkeuken.

Onderzoekers willen hun slimme "anomalie-detectoren" (de SNN's) eerst trainen in deze veilige, abstracte keuken met simpele vormen. Zodra ze daar meester in zijn, hopen ze dat de systemen later ook echt goed kunnen werken in de chaotische, echte wereld van verkeerscamera's en beveiliging, zonder dat ze duizenden dure, echte camera's nodig hebben om data te verzamelen.

Het is alsof je eerst een vlieger in de tuin laat vliegen voordat je een vliegtuig probeert te bouwen. ANTShapes is die tuin.

Technische samenvatting

Titel: Modelleren en Simuleren van Neuromorfe Datasets voor Anomaliedetectie in Computervisie

1. Het Probleem

De ontwikkeling van neuromorfe computervisie-toepassingen, met name voor anomaliedetectie aan de "edge" (bijvoorbeeld op beveiligingscamera's met lage energieverbruik), wordt gehinderd door een fundamenteel tekort aan beschikbare datasets.

• Schaarste aan data: Dynamische Vision Sensors (DVS) of event-based cameras zijn zeldzaam, waardoor er weinig real-world datasets bestaan voor het trainen van Spiking Neural Networks (SNN's).
• Beperkingen van bestaande simulatoren:
  • Bestaande methoden die frames omzetten naar events (interpolatie) zijn onbetrouwbaar als de tijdsresolutie van de bronvideo te laag is.
  • Het richten van een DVS-camera op een scherm introduceert ruis en is niet schaalbaar.
  • Simulators zoals CARLA zijn ontworpen voor autonome voertuigen (ego-motion) en niet voor statische bewakingsscenario's; het definiëren van anomalies daarin is handmatig, tijdrovend en vatbaar voor fouten.
• Behoefte: Er is een behoefte aan een aanpasbare simulator die gespecialiseerde, synthetische neuromorfe datasets kan genereren voor het trainen van SNN's in gecontroleerde omgevingen.

2. Methodologie: ANTShapes

De auteurs introduceren ANTShapes (Anomalous Neuromorphic Tool for Shapes), een nieuw simulatieframework gebouwd in de Unity-engine. Het doel is het genereren van abstracte, configureerbare 3D-scènes met objecten die willekeurige gedragingen vertonen.

• Scène-opbouw: De omgeving bevat objecten (agents) met willekeurige eigenschappen (vorm, schaal, textuur) en gedragingen (beweging, rotatie).
• Statistische modellering van gedrag:
  • Normaal gedrag wordt gemodelleerd als een verdeling rond een gemiddelde ($\mu$) en standaardafwijking ($\sigma$), gebaseerd op het centrale limietstelling-principe.
  • Het gedrag van een agent wordt gedefinieerd door parameters voor translatie, rotatie, schaal en initiële posities.
  • Een agent wordt als "anomalie" gelabeld als zijn gedrag significant afwijkt van de norm. Dit wordt berekend via een genormaliseerde waarschijnlijkheidswaarde ($\omega_n$) die wordt vergeleken met een drempelwaarde ($v$).
• Crowd-gedrag en "Fuzziness":
  • Om een "menigte"-effect te creëren waarbij afwijkingen duidelijker zichtbaar zijn, wordt een kubische curve toegepast op de normaal verdeelde waarden.
  • Een "fuzziness"-coëfficiënt ($z$) stelt de gebruiker in staat om de overgang tussen normaal en abnormaal gedrag te verzachten of te versterken.
• Event-Generatie:
  • De simulator berekent spiking events door het verschil in monochrome pixelintensiteit tussen het huidige frame ($f^t$) en het vorige frame ($f^{t-1}$) te vergelijken.
  • Een bipolaire hysterese-gating wordt toegepast met een drempelwaarde ($\pm\beta$).
    • Intensiteitsstijging > $\beta$ $\rightarrow$ Event = 1 (wit).
    • Intensiteitsdaling < $-\beta$ $\rightarrow$ Event = 0 (zwart).
    • Geen significante verandering $\rightarrow$ Event = 0.5 (grijs).
  • Dit resulteert in een spatiotemporale matrix van events die de output van een DVS-camera nabootst.
• Configuratie: Gebruikers kunnen het aantal objecten, de tijdschaal (van milliseconden tot microseconden om event-based sensoren nauwkeuriger na te bootsen), en de camera-instellingen (veld van zicht, dieptenevel) aanpassen.

3. Belangrijkste Bijdragen

1. ANTShapes Framework: Een volledig nieuwe, open-source simulator voor het genereren van neuromorfe datasets, specifiek gericht op anomaliedetectie in statische bewakingsscenario's.
2. Parametrische Controle: De mogelijkheid om gedragingen (zoals snelheid en rotatie) per as en per objectklasse te parametriseren, waardoor gebruikers precies kunnen definiëren wat een anomalie is (bijv. alleen snelle beweging, of alleen rotatie).
3. Statistische Anomalie-definitie: Een wiskundig onderbouwde methode om anomalies te definiëren op basis van statistische afwijkingen van een normaalverdeling, in plaats van handmatige labels.
4. Flexibiliteit: Ondersteuning voor het genereren van datasets met een willekeurig aantal samples, inclusief bijbehorende label- en frame-data, geschikt voor objectherkenning, lokalisatie en anomaliedetectie.

4. Resultaten en Status

• Huidige status: ANTShapes bevindt zich in een vroeg ontwikkelstadium. De gegenereerde datasets zijn nog niet uitgebreid getest op verschillende SNN-architecturen.
• Validatie: De tool is ontworpen om de beperkingen van data-beschikbaarheid op te lossen. De auteurs tonen screenshots en event-representaties die aantonen dat de simulator in staat is om abstracte scènes te genereren waarbij anomalies (zoals objecten die te snel bewegen of buiten de normale positie vallen) visueel en statistisch correct worden gemarkeerd.
• Beperkingen: Het huidige model gaat uit van niet-causale, onafhankelijke gebeurtenissen (objecten kunnen door elkaar heen bewegen), wat niet realistisch is voor fysieke werelden, maar acceptabel wordt geacht voor de huidige fase van SNN-evaluatie.

5. Betekenis en Toekomstperspectief

• Vooruitgang in Neuromorfe Visie: ANTShapes vult een kritieke lacune in de researchcommunity door een bron van trainingsdata te bieden waarvoor geen dure hardware (DVS-camera's) nodig is. Dit versnelt de ontwikkeling van energie-efficiënte SNN's voor edge-apparaten.
• Toekomstige uitbreidingen: De auteurs plannen om de simulator te verbeteren door:
  • Realistischere scènes met menselijke agents en causale interacties (bijv. menigtestromen).
  • Stereoscopisch zicht voor betere dieptewaarneming.
  • Dynamische camera-posities (ego-motion) voor meer diverse scenario's.
• Beschikbaarheid: De software is beschikbaar via een GitHub-repository voor Linux en Windows, wat de adoptie en samenwerking in de wetenschappelijke gemeenschap faciliteert.

Conclusie: ANTShapes is een veelbelovende stap naar het standaardiseren van neuromorfe dataset-generatie. Het biedt een controleerbare omgeving om de prestaties van SNN's voor anomaliedetectie te bestuderen voordat deze worden toegepast in complexe, realistische omgevingen.