Event-LAB: Towards Standardized Evaluation of Neuromorphic Localization Methods

Dit paper introduceert Event-LAB, een gestandaardiseerd framework dat de complexe vergelijking van neuromorfe localisatiemethoden vereenvoudigt door verschillende pipelines en datasets te integreren in een enkele installatie, waardoor consistente prestatie-evaluatie en analyse mogelijk wordt.

De kern

Stel je voor dat je een groep onderzoekers hebt die allemaal proberen robots te leren hoe ze zich in een stad moeten oriënteren. Maar er is een groot probleem: iedereen gebruikt een ander soort kompas, een ander soort kaart en een ander soort meetlat.

Sommigen tellen de regen druppels per seconde, anderen kijken naar de vorm van de wolken, en weer anderen gebruiken een heel ander type camera. Als je wilt weten wie de beste robot heeft, is het een ware nachtmerrie om alle verschillende systemen met elkaar te vergelijken. Het is alsof je probeert appels en sinaasappels te vergelijken terwijl ze in verschillende talen zijn geschreven.

Wat is Event-LAB?
De auteurs van dit paper hebben Event-LAB bedacht. Denk hierbij aan een super-keuken of een universele stopcontact-adapter.

In plaats dat elke onderzoeker zijn eigen ingewikkelde installatie moet bouwen, biedt Event-LAB één enkele knop (een commando in de computer) waarmee je elk gewenst "recept" (een robot-methode) kunt koken met elk gewenst "ingrediënt" (een dataset of kaart).

Hoe werkt het? (De Analogie)

1. De Camera (Het Oog van de Robot):
   Normale camera's maken foto's, net als een mens die knipoogt. Neuromorfe camera's (die in dit paper worden gebruikt) werken anders: ze zijn als een snelle fotograaf die alleen opneemt als er iets beweegt. Als je stilzit, zie je niets. Als een vogel voorbijvliegt, ziet de camera alleen die vogel. Dit is heel snel en zuinig, maar het resultaat is geen mooie foto, maar een stroom van losse "gebeurtenissen" (events).

2. Het Probleem (De Vertaalprobleem):
   Om een robot te laten weten waar hij is, moeten deze losse gebeurtenissen omgezet worden in iets dat de robot begrijpt, zoals een "foto".

   • Methode A zegt: "Tel 1000 druppels regen en maak daar een plaatje van."
   • Methode B zegt: "Kijk naar de vorm van de druppels en reconstructeer een plaatje."
   • Methode C zegt: "Gebruik 5000 druppels."
     Als je deze methoden vergelijkt zonder een standaard, is het alsof je zegt: "Methode A is slecht!" terwijl het eigenlijk alleen maar omdat hij met minder druppels werkte.

3. De Oplossing (Event-LAB):
   Event-LAB is de chef-kok die ervoor zorgt dat iedereen dezelfde maatbeker gebruikt.

   • Je typt één zin: pixi run eventlab.
   • De chef kiest de robot-methode (bijv. "LENS" of "EventVLAD").
   • De chef kiest de stad (de dataset, bijv. Brisbane of New York).
   • De chef zorgt dat de "foto's" op precies dezelfde manier worden gemaakt (bijv. altijd met 100.000 druppels of altijd na 1 seconde).
   • Dan draait hij de robot en zegt: "Kijk, dit is wie de stad het snelst herkent."

Wat hebben ze ontdekt?

• Hoeveelheid telt: Als je te weinig "druppels" (gebeurtenissen) gebruikt om een plaatje te maken, ziet de robot de stad vaag en raakt hij de weg kwijt. Als je meer gebruikt, wordt het beeld scherper.
• Reconstructie is koning: Methoden die proberen een echt, helder plaatje te "reconstrueren" uit de losse druppels (zoals een kunstenaar die een schilderij maakt van een regenbui), werken vaak beter dan methoden die gewoon de druppels tellen.
• De "Winnaar-taktiek": De auteurs bedachten een slimme manier om te kijken of een robot een plek herkent. Als hij een plek herkent in een korte tijd (bijv. 30 milliseconden) én ook in een lange tijd (120 milliseconden), dan telt dat als een echte overwinning. Dit helpt om de robot minder streng te beoordelen, zodat hij niet faalt omdat hij net op het verkeerde moment keek.

Waarom is dit belangrijk?
Vroeger moest je als onderzoeker urenlang software installeren, bestanden converteren en hopen dat het werkte. Nu kun je met één commando testen of je nieuwe robot-idee beter werkt dan de vorige. Het maakt de wetenschap eerlijker, sneller en makkelijker.

Kort samengevat:
Event-LAB is de universale vertaler en meetlat voor robots die met speciale camera's werken. Het zorgt ervoor dat we niet meer ruzie maken over wie de beste is, omdat we nu allemaal met dezelfde regels en dezelfde meetlat spelen. Hierdoor kunnen we sneller betere robots bouwen die zich veilig en snel kunnen verplaatsen in onze wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Event-LAB: Towards Standardized Evaluation of Neuromorphic Localization Methods" in het Nederlands.

Probleemstelling

Het onderzoeksveld voor lokalisatie op basis van neurale (event-based) camera's groeit exponentieel, met een tienvoudige toename in gepubliceerde papers over de laatste tien jaar. Ondanks deze groei ontstaat er een significant probleem: fragmentatie en gebrek aan standaardisatie.

• Verscheidenheid aan dependencies: Onderzoekers moeten vaak complexe combinaties van code, pakketten en dataformaten installeren die niet met elkaar compatibel zijn.
• Moeilijke vergelijking: Het is voor onderzoekers lastig en tijdrovend om methoden eerlijk te vergelijken omdat datasets en implementaties van baseline-methoden vaak verschillen in formaat en configuratie.
• Parameter-afhankelijkheid: De prestaties van event-based methoden zijn sterk afhankelijk van hoe "frames" worden gegenereerd uit de asynchrone event-stroom (bijv. op basis van een vast tijdsvenster of een vast aantal events). Kleine verschillen in deze parameters kunnen leiden tot grote variaties in prestaties, wat directe vergelijkingen onbetrouwbaar maakt.

Methodologie: Event-LAB Framework

Om deze uitdagingen aan te pakken, stellen de auteurs Event-LAB voor: een unificerend framework voor het uitvoeren en evalueren van event-based lokalisatiemethoden (zowel Visual Place Recognition - VPR, als Simultaneous Localization and Mapping - SLAM).

Kerncomponenten:

1. Pixi Package Manager: Event-LAB is gebouwd op Pixi, een moderne dependency manager (geschreven in Rust) die gebruikmaakt van lockfiles. Dit zorgt voor:
   • Bit-for-bit reproduceerbaarheid.
   • Eenvoudige installatie via één commando (pixi run eventlab).
   • Ondersteuning voor meerdere platforms (Linux, macOS, Windows) en integratie met ROS (via RoboStack).
2. Gestandaardiseerde Workflow: Het framework automatiseert de volledige pipeline:
   • Data Management: Downloaden van datasets (zoals NSAVP, Brisbane-Event-VPR) en conversie naar een standaard .hdf5 formaat.
   • Frame Generatie: Het genereren van frames uit ruwe event-data. Dit kan op twee manieren:
     • Event Counts: Simpele telling van events per pixel binnen een venster.
     • Reconstructie: Gebruik van modellen zoals E2VID om beelden te reconstrueren uit de event-stroom (wat meer detail biedt).
   • Baseline Uitvoering: Het framework cloneert externe repositories van baseline-methoden (bijv. LENS, Sparse-Event-VPR, EventVLAD) en voert deze uit met de gegenereerde frames.
   • Evaluatie: Berekening van standaard metrics zoals Recall@K en PR-AUC (Precision-Recall Area Under Curve).
3. Flexibele Configuratie: Gebruikers kunnen via een YAML-configuratiebestand parameters aanpassen, zoals het aantal events per frame, tijdsvensters, en welke datasets of methoden er moeten worden getest. Dit maakt het mogelijk om batch-experimenten te draaien met verschillende combinaties.

Belangrijkste Bijdragen

1. Unified Framework: Een compleet systeem dat het mogelijk maakt om meerdere event-based lokalisatiemethoden en datasets te draaien met één commando, wat de setup-tijd drastisch reduceert.
2. Gedetailleerde Evaluatie: Een grondige analyse van bestaande methoden over verschillende frame-generatieparameters, wat inzicht geeft in de prestatieverschillen tussen methoden die werken met event counts versus reconstructie.
3. Methodologie voor Equivalency: Een nieuwe aanpak om "equivalency" te vinden tussen verschillende verzamelingstijden of event-aantallen. De auteurs introduceren een "Winner-Takes-All" (WTA) strategie. Hierbij wordt een match als waar beschouwd als een percentage van de sub-matches binnen een tijdsvenster correct is, zelfs als de lange-termijn match niet perfect is. Dit helpt om strikte matching-criteria te versoepelen.

Resultaten

De auteurs hebben Event-LAB getest op diverse datasets (NSAVP, Brisbane-Event-VPR, Fast-Slow, QCR-Event-VPR) en methoden (LENS, Sparse-Event-VPR, EventVLAD, enz.).

• Reconstructie vs. Event Counts: Methodes die gebruikmaken van gereconstrueerde beelden (via E2VID) presteren over het algemeen aanzienlijk beter op Recall@1 en PR-AUC dan methodes die puur op event counts vertrouwen. Dit komt doordat reconstructie meer detail biedt.
• Invloed van Tijdsvensters: Methodes zoals LENS en Sparse-Event-VPR, die oorspronkelijk zijn ontworpen voor langere verzameltijden (bijv. 1000 ms), presteren slecht bij korte vensters (bijv. 33 ms). Hun prestaties verbeteren echter sterk naarmate het tijdsvenster langer wordt.
• SLAM Prestaties: Voor SLAM-taken (geëvalueerd op de Event-Camera Dataset) presteerde PL-EVIO het beste met de laagste trajectfout (RMSE-ATE) over verschillende scènes, gevolgd door Ultimate-SLAM (U-SLAM). Beide methoden draaiden in real-time.
• WTA Strategie: De toepassing van de WTA-methode (bijv. 25% of 50% van de sub-matches moeten correct zijn) leidde tot een significante verbetering in Recall@1, zelfs bij kortere tijdsvensters, zonder dat het nodig was om de berekeningslast van lange vensters te dragen.
• Efficiëntie: De setup-tijd varieert sterk afhankelijk van de dataset en methode (van ~1 minuut voor kleine datasets tot ~48 minuten voor grote datasets met reconstructie), maar het framework maakt parallelle verwerking mogelijk op HPC-clusters.

Significantie en Toekomstperspectief

Event-LAB is een belangrijke stap voorwaarts voor de gemeenschap van neuromorphische robotica omdat het:

• Reproduceerbaarheid garandeert: Door standaardisatie van dataformaten en dependencies.
• Eerlijke vergelijking mogelijk maakt: Onderzoekers kunnen nu methoden testen onder exact dezelfde omstandigheden (zelfde dataset, zelfde frame-generatie parameters).
• Inzicht biedt in parameter-afhankelijkheid: Het paper toont aan dat het vergelijken van methoden zonder rekening te houden met de manier waarop frames worden gegenereerd (aantal events vs. tijd) misleidend kan zijn.

Toekomstige werk richt zich op het uitbreiden van het framework naar andere taken (zoals objectdetectie en optische stroom), het ontwikkelen van asynchrone lokalisatie-streaming (zonder frame-generatie), en het integreren van Spiking Neural Networks (SNN) voor directe verwerking van event-bestanden. Het doel is een volledig geautomatiseerde, community-gedreven platform te creëren voor de ontwikkeling van energie-efficiënte en lage-latentie robotische systemen.