Event-Based Visual Teach-and-Repeat via Fast Fourier-Domain Cross-Correlation

Deze paper presenteert een snelle, op gebeurtenissen gebaseerde visuele teach-and-repeat-navigatiesysteem dat via kruiscorrelatie in het Frequentiedomein een verwerkingslatentie van slechts 2,88 ms bereikt en autonoom navigatie over meer dan 3 kilometer in diverse omstandigheden mogelijk maakt met een afwijking van minder dan 15 cm.

De kern

Stel je voor dat je een robot wilt leren een weg te lopen, alsof je een kind de weg naar school wijst. Je loopt de route een keer voor (de "leerfase") en de robot onthoudt wat hij ziet. Vervolgens moet de robot diezelfde route alleen kunnen lopen, zelfs als het donker is, als er wind staat of als hij sneller of langzamer loopt dan jij.

Dit is wat Visual Teach-and-Repeat (VT&R) doet. Maar de meeste robots gebruiken hiervoor gewone camera's, zoals die in je telefoon. Die maken foto's, bijvoorbeeld 30 keer per seconde. Dat is traag voor een robot die snel moet reageren, en ze hebben het moeilijk in het donker of bij felle zon.

De auteurs van dit papier hebben een slimme oplossing bedacht met een gebeurtenis-camera (event camera). Hier is hoe het werkt, vertaald naar alledaags taal:

1. De Camera die "Kijkt" in plaats van "Filmt"

Een gewone camera maakt een film van beelden, of het nu stil is of dat er een auto voorbijrijdt. Een gebeurtenis-camera werkt anders: het is alsof de camera alleen opmerkt als er iets verandert.

• Als je stilstaat, ziet de camera niets.
• Zodra er een schaduw beweegt of je een hoek omgaat, schreeuwt de camera: "Hey, hier is iets veranderd!"
• Dit gebeurt zo snel dat het robot-hersens (de computer) bijna geen tijd hebben om te slapen tussen de signalen. Het is super-snel en werkt zelfs in het donker.

2. De "Snelle Foto" van de Gebeurtenissen

De robot verzamelt deze duizenden kleine "veranderingen" en plakt ze samen tot een soort foto. Maar omdat de camera alleen veranderingen ziet, is deze foto heel anders dan een normale foto:

• Het is zwart-wit (of beter gezegd: zwart met witte stippen).
• Het is heel dun: op plekken waar niets gebeurt, is het zwart.
• De robot maakt deze "foto's" niet op vaste tijdstippen, maar telkens als er genoeg veranderingen zijn verzameld. Dit zorgt ervoor dat de robot altijd evenveel "informatie" heeft, of hij nu langzaam of razendsnel rijdt.

3. De Magische "Spiegel" (De Wiskundige Truc)

Nu komt het slimme deel. De robot moet zijn huidige "foto" vergelijken met de foto's die hij onthouden heeft tijdens het leren.

• Hoe gewone robots het doen: Ze kijken pixel voor pixel naar de oude foto en de nieuwe foto. Dat is alsof je twee grote muren van legoblokken één voor één vergelijkt. Dat duurt lang.
• Hoe deze robot het doet: Ze gebruiken een wiskundige truc genaamd Fourier-transformatie. Stel je voor dat je in plaats van de muren te bekijken, de muren in een spiegel (het frequentiedomein) projecteert. In die spiegel wordt het vergelijken van de muren niet gedaan door blokken te tellen, maar door de muren simpelweg te laten overlappen en te vermenigvuldigen.
• Dit is als het verschil tussen het handmatig tellen van alle korrels zand op een strand versus het gebruik van een magische schaal die het gewicht in één seconde aangeeft. Het resultaat is dat de robot 3,5 keer sneller is dan de beste gewone camera-systemen.

4. De Resultaten: Een Onvermoeibare Gids

De auteurs hebben dit getest met een kleine robot (een AgileX Scout Mini) in een universiteit. Ze hebben meer dan 3 kilometer afgelegd, zowel binnen (smalle gangen) als buiten (op gras en tegels), overdag en 's nachts.

• Succes: De robot liep de hele route zonder vast te lopen of te botsen (100% succes).
• Nauwkeurigheid: De robot liep binnen 15 centimeter van de oorspronkelijke route. Dat is alsof je een weg loopt en je blijft altijd binnen één stap van de lijn.
• Snelheid: De robot kon zijn richting 300 keer per seconde corrigeren. Ter vergelijking: een mens knippert met zijn ogen ongeveer 15 keer per seconde. De robot corrigeert dus sneller dan je kunt knipperen!

Waarom is dit belangrijk?

Stel je voor dat je een robot wilt die in een donkere fabriek of in een stormachtige tuin werkt. Gewone camera's worden dan blind of vertragen. Deze nieuwe robot is als een nachtbraker met supersnelle reflexen. Hij ziet alleen wat beweegt, vergeet niet wat hij moet doen, en past zijn koers aan voordat hij zelfs maar merkt dat hij een beetje uit de lijn is.

Kort samengevat:
Deze paper laat zien dat je robots kunt leren een weg te lopen door te kijken naar veranderingen in plaats van beelden, en door slimme wiskunde te gebruiken om die vergelijkingen razendsnel te maken. Het is de eerste keer dat dit succesvol is gedaan met een echte robot op de grond, en het werkt sneller en betrouwbaarder dan wat we tot nu toe hadden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Event-Based Visual Teach-and-Repeat via Fast Fourier-Domain Cross-Correlation" in het Nederlands.

Probleemstelling

Visueel "Teach-and-Repeat" (VT&R) stelt robots in staat om autonoom eerder gedemonstreerde paden te volgen op basis van visuele feedback. Traditionele VT&R-systemen maken gebruik van frame-gebaseerde camera's met een vaste beeldsnelheid. Dit introduceert latentie tussen waarneming en actie, wat de update-snelheid en responsiviteit beperkt, vooral in dynamische omgevingen. Bovendien zijn deze systemen vaak rekenintensief en minder robuust bij snelle bewegingen of slechte lichtomstandigheden.

Event-camera's bieden een alternatief door asynchroon pixel-level helderheidsveranderingen te rapporteren met microseconde-resolutie. Hoewel event-camera's voordelen bieden zoals een hoger dynamisch bereik, minimale bewegingsonscherpte en lage stroomverbruik, is er nog geen bewezen systeem voor event-based VT&R op echte grondrobots dat zowel efficiënt als robuust is. Bestaande methoden voor event-based SLAM of visuele odometrie voldoen niet volledig aan de eisen voor real-time, hoogfrequente correcties die nodig zijn voor VT&R.

Methodologie

Het voorgestelde systeem transformeert het matchen van event-stromen naar een frequentiedomein-benadering om de verwerkingssnelheid drastisch te verhogen. De pijplijn bestaat uit de volgende kerncomponenten:

1. Event Representatie en Accumulatie:

   • In plaats van op tijd te binning, worden events geaccumuleerd tot binaire "event-frames" op basis van een vast aantal events (bijv. $10^5$ events per frame).
   • Dit zorgt ervoor dat frames in bewegingsrijke gebieden (zoals hoeken) sneller worden gegenereerd dan in statische gebieden, wat de informatie-inhoud per frame optimaliseert.
   • De polariteit van events (helderheid toename/afname) wordt genegeerd; frames zijn binair (0 of 1), wat zorgt voor consistentie bij omgekeerde bewegingen.

2. Fase 1: Teach (Leren):

   • De robot wordt getelebediend langs het gewenste pad.
   • Er wordt een topometrische kaart opgebouwd: een geordende lijst van event-frames gekoppeld aan robotposities (odometrie).

3. Fase 2: Repeat (Herhalen):

   • De robot volgt het pad autonoom. Een odometrie-gedreven controller stuurt de robot naar doelposities.
   • Cross-Correlatie in Frequentiedomein: Om de huidige positie te corrigeren, wordt de inkomende event-frame vergeleken met opgeslagen referentieframes uit de kaart.
   • In plaats van ruimtelijke convolutie ($O(N^2)$), wordt Fast Fourier Transform (FFT) gebruikt. De correlatie wordt berekend als puntsgewijze vermenigvuldiging in het Fourier-domein, wat de complexiteit reduceert tot $O(N \log N)$.
   • De correlatie wordt beperkt tot horizontale verschuivingen (voor richtingscorrectie) en langs het pad (voor positiecorrectie).

4. Computational Optimizations:

   • Compressie: Vanwege de binaire en spaarzame aard van event-frames wordt een 1D sommatie-kern toegepast om de breedte van de afbeelding te verminderen voordat de FFT wordt uitgevoerd.
   • Horizontale Concatenatie: Alle referentieframes in de zoekruimte worden horizontaal samengevoegd tot één groot frame. Hierdoor is slechts één enkele Fourier-transformatie nodig voor de hele zoekruimte, in plaats van meerdere transformaties per frame.

Belangrijkste Bijdragen

1. Eerste Event-Based VT&R Systeem: De implementatie van het eerste VT&R-systeem dat specifiek is ontworpen voor event-camera's op een fysieke grondrobot, wat een nieuwe benchmark zet voor neuromorfe navigatie.
2. Hoog-snelheids Frequentiedomein Verwerking: Introductie van een FFT-gebaseerd correlatieframework dat is geoptimaliseerd voor de binaire structuur van event-frames, resulterend in een verwerkingstijd van minder dan 3 ms.
3. Uitgebreide Veldtesten: Validatie over meer dan 3000 meter in diverse omgevingen (binnen en buiten, dag en nacht), wat de praktische haalbaarheid bewijst.

Resultaten

Het systeem werd getest op een AgileX Scout Mini robot met een Prophesee EVK4 HD event-camera.

• Succesratio: Het systeem behaalde een 100% succesratio (18/18 proeven) over alle trajecten, inclusief 's nachts.
• Navigatie-accuraatheid: De gemiddelde Cross-Track Error (XTE) bleef onder de 15 cm (gemiddeld 8,04 cm binnen en 9,87 cm buiten). Dit is vergelijkbaar met of beter dan conventionele camera-baselines.
• Snelheid: De totale verwerkingslatentie bedroeg slechts 2,88 ms. Dit is ongeveer 3,5 keer sneller dan geoptimaliseerde frame-gebaseerde baselines (zoals die van Dall'Osto et al. en Nourizadeh et al.), die vaak rond de 10-20 ms liggen.
• Robuustheid:
  • Het systeem slaagde in het volgen van paden bij verschillende snelheden (van 0,33 m/s tot 1,00 m/s) dankzij de "fixed event count" accumulatiestrategie.
  • Conventionele "fixed time" accumulatie faalde bij snelheidsverschillen tussen het leer- en herhaaltraject.
  • Het systeem presteerde goed in uitdagende omstandigheden zoals donkere nachten, natte oppervlakken en dynamische obstakels (vogels, mensen).
• Vergelijking: Odometrie-only systemen faalde consequent (0/1 succes) door cumulatieve drift, terwijl het event-based systeem de volledige trajecten voltooide.

Betekenis en Conclusie

Dit paper demonstreert dat event-based waarneming niet alleen theoretisch voordelen biedt, maar ook praktisch superieur kan zijn voor real-time robotnavigatie. Door het gebruik van FFT voor cross-correlatie en slimme compressietechnieken, wordt de verwerkingslatentie zo verlaagd dat robots reactiesnelheden van >300 Hz kunnen bereiken.

Dit opent de deur voor:

• Hoogfrequente perceptie-actie lussen op energie-beperkte platforms (zoals drones of kleine robots).
• Betrouwbare navigatie in omgevingen met extreme lichtvariaties of hoge snelheden waar frame-gebaseerde camera's falen door bewegingsonscherpte.
• Een nieuwe standaard voor neuromorfe visie in de robotica, waarbij de paper een dataset en code beschikbaar stelt voor verdere research.

De auteurs concluderen dat hun systeem een robuust, snel en nauwkeurig alternatief biedt voor traditionele VT&R-methoden, met name in scenario's waar responsiviteit en energie-efficiëntie kritiek zijn.