ODD-SEC: Onboard Drone Detection with a Spinning Event Camera

Deze paper introduceert ODD-SEC, een real-time systeem voor het detecteren van drones op bewegende platforms met behulp van een roterende event-camera en een lichtgewicht neurale netwerkarchitectuur die 360-graden zicht en nauwkeurige hoekbepaling mogelijk maakt zonder bewegingscompensatie.

De kern

Stel je voor dat je een wacht bent op een heuveltop, en je taak is om elke drone in de lucht te zien, zelfs als die snel wegvlucht of als de zon fel schijnt. Normale camera's zijn als een mens die door een smalle koker kijkt: als je iets links of rechts ziet, moet je je hele hoofd draaien. Als je dat doet terwijl je zelf ook nog loopt (bijvoorbeeld op een hond of robot), wordt het beeld wazig en raak je je doel kwijt.

De onderzoekers van deze paper, ODD-SEC, hebben een slimme oplossing bedacht die werkt als een dynamische, levende wachttoren. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Spinne" Camera (De Draaiende Wacht)

In plaats van een statische camera, hebben ze een event-camera (een camera die alleen ziet als er iets beweegt of verandert, net als ons oog) op een draaiende platform gemonteerd.

• De Analogie: Denk aan een draaimolen of een windmolen die constant ronddraait. Terwijl de camera ronddraait, kijkt hij 360 graden rondom.
• Het Voordeel: Je hoeft niet te wachten tot een drone in beeld komt; de camera "zoekt" de drone actief op door te draaien. Dit lost het probleem op dat normale camera's maar een klein stukje van de lucht kunnen zien.

2. De "Onzichtbare" Camera (Event vs. Beeld)

Normale camera's maken foto's (frames) van bijvoorbeeld 30 beelden per seconde. Als je snel beweegt, wordt alles wazig (bewegingsonscherpte).

• De Analogie: Een normale camera is als een fotograaf die een foto maakt van een rennende hond; als de hond te snel is, krijg je een onscherpe foto.
• De Event-camera is als een bewegingsensor in een donkere gang. Hij ziet niet de "foto" van de hond, maar alleen de veranderingen (de poten die bewegen). Hij is zo snel dat hij bewegingen in microseconden ziet, zelfs als de zon fel schijnt of het heel donker is. Hij ziet de drone als een heldere, snelle streep in het donker, ongeacht de lichtomstandigheden.

3. De "Slaapwandelende" Robot (Beweging zonder Verwarring)

Het grootste probleem bij een draaiende camera op een bewegend voertuig (zoals een viervoetige robot) is dat de computer denkt: "Wacht, beweegt de drone of beweeg ik zelf?"

• De Oplossing: De onderzoekers hebben een slim neuraal netwerk (een soort AI-geheugen) bedacht.
• De Analogie: Stel je voor dat je in een draaimolen zit die ronddraait, en je probeert een vlieg te vangen. Normaal zou je duizelig worden en de vlieg kwijtraken. Maar deze AI is als een topatleet die precies weet hoe de molen draait. Hij "corrigeert" het beeld in zijn hoofd en filtert de beweging van de robot eruit, zodat hij alleen de drone ziet.
• Ze hebben de beelden opgesplitst in slices (plakjes), alsof je een film in kleine stukjes knipt, zodat de computer de beweging van de drone kan volgen zonder verward te raken door de draaiende camera.

4. De "Kompass" (Waar zit de drone?)

Niet alleen vinden ze de drone, ze weten ook precies waar die zit.

• De Analogie: Het is alsof je een kompas hebt dat niet alleen zegt "noorden", maar ook precies de hoek berekent: "De drone zit 30 graden naar rechts en iets omhoog."
• Zelfs als de robot over oneffen terrein hobbelt, blijft deze "kompass" nauwkeurig. In de tests bleek dat ze de richting binnen 2 graden nauwkeurig konden bepalen. Dat is alsof je een pijl schiet en die precies in de buurt van de doelwit treft, zelfs als je op een schommelende boot staat.

Waarom is dit geweldig?

• Snelheid: Het werkt in echt-tijd. De computer (een Jetson Orin NX, een krachtige mini-computer) kan dit doen terwijl de robot loopt.
• Kracht: Het werkt in fel zonlicht (waar gewone camera's verblind worden) en in de schemering (waar gewone camera's niets zien).
• Toepassing: Je kunt dit op een viervoetige robot (zoals een Boston Dynamics Spot) zetten. Die robot kan door struiken lopen, over muren springen, en terwijl hij dat doet, houdt hij de hele lucht in de gaten op drones die misschien spioneren of gevaarlijk zijn.

Kortom: ODD-SEC is een slimme, draaiende, onuitputtelijke wachthond die nooit duizelig wordt, altijd helder ziet (of het nu dag of nacht is), en precies weet waar elke drone zit, zelfs als hij zelf over het terrein rent. Het is een enorme stap voorwaarts voor veiligheid en surveillance.

Technische samenvatting

Probleemstelling

De snelle proliferatie van drones vereist een evenwicht tussen innovatie en regulering, waarbij detectietechnieken cruciaal zijn voor veiligheid en privacy. Bestaande passieve oplossingen, zoals systemen op basis van conventionele frame-camera's, hebben beperkingen bij snel bewegende doelen of onder slechte verlichtingsomstandigheden.

Event-camera's (geïnspireerd op biologisch zicht) bieden wel een oplossing door asynchroon per-pixel helderheidsveranderingen te detecteren, wat resulteert in een hoge dynamische bereik en microseconde-responsiviteit. Echter, de meeste bestaande event-based oplossingen gaan uit van een statische camera. Dit beperkt hun toepasbaarheid op bewegende dragers (zoals viervoeters of onbemande grondvoertuigen), omdat de eigenbeweging (ego-motion) de perceptie verstoort en trackers kan laten falen. Bovendien hebben event-camera's een beperkt gezichtsveld (FoV), waardoor drones snel uit het zicht kunnen verdwijnen.

Methodologie

Het voorgestelde systeem, ODD-SEC, is een real-time detectiesysteem ontworpen voor installatie op bewegende dragers. De kern van de methode bestaat uit drie onderdelen:

1. Hardware-Setup:

   • Het systeem gebruikt een event-camera (DVXplorer) die is gemonteerd op een roterende platform aangedreven door een stappenmotor.
   • Door de camera te laten draaien, wordt een 360° horizontaal gezichtsveld bereikt, wat de beperkingen van het statische FoV overwint.
   • De camera is verticaal gericht met een 35°-helling om luchtruim te dekken.
   • Een foto-elektrische schakelaar fungeert als nul-punt-referentie voor synchronisatie en hoekbepaling.
   • Het gehele systeem (camera + computer) draait mee, waardoor er geen slipringen of draadloze data-overdracht nodig is voor de hoge bandbreedte.

2. Algoritme en Netwerkarchitectuur:

   • Multi-slice Spatio-temporale Representatie (MSR): Om rotatie-geïnduceerde vervaging en informatieverlies te voorkomen, worden ruwe events verdeeld in uniforme tijdsintervallen (slices). Dit ontkoppelt de kinematica van het doel van de rotatie van de camera.
   • Temporal Fusion Module (TFM): Een aangepaste versie van het YOLOX-netwerk. In plaats van elke slice als een onafhankelijk frame te behandelen, gebruikt de TFM een dual-branch architectuur:
     • Een hoofdbackbone extrahere ruimtelijke kenmerken.
     • De TFM verwerkt de volledige MSR om bewegingscontext te coderen. Dit omvat Feature Channel Gating (FCG) om ruis te onderdrukken en relevante doelkenmerken te versterken, en een Temporal Context Vector (TCV) om kinematica over slices heen te analyseren.
     • Dit elimineert de noodzaak voor complexe optische flow-berekeningen of IMU-gebaseerde compensatie.
   • Schaal-bewuste Loss: Om de grote variatie in doelgrootte (door variërende afstand) aan te pakken, wordt de standaard IoU-loss vervangen door Efficient IoU (EIoU) loss.
   • Bearing Estimation: De 2D-detecties worden omgezet in 3D-richtingsvectoren (bearing) door gebruik te maken van camera-intrinsieken en de real-time rotatiehoek van het platform.

Belangrijkste Bijdragen

• 360° Panoramische Perceptie: Een nieuw ontwerp dat een roterende event-camera combineert met een edge-computer, waardoor drones op bewegende dragers in alle horizontale richtingen kunnen worden gedetecteerd.
• Novel Event Representatie: Een beeldachtige representatie van events die werkt zonder bewegingscompensatie, gekoppeld aan een lichtgewicht neurale netwerkarchitectuur voor efficiënt spatiotemporeel leren.
• Real-time Implementatie: Het systeem is geïmplementeerd op een NVIDIA Jetson Orin NX en presteert real-time, zelfs tijdens beweging van de drager.
• Open Source: De volledige pipeline wordt open-source beschikbaar gesteld voor toekomstig onderzoek.

Resultaten

Het systeem is uitgebreid getest in outdoor-scenario's, zowel statisch als op een Unitree Go2-W viervoeter (quadruped robot).

• Detectieprestaties:
  • Het systeem behaalt een hoge nauwkeurigheid onder diverse verlichtingsomstandigheden, inclusief extreme zonoverstraling (>90 kLux) en schemering (~20 Lux).
  • Een ablatiestudie toont aan dat de toevoeging van de Temporal Fusion Module de Average Precision (AP) met ongeveer 2,73% verhoogt.
• Locatie- en Hoeknauwkeurigheid:
  • De gemiddelde hoekfout (angular error) voor de richting van de drone bedraagt minder dan 2° (specifiek ~1,91°) onder uitdagende omstandigheden.
  • Zelfs bij beweging van de viervoeter blijft het systeem functioneel, hoewel de fouten iets toenemen door trillingen (jitter) die de pose-interpolatie beïnvloeden.
• Efficiëntie:
  • Op de Jetson Orin NX bereikt het systeem een verwerkingssnelheid van ongeveer 22 Hz, wat voldoende is voor real-time toepassingen.
  • De inferentie-tijd op de embedded hardware is ongeveer 20,4 ms, wat de real-time capaciteit bevestigt.

Significantie

ODD-SEC vertegenwoordigt een doorbraak in de anti-drone beveiliging door de beperkingen van statische sensoren en conventionele camera's te overwinnen. Door de combinatie van een roterende event-camera en een gespecialiseerd neurale netwerk, biedt het systeem een robuuste oplossing voor drone-detectie in dynamische, real-world omgevingen waar verlichting en beweging variëren. Dit maakt het systeem bij uitstek geschikt voor langdurige surveillance en beveiliging op mobiele platforms, zoals robots of voertuigen, en legt een fundament voor toekomstige toepassingen in autonome navigatie en gesloten-lus systemen.