eNavi: Event-based Imitation Policies for Low-Light Indoor Mobile Robot Navigation

Probleemstelling

Indoor robotnavigatie, en specifiek taken zoals het volgen van personen, blijft een grote uitdaging in service-robotica. Conventionele RGB-camera's presteren slecht in omgevingen met:

• Snel bewegende objecten: Dit leidt tot bewegingsonscherpte (motion blur).
• Extreme dynamische bereik: Overbelichting of onderbelichting.
• Slechte verlichting: In donkere kamers of bij schemering verliezen RGB-camera's hun textuurinformatie.

Hoewel er vooruitgang is geboekt met gebeurtenisgebaseerde camera's (event cameras) voor waarnemingstaken (zoals SLAM en optische stroom), ontbreekt er onderzoek naar end-to-end besturingsbeleid dat gebruikmaakt van de asynchrone aard van event-stromen. Er is geen bestaande dataset die event-stromen koppelt aan hoogwaardige actie-labels voor realistische navigatie, en er is een gebrek aan imitatieleer-frameworks die specifiek zijn ontworpen voor deze modus in wisselende lichtomstandigheden.

Methodologie

De auteurs introduceren een complete pipeline die bestaat uit drie hoofdblokken:

1. De eNavi Dataset

• Hardware: Een TurtleBot 2 robot uitgerust met een NVIDIA Jetson Orin Nano.
• Sensoren: Een gesynchroniseerde setup van een Prophesee Metavision EVK4 (event camera, 1280x720, microseconden-resolutie) en een Teledyne Blackfly S (RGB camera, 1280x1024). Beide camera's zijn gemonteerd via een straalverdeler (beam splitter) om parallax te minimaliseren en delen hetzelfde gezichtsveld.
• Datacollectie: De dataset bevat ongeveer twee uur aan data, verdeeld over 175 episodes in drie verschillende indoor omgevingen. Een menselijke expert bestuurt de robot via teleoperatie (joystick) om een persoon te volgen onder zowel normale als lage lichtomstandigheden.
• Verwerking: Een multimodale verwerkingspijplijn synchroniseert de asynchrone event-data met de frame-gebaseerde RGB-data.
  • Tijdsynchronisatie: Gebeurtenissen worden gegroepeerd in tijdvensters tussen twee RGB-frames.
  • Representatie: Ruwe events worden omgezet in een dichte tensor (2 kanalen: ON/OFF polariteit) via een ruimtelijke histogram.
  • Actieherconstructie: In plaats van ruwe joystick-signalen (die ruis bevatten), worden de grondwaarheid-acties (lineaire en hoeksnelheid) afgeleid uit de wheel odometry van de robot voor nauwkeurige labels.

2. Het Navigatiebeleid (ENP)

Het voorgestelde model is een late-fusion architectuur die imitatieleer (Behavioral Cloning) gebruikt.

• Encoders:
  • RGB Encoder: Een bevooroordeelde (frozen) MobileNetV3-Small backbone voor RGB-frames.
  • Event Encoder: Een trainbare MobileNetV3-Small backbone voor de 2-kanaals event-tensors.
• Fusie: De feature-vectors van beide encoders worden samengevoegd en verwerkt door een Transformer-blok met multi-head self-attention. Dit laat het model toe om adaptief te wegen welke modaal (RGB of Event) op dat moment het meest betrouwbaar is, afhankelijk van de lichtomstandigheden.
• Output: Een MLP-head voorspelt continue differentiaalaandrijvingscommando's (lineaire snelheid $v$ en hoeksnelheid $\omega$).

3. Experimenteel Ontwerp

De auteurs evalueren 12 modelvarianten door te variëren in:

• Architectuur: Alleen RGB, Alleen Events, of Fusie (RGB+Events).
• Complexiteit: Eén pad (Single-Path) vs. Meerdere paden (Multi-Path).
• Licht: Normaal licht vs. Gemengd licht (Normaal + Laag).

Belangrijkste Bijdragen

1. eNavi Dataset: De eerste real-world dataset voor indoor robotnavigatie die gesynchroniseerde RGB-frames, ruwe event-stromen en expert-besturingsacties bevat, specifiek gericht op lage lichtomstandigheden.
2. Verwerkingspijplijn: Een robuuste methode voor tijdsynchronisatie van asynchrone event-data met RGB-data en het reconstrueren van nauwkeurige actielabels via odometrie.
3. Late-Fusion Beleid: Een nieuw imitatieleer-framework dat RGB en Events combineert via een Transformer, wat leidt tot superieure prestaties in uitdagende omgevingen.
4. Uitgebreide Evaluatie: Een systematische analyse van 12 trainingsscenario's die de bijdrage van elke modus aan de robuustheid kwantificeert.

Resultaten

De experimenten bevestigen twee centrale hypothesen:

• Efficiëntie van Multimodale Training: Modellen die gebruikmaken van event-data (zowel alleen-events als fusie) convergeren aanzienlijk sneller dan RGB-only modellen. In complexe scenario's (Multi-Path, Gemengd Licht) bereikte het fusiemodel een MAE van 0.0370, vergeleken met 0.0707 voor het RGB-only model.
• Robuustheid bij Laag Licht (Zero-Shot Generalisatie):
  • In eenvoudige scenario's presteert RGB redelijk goed, maar in complexe, onbekende paden onder lage lichtomstandigheden faalt het RGB-only model.
  • Het ENP-Fusion model behoudt zijn prestaties in het donker. De fouttoename bij overgang van normaal naar laag licht is veel kleiner dan bij RGB-only modellen.
  • De event-data zorgt voor stabiele lineaire en hoeksnelheidsvoorspellingen zelfs wanneer de RGB-textuur volledig verloren is gegaan.

Betekenis en Toekomstperspectief

Dit werk sluit de kloof tussen gebeurtenisgebaseerde waarneming en gesloten-lus robotbesturing. Het bewijst dat het integreren van event-camera's in end-to-end imitatieleer essentieel is voor robuuste navigatie in dynamische en slecht verlichte omgevingen waar traditionele visie faalt.

Beperkingen en Richtingen:

• De huidige synchronisatiepijplijn is computatievriendelijk voor training, maar kan een uitdaging vormen voor real-time inferentie op randapparaten (edge devices) vanwege de noodzaak tot verwerking.
• Toekomstig werk richt zich op asynchrone verwerking (zonder vaste frequentie) en het gebruik van geavanceerde policy-heads (zoals diffusion-modellen) en online leertechnieken (zoals DAgger) voor nog soepelere trajecten.

De dataset, de synchronisatie-pijplijn en de getrainde modellen zijn openbaar beschikbaar gesteld om de gemeenschap te stimuleren tot verdere ontwikkeling van gebeurtenisgebaseerde imitatieleer.