Autonomous overtaking trajectory optimization using reinforcement learning and opponent pose estimation

Titel: Autonomé inhaaltrajectoptimalisatie met behulp van versterkend leren en schatting van de pose van de tegenstander

Auteurs: Matej Rene Cihlar, Luka Šiktar, Branimir Čaran, en Marko Švaco (Universiteit van Zagreb, Kroatië)

---

1. Probleemstelling

Autonome inhaalspelen in een meer-agenten-raceomgeving (multi-agent) is een van de meest complexe manoeuvres voor zelfrijdende voertuigen. De uitdagingen liggen in de dynamische aard van de omgeving en de noodzaak om veilig en efficiënt te manoeuvreren tegenover een tegenstander.

• Bestaande beperkingen: De meeste bestaande Reinforcement Learning (RL) algoritmen voor autonoom racen zijn ontworpen voor single-agent omgevingen (volgen van een optimale racelijn) en missen vaak validatie in de echte wereld.
• Specifiek probleem: Het behandelen van een tegenstander als een statisch obstakel of het simpelweg vermijden van botsingen leidt niet tot optimale inhaakmanoeuvres. Om een optimale inhaalroute te berekenen, is een nauwkeurige schatting van de pose (positie en oriëntatie) van de tegenstander in real-time vereist.

2. Methodologie

De paper presenteert een systeem dat bestaat uit twee hoofdcomponenten: sensorfusie voor pose-schatting en een RL-algoritme voor het besturen van het voertuig. Het fysieke platform is gebaseerd op de F1TENTH raceplatforms.

A. Schatting van de pose van de tegenstander (Opponent Pose Estimation)

Om de positie van de tegenstander nauwkeurig te bepalen, wordt data van twee sensoren gefuseerd:

1. 2D LiDAR (Hokuyo): Gebruikt een clustering- en rechthoek-fit algoritme om potentiële tegenstanders te detecteren. De meest waarschijnlijke cluster wordt geselecteerd op basis van de vorige UKF-schatting.
2. Dieptecamera (Intel RealSense D435): Gebruikt YOLOv8 (Object Detection) op RGB-data om de omhullende doos (bounding box) van de tegenstander te detecteren.
   • Afstandsberekening: De afstand wordt geschat door de hoogte van de bounding box te gebruiken in een reciproque functie: $distance = \frac{a}{bbox\_height + b} + c$.
   • Yaw-hoek: Wordt niet direct geschat door de camera, maar benaderd via het kinematische Ackermann-stuurmodel.
3. Sensorfusie (UKF): De data van de LiDAR en de camera worden samengevoegd met behulp van een Unscented Kalman Filter (UKF).
   • De state-vector is $[x, y, v_x, v_y]$.
   • Het UKF lost het probleem op waarbij de LiDAR soms de verkeerde objecten trackt en de camera geen directe afstand geeft zonder context. Het filter zorgt voor robuuste tracking en kan resultaten leveren bij 10 Hz, ondanks dat de sensoren zelf langzamer updaten (1-2 Hz).

B. Reinforcement Learning (RL) voor inhaakmanoeuvres

• Algoritme: Proximal Policy Optimization (PPO) wordt gebruikt om het agent te trainen.
• Omgeving: De F1TENTH Gym omgeving simuleert een fietsmodel, 2D LiDAR-data en botsingen. Het ondersteunt multi-agent scenario's.
• Observatieruimte (Input):
  • LiDAR-data (108 punten, elke 10e punt van de scan).
  • Odometrie van de agent en de tegenstander.
  • Toekomstige waypoints (10 punten) voor zowel de agent als de tegenstander, gebaseerd op een vooraf berekende racelijn.
• Actieruimte (Output): Continue stuurhoek (±0.34 rad) en lineaire snelheid (0-3 m/s).
• Beloningssysteem (Reward Function): Een gewogen som van zeven componenten:
  1. Snelheid (huidige snelheid).
  2. Vooruitgang (positie op de racelijn).
  3. Inhaakbeloning: +1 als de agent voorop zit, -1 als de tegenstander voorop zit (lineair geschaald als ze dichtbij zijn).
  4. Straffen voor afwijking van de racelijn, afwijkende richting, botsingen en onrustig sturen (smoothness penalty).

3. Belangrijkste Bijdragen

1. Integratie van Sensorfusie en RL: De paper combineert voor het eerst een UKF-gebaseerde sensorfusie (LiDAR + Dieptecamera/YOLO) specifiek voor het schatten van de pose van een tegenstander in een racecontext, gekoppeld aan een RL-agent.
2. Real-world Validatie: In tegenstelling tot veel simulatie-gebaseerde studies, wordt het systeem getest op een fysiek F1TENTH-platform in een echte raceomgeving.
3. Adversariaal Leren: Het RL-model is getraind in een multi-agent setting waarbij de agent leert van de interactie met een andere agent (die ook door hetzelfde NN-beleid wordt aangestuurd), in plaats van alleen statische obstakels te vermijden.

4. Resultaten

• Pose Schatting:
  • Het UKF-systeem volgt de grondwaarheid (gemeten via Optitrack motion capture) zeer nauwkeurig.
  • RMSE (Root Mean Square Error):
    • X-richting: 0.0816 m
    • Y-richting: 0.0531 m
  • Het gefuseerde systeem presteert robuuster dan individuele sensoren; de camera helpt de LiDAR om de juiste cluster te kiezen, terwijl de LiDAR de breedte van het gezichtsveld (FOV) biedt.
• Inhaakmanoeuvres:
  • De agent slaagde erin om de tegenstander succesvol in te halen in meerdere runs zonder botsingen.
  • Beperkingen: De trajecten vertonen oscillaties in de echte wereld, veroorzaakt door ruis en vertragingen (latency) in de sensoren. Omdat de sensoren langzaam updaten, werd getest met lagere snelheden om de precisie van de schatting te prioriteren boven reactietijd.
  • Generalisatie: De agent kon niet goed overgaan naar een smaller, gesloten circuit dan waarvoor hij getraind was, maar functioneerde uitstekend in omstandigheden die leken op de trainingsomgeving.

5. Betekenis en Toekomst

Deze studie demonstreert dat het combineren van geavanceerde sensorfusie (voor dynamische pose-schatting) met multi-agent Reinforcement Learning haalbaar is voor autonoom racen in de echte wereld. Het bewijst dat het behandelen van een tegenstander als een dynamisch object met een geschatte pose leidt tot veiligere en efficiëntere inhaakmanoeuvres dan traditionele obstakelvermijding.

Toekomstig werk richt zich op het verbeteren van de gladheid van de trajecten (reductie van oscillaties) en het verhogen van de update-frequentie van de pose-schatting door middel van geoptimaliseerde hardware en algoritmen.

Code: De implementatie is beschikbaar via de GitHub-repository van het CRTA-Lab.