ManeuverGPT Agentic Control for Safe Autonomous Stunt Maneuvers

Probleemstelling

Autonome voertuigen (AV's) maken snelle vooruitgang, maar ze worstelen nog steeds met het veilig uitvoeren van hoog-dynamische manoeuvres (zoals die door stuntrijders worden uitgevoerd) in onzekere omstandigheden. Een specifiek voorbeeld is de J-turn: een snelle 180° draai van het voertuig op hoge snelheid.

• Uitdaging: Het ontwerpen van betrouwbare controllers voor dergelijke manoeuvres is moeilijk vanwege de complexe voertuigdynamiek en de nauwe marge voor fouten.
• Beperkingen van bestaande methoden: Traditionele benaderingen (zoals Model Predictive Control - MPC) vereisen nauwkeurige dynamische modellen die extreme rijgedragingen vaak niet vastleggen. Reinforcement Learning (RL) vereist uitgebreide trainingsdata en specifieke domein-engineering, en het aanpassen aan nieuwe voertuigtypes vereist vaak hertraining.
• Doel: Een systeem ontwikkelen dat agressieve manoeuvres veilig kan uitvoeren zonder hertraining van modelgewichten, en dat flexibel is voor verschillende voertuigdynamica.

Methodologie: ManeuverGPT

Het paper introduceert ManeuverGPT, een nieuw raamwerk dat Large Language Models (LLM's) gebruikt als controllers voor stuntmanoeuvres. Het systeem werkt in de CARLA-simulatieomgeving en gebruikt een agente architectuur met drie gespecialiseerde agents die samenwerken in een gesloten lus:

1. Query Enricher Agent (AE):
   • Interpreteert en verrijkt gebruikersopdrachten (prompts).
   • Voegt domeinspecifieke details, historische data en operationele beperkingen toe om vage instructies om te zetten in gedetailleerde, actieerbare queries.
2. Driver Agent (AD):
   • Genereert op basis van de verrijkte query een gestructureerde reeks manoeuvre-parameters ($P$).
   • Deze parameters omvatten gasklep ($\theta$), stuurhoek ($\phi$), remkracht ($\beta$) en achteruitrijstatus ($r$) voor verschillende fases van de J-turn.
3. Parameter Validator Agent (AV):
   • Evalueert de gegenereerde parameters tegen een set van beperkingen ($C$).
   • Veiligheid ($C_s$): Geen botsingen, fysieke limieten (bijv. stuurhoek binnen bereik).
   • Operationeel ($C_o$): Limieten voor versnelling en stabiliteit.
   • Als parameters ongeldig zijn, worden ze afgewezen of verwerkt door feedback naar de Driver Agent.

Iteratief Proces:
Het systeem start tabula rasa (zonder vooraf trainen van de LLM). Het volgt een iteratieve cyclus:

1. Genereer parameters $P_k$.
2. Valideer en verfijn tot $\tilde{P}_k$.
3. Voer uit in de simulator en meet prestaties (hoekafwijking, botsingen, 'jerk').
4. Genereer feedback $Q_{k+1}$ om de prompt te verfijnen (bijv. "verminder stuurhoek met 5% in fase 2").
5. Herhaal tot een succesvol resultaat is bereikt of een maximum aantal iteraties is bereikt.

De kostenfunctie $L(\tilde{P}_k)$ minimaliseert de hoekafwijking, botsingen en onrust (jerk).

Belangrijkste Bijdragen

1. Multi-Agent LLM-raamwerk: Een architectuur die stuntmanoeuvres genereert en verfijnt zonder de interne gewichten van het model te hertrainen.
2. Generalisatie door tekstuele prompts: Het systeem demonstreert dat het kan generaliseren over verschillende voertuigtypes (bijv. sedan vs. sportcoupé) door uitsluitend de tekstuele prompts aan te passen, zonder de onderliggende controller te wijzigen.
3. Prestatieanalyse: Een uitgebreide evaluatie met gevestigde succescriteria (finale oriëntatie, botsingscontrole, tijdsbeperkingen) die de haalbaarheid van taalgestuurde controle voor hoog-dynamische taken aantoont.

Resultaten

De experimenten werden uitgevoerd in CARLA met een GPT-familie model. De belangrijkste bevindingen zijn:

• Succesratio: Het systeem bereikte een algehele succesratio van 86% over 100 runs. Dit verbeterde van 83,3% in vroege runs naar 90% in latere runs door iteratieve feedback.
• Multi-Agent vs. Single-Agent: Het multi-agent systeem (met Validator) presteerde aanzienlijk beter dan een enkel-agent systeem.
  • Het multi-agent systeem hield de hoekafwijking onder de strenge drempel van 7° in 76% van de trials, tegenover 52% voor het single-agent systeem.
  • Het single-agent systeem had vaker problemen met parameter-drift (bijv. stuurhoeken > 1.0), wat leidde tot directe botsingen.
• Voertuigadaptatie:
  • Sedan: Bereikte een succesratio van 90,11% met een gemiddelde hoekafwijking van 9,09°. De dynamiek is vergevingsgezinder.
  • Sportcoupé: Bereikte een succesratio van 70,57% met een hogere variabiliteit (gemiddelde afwijking 21,39°). De snellere respons en achterwielbelasting maken precieze controle moeilijker, maar het systeem slaagde er toch in om aan te passen.
• Convergentie: De prestaties verbeterden gestaag over 5 batches (20 iteraties per batch), waarbij de gemiddelde hoekafwijking daalde en stabiliseerde onder de acceptabele drempel van 10°.

Betekenis en Conclusie

ManeuverGPT toont aan dat LLM-driven controle een veelbelovende aanpak is voor het snel prototypen en ontwikkelen van nieuwe manoeuvres voor autonome voertuigen, zonder de noodzaak van zware hertraining.

• Sterke punten: Flexibiliteit, aanpassing aan verschillende voertuigen via tekst, en het vermogen om complexe, niet-lineaire dynamica te hanteren door iteratieve tekstuele verfijning.
• Beperkingen: Het ontbreekt aan formele veiligheidsgaranties zoals die bij traditionele MPC-methoden (wiskundige optimalisatie) worden geboden. De numerieke precisie is soms minder dan bij gespecialiseerde algoritmen.
• Toekomstperspectief: De auteurs pleiten voor hybride benaderingen die taalgebaseerd redeneren combineren met algoritmische validatie en optimalisatie. Dit zou de veiligheidsgaranties kunnen verbeteren en de overbrugging van de simulatie-naar-realiteit gap mogelijk maken.

Kortom, dit werk markeert een stap voorwaarts in het gebruik van foundation modellen voor actieve veiligheidssystemen die in staat zijn om extreem agile manoeuvres uit te voeren in noodsituaties.