PRAM-R: A Perception-Reasoning-Action-Memory Framework with LLM-Guided Modality Routing for Adaptive Autonomous Driving

Dit artikel introduceert PRAM-R, een adaptief raamwerk voor autonoom rijden dat een LLM-gestuurde modale routering en een hiërarchisch geheugen combineert om de rekenkosten te verlagen door onnodige sensoren uit te schakelen, terwijl de prestaties in complexe stedelijke omgevingen behouden blijven.

De kern

Stel je voor dat je een zelfrijdende auto hebt die uitgerust is met een heleboel zintuigen: camera's (ogen), een LiDAR-sensor (een soort laser-sonar die in het donker ziet) en radar (die door regen en mist kan kijken).

Normaal gesproken doet deze auto alles tegelijk. Hij gebruikt al zijn zintuigen, 24/7, of het nu zonnig is, regent of dat hij op een lege snelweg rijdt. Dit is als een mens die probeert te luisteren naar de radio, een boek te lezen, te kijken naar een film en te ruiken naar de koffie, allemaal tegelijkertijd, zelfs als hij alleen maar even naar de koelkast loopt. Het kost veel energie, het wordt snel warm (rekenkracht) en soms verwarren al die informatie elkaar.

De auteurs van dit paper, PRAM-R, hebben een slimme oplossing bedacht. Ze noemen hun systeem een "Perceptie-Redeneren-Actie-Gedachten" framework. Laten we dit uitleggen met een leuk verhaal over een slimme chauffeur.

De Slimme Chauffeur (Het PRAM-R Systeem)

Stel je voor dat de auto een team is met vier belangrijke leden:

1. De Waarnemer (Perceptie): Kijkt naar de weg.
2. De Denker (Redeneren): Een superintelligente assistent (een AI die spreekt als een mens, een "LLM").
3. De Actievoerder (Actie): Zet het stuur en het gaspedaal in beweging.
4. De Archivarist (Gedachten/Memory): Onthoudt wat er eerder is gebeurd.

Het Probleem: De "Alles-Altijd"-Methode

Vroeger deden deze auto's alsof ze in een constante storm van informatie zaten. Ze schakelden alle sensoren in, ook als het niet nodig was.

• Voorbeeld: Op een zonnige dag op de snelweg heb je geen radar nodig om de lijnen te zien; de camera doet het prima. Maar de auto schakelt de radar toch in. Dat is zonde van de energie en het maakt het systeem trager.

De Oplossing: PRAM-R

Het nieuwe systeem werkt als een slimme chef-kok in een restaurant.

1. De Chef kiest de ingrediënten (Modality Routing)
In plaats van alle ingrediënten (sensoren) uit de kast te halen voor elke maaltijd, kijkt de Chef (de AI) eerst naar de situatie:

• "Het regent hard en het is donker?" -> Dan haalt hij de radar en LiDAR uit de kast, want de camera werkt slecht in de regen.
• "Het is helder en zonnig?" -> Dan gebruikt hij alleen de camera.
• "Er is een onbekend obstakel?" -> Dan schakelt hij alle sensoren in voor extra zekerheid.

De AI doet dit niet zomaar; hij "redeneert" erover. Hij kijkt naar de gezondheid van de sensoren (is de lens vies? werkt de radar nog goed?) en de omgeving.

2. Twee Snelheden: De Snelle Reflex en de Langzame Gedachte
Dit is het slimste deel van het systeem. Het werkt met twee klokken:

• De Snelle Reflex (Reactieve lus): Dit gaat razendsnel. Als er plotseling een kind de weg op rent, moet de auto direct remmen. Daarvoor gebruikt hij de sensoren die nu al aan staan. Hij denkt niet na, hij handelt.
• De Langzame Gedachte (Deliberatieve lus): Dit gaat langzamer. Terwijl de auto rijdt, denkt de "Chef" na: "Hé, het begint te regenen, misschien moet ik de radar over een paar seconden activeren?" of "Die camera werkt al een tijdje niet goed, ik moet die uitschakelen."
  • Dit voorkomt dat de auto heen en weer schakelt (bijvoorbeeld: radar aan, uit, aan, uit) als het licht net even flitst. De "Chef" is geduldig en wacht tot hij zeker weet dat het nodig is.

3. Het Onthouden (Memory)
De auto heeft een gedachtenboek.

• Als hij eerder in een donkere parkeergarage was, onthoudt hij: "Hier werkt de camera slecht, ik moet altijd de radar gebruiken."
• De volgende keer dat hij daar komt, hoeft hij niet opnieuw te "denken" of te "leren". Hij pakt zijn notitieboekje, kijkt op en schakelt direct de juiste sensoren in. Dit bespaart tijd en energie.

Wat hebben ze ontdekt? (De Resultaten)

De onderzoekers hebben dit systeem getest in de computer (met nep-verkeerssituaties) en met echte data van de stad (nuScenes).

• Minder Chaos: Het systeem schakelt veel minder vaak wild heen en weer tussen sensoren in. Het is rustiger en stabieler (87% minder "trillen" in de keuzes).
• Efficiënter: Ze schakelden ongeveer 6% minder sensoren in dan de oude systemen, maar de auto rijdt net zo veilig en precies.
• Slim Onthouden: Het systeem onthoudt situaties goed. Het gebruikt zijn "gedachtenboek" om sneller en slimmer te beslissen.

Conclusie in één zin

PRAM-R is als een slimme, moeizame chauffeur die niet blindelings alles aan doet, maar precies weet welke zintuigen hij op welk moment nodig heeft, en die zijn ervaringen onthoudt om in de toekomst nog efficiënter te rijden.

Dit maakt zelfrijdende auto's niet alleen veiliger, maar ook zuiniger en sneller, omdat ze niet verdrinken in informatie die ze niet nodig hebben.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "PRAM-R: A Perception-Reasoning-Action-Memory Framework with LLM-Guided Modality Routing for Adaptive Autonomous Driving" in het Nederlands.

Probleemstelling

Autonome voertuigen vertrouwen op meerdere sensormodaliteiten (camera, LiDAR, radar en kaarten) om complexe omgevingen waar te nemen. Hoewel multimodale fusie de robuustheid en generalisatie verbetert, brengt dit aanzienlijke inefficiënties met zich mee:

1. Overbodige rekenkracht: Het continu activeren van alle sensoren veroorzaakt onnodige computatietijd en latentie, zelfs wanneer bepaalde sensoren redundant zijn of van lage kwaliteit (bijvoorbeeld een camera in mist of LiDAR bij sterke reflectie).
2. Beperkte generalisatie: Bestaande methoden gebruiken vaak statische fusiestrategieën of heuristische regels die geen hoog-niveau redenering toepassen, waardoor ze moeilijk aan te passen zijn aan wisselende omstandigheden.
3. LLM-uitdagingen: Hoewel Large Language Models (LLM's) potentieel hebben voor contextbewuste beslissingen, zijn ze te traag voor real-time gebruik per frame en missen ze een geheugenmechanisme om eerdere ervaringen te hergebruiken, wat leidt tot redundante redenering.

Methodologie: Het PRAM-R Framework

De auteurs stellen PRAM-R voor, een unificerend framework dat bestaat uit vier lagen: Perceptie, Redenering, Actie en Geheugen. Het kernidee is het gebruik van een LLM als een "router" die dynamisch bepaalt welke sensoren actief moeten zijn en hoe ze gewogen moeten worden.

1. Asynchrone Dual-Loop Architectuur

Het systeem gebruikt twee parallelle loops om zowel snelheid als diepgang te garanderen:

• Snelle Reactieve Loop (High Frequency): Voert real-time perceptie en besturing uit. Deze loop gebruikt de meest recente geheugentoestand om directe rijcommando's te genereren.
• Trage Deliberatieve Loop (Low Frequency): Voert hoog-niveau redenering uit, selecteert sensormodaliteiten op basis van context en diagnostiek, en update het geheugen. Deze loop is verantwoordelijk voor adaptieve strategieën zonder de real-time respons te vertragen.

2. LLM-Gestuurde Modality Routing

In plaats van features op feature-niveau te fuseren, gebruikt PRAM-R een LLM (specifiek Qwen3-VL-8B) als router op het perceptieniveau:

• Diagnostiek en Context: Het systeem analyseert diagnostische indicatoren (bijv. helderheid van camera's, puntendichtheid van LiDAR, ruis van radar) en externe context (weer, kaartcomplexiteit).
• Routeringsbeslissing: De LLM genereert twee outputs:
  1. Een gebruiksmasker ($u_t$) gebaseerd op de complexiteit van het tafereel (welke sensoren zijn nodig?).
  2. Betrouwbaarheidsscores ($r_t$) voor elke sensor (hoe goed presteert de sensor?).
• Selectie en Gewichten: De uiteindelijke actieve set modaliteiten wordt bepaald door de doorsnede van de noodzakelijke en betrouwbare sensoren. Een proportionele normalisatie zorgt voor stabiele gewichten.
• Stabilisatie: Om schommelingen (oscillaties) te voorkomen bij grenswaarden, wordt hysteresis toegepast (verschillende drempels voor aan- en uitschakelen) en Exponential Moving Average (EMA) voor het gladstrijken van de gewichten.

3. Hiërarchisch Geheugen

Om herhaaldelijk redeneren te voorkomen en consistentie te waarborgen, introduceert PRAM-R een vierlaags geheugen:

• Perceptie-geheugen: Korte-termijn context (diagnostiek, routingsbeslissingen).
• Redenerings-geheugen: Midden-termijn scenario's en risicobeoordelingen.
• Actie-geheugen: Logboeken van besturingscommando's en fouten.
• Kennisbank (Long-term): Gedestilleerde ervaringen en optimale strategieën voor toekomstige situaties.

Belangrijkste Bijdragen

1. PRAM-R Framework: Een nieuw architectuurconcept dat LLM-gestuurde modality-routing integreert in de autonome rijpipeline voor adaptieve en efficiënte perceptie.
2. Redeneringsgedreven Routering: Een mechanisme dat sensoren dynamisch selecteert en weegt op basis van geïntegreerde analyse van sensor-diagnostiek en omgevingscontext.
3. Asynchrone Dual-Loop: Een ontwerp dat snelle reactieve controle ontkoppelt van deliberatieve aanpassing, wat lage latentie garandeert terwijl robuuste prestaties behouden blijven.
4. Hiërarchisch Geheugen: Een module die routingsbeslissingen cacheert, temporale consistentie afdwingt en sensorbetrouwbaarheid over tijd bijhoudt voor continue adaptatie.

Resultaten

De auteurs hebben het framework getest met synthetische stress-tests en real-world validatie op het nuScenes-dataset.

• Stabiliteit: Synthetische tests met hoge frequentie-perturbaties toonden aan dat het gebruik van hysteresis de schakelfrequentie (oscillaties) van modaliteiten met 87,2% reduceerde.
• Efficiëntie: In real-world scenario's (nuScenes) werd een reductie van 6,22% in de gebruikte modaliteiten bereikt zonder verlies aan prestaties.
• Geheugen: Het systeem behaalde een 20% geheugenherroep (memory recall), wat betekent dat het vaak eerdere beslissingen kon hergebruiken in vergelijkbare situaties.
• Prestaties: De trajectnauwkeurigheid (gemeten in ADE en FDE) bleef vergelijkbaar met baselines die alle modaliteiten continu gebruiken, zelfs in complexe stedelijke omgevingen.
• Ablatie-studie: Varianten zonder geheugen of zonder de dual-loop toonden lagere stabiliteit (RSI) en efficiëntie, wat de noodzaak van beide componenten bevestigt.

Betekenis en Toekomstperspectief

PRAM-R demonstreert dat het combineren van LLM's met een hiërarchisch geheugen een haalbare weg is naar efficiënte, adaptieve multimodale perceptie. Het lost het dilemma op tussen rekenkracht en robuustheid door alleen de juiste sensoren op het juiste moment te activeren.

Beperkingen en toekomstig werk:

• Validatie: Meer focus nodig op lagen-specifieke geheugen-ablaties.
• Implementatie: Huidige tests zijn beperkt tot datasets; echte voertuigintegratie en digitale tweelingen zijn nodig.
• Efficiëntie: De huidige implementatie (Qwen3-VL-8B) introduceert latentie op embedded hardware; toekomstig werk zal zich richten op het optimaliseren van de inferentie-tijd voor real-time toepassing.

Kortom, PRAM-R biedt een fundamentele stap naar "slimmer" waarnemen in autonome voertuigen, waarbij het systeem leert wat het nodig heeft in plaats van alles continu te meten.