RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Learning in Multi-Modal Large Language Model

Het paper introduceert RAG-Driver, een innovatief retrieval-augmented multi-modaal groot taalmodel dat via in-context learning en gebruik van opgehaalde expertdemonstraties betrouwbare, uitlegbare en generaliseerbare autonome rijbeslissingen mogelijk maakt zonder verdere training.

De kern

Stel je voor dat je in een zelfrijdende auto zit. Je kijkt naar de weg, maar de auto neemt plotseling een scherpe bocht of remt hard af. Je vraagt je af: "Waarom deed hij dat? Is er een gevaar? Is de auto gek?"

Vroeger waren zelfrijdende auto's als een zwarte doos. Ze deden dingen, maar ze konden je niet uitleggen waarom. Ze waren slim, maar stil.

Deze paper introduceert RAG-Driver, een nieuwe manier om die auto's niet alleen slimmer te maken, maar ook spraakmakend en begrijpelijk. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Gouden Gids" in plaats van een Boekje

Stel je voor dat je een nieuwe stad in rijdt. Je hebt geen kaart, maar je hebt een ervaren gids bij je die duizenden kilometers heeft gereden.

• Het oude probleem: Als de auto een nieuwe situatie tegenkomt (bijvoorbeeld een sneeuwstorm in Londen, terwijl hij alleen in Californië heeft geoefend), raakt hij in paniek. Hij moet alles zelf bedenken en maakt vaak fouten.
• De RAG-Driver oplossing: In plaats van alles uit zijn hoofd te leren, heeft deze auto een digitale gids bij zich. Zodra hij een situatie ziet die hem bekend voorkomt, "pakt" hij uit zijn geheugen een vergelijkbaar voorbeeld uit het verleden.
  • Voorbeeld: De auto ziet een kind dat op het punt staat de weg over te steken. In plaats van te gokken, kijkt hij in zijn "gids" en ziet hij: "Ah, ik heb dit eerder gezien! In een vergelijkbare situatie remde een expertauto en zei: 'Ik rem omdat dat kind onzeker loopt'."

2. Het "Kopieer- en Plak"-principe (In-Context Learning)

Dit is de magische truc van de auto.
Stel je voor dat je een student bent die een lastig examen doet. Je mag geen boeken raadplegen, maar je mag wel drie voorbeeldoplossingen van een vorige examen zien voordat je begint.

• RAG-Driver doet precies dit. Voordat hij een beslissing neemt, zoekt hij in zijn database naar twee vergelijkbare situaties (de "voorbeelden").
• Hij leest dan: "Kijk hoe de expert hier reageerde, wat hij zei en welke snelheid hij gebruikte."
• Vervolgens zegt hij: "Oké, mijn situatie lijkt daarop. Ik ga dus ook remmen, met een snelheid van 30 km/u, en ik zal uitleggen: 'Ik rem omdat er een kind is'."

Dit heet Retrieval-Augmented In-Context Learning. Klinkt ingewikkeld, maar het is simpel: Leren door te kijken naar wat anderen in dezelfde situatie deden.

3. Waarom is dit zo belangrijk?

• Vertrouwen: Als de auto zegt "Ik rem omdat er een stopbord is", en jij ziet het stopbord ook, dan vertrouw je hem. Als hij alleen remt zonder reden, ben je bang. RAG-Driver geeft die reden.
• Aanpasbaarheid (Zonder opnieuw studeren): Normaal gesproken moet je een zelfrijdende auto opnieuw "leren" (trainen) als je hem naar een ander land brengt. Dat kost jaren en miljarden. RAG-Driver hoeft niet opnieuw te studeren. Hij gebruikt gewoon zijn gids (de database) om zich aan te passen aan nieuwe omgevingen. Het is alsof je een taxi-bestuurder naar een nieuwe stad brengt; hij hoeft niet opnieuw te leren rijden, hij zoekt gewoon de weg op.
• Minder "Hallucinaties": AI's hebben de neiging om dingen te verzinnen (hallucineren). Omdat RAG-Driver zich baseert op echte, menselijke voorbeelden uit zijn database, is hij veel minder geneigd om te verzinnen dat er een olifant op de weg staat als er geen is. Hij blijft bij de feiten die hij kent.

Samenvattend

RAG-Driver is als een slimme, praatgrage chauffeur die nooit alleen rijdt. Hij heeft een supergeheugen vol met verhalen van andere goede chauffeurs.

1. Hij ziet een situatie.
2. Hij zoekt in zijn geheugen naar een vergelijkbaar verhaal.
3. Hij kijkt wat de expert toen deed en zei.
4. Hij doet hetzelfde en legt het voor jou uit in gewone taal.

Hierdoor wordt de auto niet alleen veiliger, maar ook betrouwbaarder voor jou als passagier, zelfs in situaties waar hij nog nooit eerder is geweest.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Learning in Multi-Modal Large Language Model" in het Nederlands.

Probleemstelling

Autonome voertuigen, en met name end-to-end leersystemen, worden vaak gezien als "black boxes". Hoewel ze nauwkeurige besturingssignalen kunnen genereren, ontbreekt vaak de transparantie en het vermogen om hun beslissingen in natuurlijke taal uit te leggen. Dit ondermijnt het vertrouwen van gebruikers en belemmert de veilige implementatie.

De huidige aanpak met Multi-Modale Grootte Taalmodellen (MLLM's) om zowel besturing als uitleg te genereren, stuit op drie grote obstakels:

1. Data-schaarste: Het ontbreken van hoogwaardige, geannoteerde datasets voor rijden in combinatie met taal, mede door de hoge kosten van annotatie.
2. Domeinverschillen (Domain Gaps): Modellen presteren vaak slecht in nieuwe omgevingen die afwijken van de trainingsdata (Out-of-Distribution), wat de generalisatie beperkt.
3. Trainingskosten en Catastrophic Forgetting: Het hertrainen of fijnstemmen (fine-tuning) van grote MLLM's is computationally zeer duur en leidt vaak tot "catastrophic forgetting", waarbij het model kennis van eerdere taken vergeet.

Methodologie: RAG-Driver

De auteurs stellen RAG-Driver voor, een nieuw framework dat Retrieval-Augmented Generation (RAG) combineert met In-Context Learning (ICL) binnen een Multi-Modaal Groot Taalmodel (MLLM). Het doel is een systeem te creëren dat zonder extra training (zero-shot) kan generaliseren naar nieuwe omgevingen.

Het systeem bestaat uit twee hoofdcomponenten:

1. Unified Perception and Planning Unit (MLLM):

   • Architectuur: Gebaseerd op Vicuna 1.5 (7B parameters) als taalbackbone, gekoppeld aan een vooraf getrainde video-encoder (LanguageBind/ViT).
   • Projector: Een MLP-projector aligneert video-embeddings met taal-embeddings.
   • Taken: Het model voert drie taken tegelijkertijd uit:
     • Actie-Verklaring: Beschrijven wat het voertuig doet.
     • Actie-Justificatie: Uitleggen waarom een bepaalde actie wordt ondernomen.
     • Besturingssignaalvoorspelling: Voorspellen van numerieke signalen (snelheid, stuurhoek).

2. Memory Unit met Retrieval Engine:

   • Database: Bevat een hybride database met vectorisatie van video-frames en besturingssignalen, gekoppeld aan menselijke expert-annotaties (uitleg en rechtvaardiging).
   • Retrieval Mechanisme: In plaats van alleen visuele gelijkenis te zoeken, gebruikt het systeem een hybride zoekopdracht. Het projecteert zowel video- als besturingssignalen naar een gezamenlijke ruimte en gebruikt een triplet-loss om scenarios te vinden die leiden tot vergelijkbare rijacties.
   • Retrieval-Augmented In-Context Learning (RA-ICL): De meest vergelijkbare rijscenario's (inclusief hun uitleg en besturing) worden opgehaald en als "context" (voorbeelden) aan de huidige query toegevoegd voordat deze het MLLM binnenkomt. Hierdoor kan het model via analogie redeneren zonder dat de modelparameters worden bijgewerkt (geen backpropagation).

Training Strategie:

• Pre-training: Alignering van visuele en taalfeatures.
• Instruction Tuning: Fijnstemming op een dataset van 16.000 video-vraag-antwoordparen (BDD-X) om het model te leren de drie taken uit te voeren.
• Inferentie: Tijdens het rijden worden relevante voorbeelden opgehaald en als context ingevoegd. Het model leert implicitief via "meta-optimisatie" (gebaseerd op de attention-mechanismen) om de output aan te passen aan de context.

Belangrijkste Bijdragen

1. Nieuwe ICL-methode: Een innovatieve Retrieval-Augmented In-Context Learning methode specifiek ontworpen voor MLLM's in het domein van autonoom rijden.
2. State-of-the-art Prestaties: Het bereiken van de beste resultaten op de standaard benchmark BDD-X voor het genereren van rijactie-verklaringen en rechtvaardigingen.
3. Uitzonderlijke Zero-Shot Generalisatie: Het demonstreren van het vermogen om zich aan te passen aan volledig nieuwe omgevingen (zoals Londen, UK, via de Spoken-SAX dataset) zonder enige extra training, wat een groot probleem is voor bestaande modellen.

Resultaten

De auteurs evalueren het model op de BDD-X dataset (in-distribution) en de Spoken-SAX dataset (out-of-distribution/zero-shot).

• Verklaring en Rechtvaardiging: RAG-Driver overtreft zowel specialistische modellen (zoals ADAPT) als algemene MLLM's (zoals DriveGPT4). Op de BDD-X dataset verbetert het de prestaties met gemiddeld 10,8% ten opzichte van DriveGPT4.
• Zero-Shot Generalisatie: Dit is het meest opvallende resultaat. Waar andere modellen (zoals ADAPT en een basis-MLLM zonder ICL) dramatisch in prestatie dalen in de nieuwe omgeving (Spoken-SAX), behoudt RAG-Driver zijn vermogen. Het behaalt een verbetering van +119,3% in CIDEr-score voor actieverklaringen ten opzichte van de vorige state-of-the-art in deze setting.
• Besturingssignalen: Het model presteert ook beter in het voorspellen van numerieke besturingssignalen (snelheid en stuurhoek), wat aantoont dat de contextuele voorbeelden ook helpen bij numerieke redenering.
• Ablatie Studies:
  • Hybride Zoeken: Het gebruik van zowel video- als besturingssignalen voor retrieval werkt beter dan alleen visuele gelijkenis.
  • Training vs. Inference: Het model heeft supervisie tijdens de training nodig om ICL effectief te kunnen gebruiken; puur zero-shot ICL zonder training resulteert in onbruikbare output.
  • Aantal Voorbeelden: Twee retrieved voorbeelden (ICL examples) bleken optimaal voor de huidige modelarchitectuur.

Betekenis en Toekomstperspectief

RAG-Driver biedt een cruciale oplossing voor het "black box"-probleem in autonoom rijden door een systeem te creëren dat niet alleen rijdt, maar ook verantwoording kan afleggen in menselijke taal.

De belangrijkste implicaties zijn:

• Vertrouwen: Door transparante uitleg en rechtvaardiging wordt de acceptatie van autonome systemen door gebruikers en toezichthouders vergroot.
• Efficiëntie: Het elimineert de noodzaak voor kostbare en tijdrovende hertraining (fine-tuning) bij elke nieuwe omgeving of scenario.
• Robuustheid: Het systeem is beter bestand tegen domeinverschuivingen (bijv. andere steden, weersomstandigheden) dankzij het gebruik van analoge voorbeelden uit een kennisbank.

De auteurs wijzen wel op beperkingen, zoals de huidige beperking in contextvenster (maximaal 2 voorbeelden) en het risico op hallucinaties bij kleine modellen, maar benadrukken dat dit een veelbelovende richting is voor de toekomst van betrouwbare, uitlegbare autonome systemen.