KnowVal: A Knowledge-Augmented and Value-Guided Autonomous Driving System

Het paper introduceert KnowVal, een autonoom rijsysteem dat visueel-taalredenering combineert met een kennisgrafiek en een waardenmodel om veiliger en ethisch afgestemde beslissingen te nemen, wat resulteert in een recordlaag aantal botsingen op de nuScenes-dataset.

De kern

Stel je voor dat een zelfrijdende auto niet alleen een slimme robot is die de weg volgt, maar een ervaren, belezen en ethisch onderlegde chauffeur die ook echt begrijpt waarom hij bepaalde beslissingen neemt.

Dat is precies wat KnowVal is: een nieuw systeem voor zelfrijdende auto's dat de technologie een stuk menselijker en veiliger maakt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Blinde" Robot

Huidige zelfrijdende auto's zijn als jonge leerlingen die alleen maar kijken wat de leraar doet. Ze kijken naar duizenden video's van andere auto's en proberen die na te bootsen.

• Het nadeel: Als ze in een situatie komen die ze nooit eerder hebben gezien (bijvoorbeeld een vreemd object op de weg of een onduidelijk verkeersbord), raken ze in de war. Ze weten niet waarom ze moeten stoppen, ze doen het alleen omdat ze het zo hebben geleerd. Ze missen de "gezonde verstand" en de kennis van de verkeersregels.

2. De Oplossing: KnowVal (De "Slimme Chauffeur")

KnowVal verandert de auto in een chauffeur die drie superkrachten heeft:

A. De "Levende Reisgids" (Kennisgrafiek)

Stel je voor dat de auto een digitale bibliotheek bij zich draagt. Deze bevat niet alleen de verkeersregels, maar ook:

• De officiële wetten.
• Tips van ervaren chauffeurs (bijv. "Rij langzaam door plassen om anderen niet nat te spatten").
• Morele richtlijnen (bijv. "Geef altijd voorrang aan voetgangers, zelfs als ze de weg niet goed zien").

In plaats van alleen te kijken, raapt de auto zijn "reiskennis" op zodra hij iets ziet. Als hij een plas water ziet, opent hij direct het hoofdstuk over "rijden bij regen" en leest hij de regels.

B. De "Oog-En-Oor" Samenwerking (Visueel-Taal Redenering)

Normaal gesproken kijken de camera's (de ogen) en denkt het brein (de taal) apart van elkaar. Bij KnowVal werken ze samen als een goed getraind duo.

• Het scenario: De camera ziet een kind dat op de rand van de stoep staat, maar het is schemerig.
• De samenwerking: De camera zegt: "Ik zie een klein figuurtje, maar ik ben niet 100% zeker."
• De kennis: Het systeem vraagt direct aan zijn "reiskennis": "Wat moet ik doen als ik een kind in de schemering zie?"
• Het antwoord: De kennis zegt: "Wees extra voorzichtig, rem vooraf en geef geluidssignaal."
• Het resultaat: De auto past zijn waarneming aan (kijkt scherper) en past zijn actie aan. Het is alsof de auto naast zich een ervaren instructeur heeft staan die fluistert: "Kijk daar eens goed naar!"

C. De "Gewetenscontrole" (Waarde Model)

Dit is misschien wel het belangrijkste deel. Stel je voor dat de auto tien verschillende routes kan kiezen. Een oude auto zou gewoon de snelste route kiezen. KnowVal heeft echter een binnenkomende "gewetenscheck".

• De auto bedenkt: "Ik kan hier hard doorrijden, of ik kan langzaam gaan."
• De Waarde Model (het geweten) zegt: "Hard doorrijden is technisch mogelijk, maar het is onbeleefd en gevaarlijk voor de voetganger. Dat is een 'slechte' keuze."
• De auto kiest dan de route die niet alleen veilig is, maar ook ethisch correct en in lijn met wat een mens zou doen.

3. Waarom is dit zo speciaal?

In de tests (zoals op de nuScenes en Bench2Drive benchmarks) deed KnowVal het beter dan alle andere systemen:

• Minder ongelukken: Het had de laagste botsingskans.
• Slimmer in moeilijke situaties: Waar andere auto's vastliepen of onzeker werden, wist KnowVal precies wat te doen omdat het de regels en de morele kant begreep.
• Uitlegbaar: Als je vraagt "Waarom remde je?", kan de auto het antwoord geven: "Ik zag een plas water en een voetganger, en volgens regel X moet ik langzaam rijden om niemand nat te maken."

Samenvattend

KnowVal is als het verschil tussen een automatische piloot die alleen op een kaart kijkt, en een menselijke chauffeur die de verkeersregels kent, rekening houdt met anderen, en weet waarom hij bepaalde beslissingen neemt. Het maakt zelfrijdende auto's niet alleen slimmer, maar ook veiliger en menselijker.

Technische samenvatting

Probleemstelling

Bestaande systemen voor autonoom rijden kampen met drie fundamentele beperkingen die hen belemmeren om veilig, betrouwbaar en uitlegbaar te opereren in complexe, dynamische omgevingen:

1. Gebrek aan visueel-taalredenering: Bestaande end-to-end modellen missen de mogelijkheid om te redeneren op basis van taal, terwijl Vision-Language-Action (VLA) modellen vaak beperkt blijven tot taalkundige redeneerprocessen zonder dat de uitkomsten de waarneming (perceptie) beïnvloeden. Er is geen wederzijdse sturing tussen wat de auto ziet en wat hij weet.
2. Afwezigheid van een interpreteerbare kennisbasis: Huidige systemen vertrouwen bijna uitsluitend op datagedreven leren (imitatie of beperkte beloningen). Ze proberen complexe besluitvormingslogica (zoals verkeersregels en morele normen) te infereren uit menselijk gedrag, wat onvoldoende is voor generalisatie. Handgemaakte regels zijn vaak te star en dekken niet alle scenario's.
3. Gebrek aan waarden-georiënteerde besluitvorming: Hoewel "wereldmodellen" (die toekomstige toestanden voorspellen) belangrijk zijn, ontbreekt er vaak een mechanisme om te beoordelen of die toekomstige toestanden wenselijk zijn. Bestaande methoden gebruiken vaak data-driven benaderingen of handgemaakte regels voor deze evaluatie, wat leidt tot gebrek aan generalisatie en uitlegbaarheid.

Methodologie: KnowVal

KnowVal is een nieuw autonoom rijstelsel dat visueel-taalredenering mogelijk maakt door de synergetische integratie van open-wereld waarneming en kennisretrieval. De architectuur bestaat uit drie hoofdcomponenten:

1. Redenering tussen Waarneming en Retrieval

Het systeem creëert een cyclus waarbij waarneming en kennis elkaar wederzijds sturen:

• Retrieval-gestuurde open-wereld waarneming: Het systeem voert drie soorten waarneming uit:
  • Gespecialiseerde waarneming: Herkenning van standaard objecten (auto's, voetgangers).
  • Open-eindige 3D-waarneming: Detectie van lange-staart objecten (bijv. brandweerwagens, plassen) zonder expliciete prompts.
  • Abstracte conceptbegrip: Begrip van context (bijv. "nacht", "brug", "regen").
  • Als de kennisretrieval aangeeft dat informatie ontbreekt, wordt de waarnemingsmodule geprompt om specifieke observaties te verfijnen.
• Waarnemings-gestuurde kennisretrieval:
  • De waarnemingsoutput wordt omgezet in tekstuele queries via een "Perception Verbalizer".
  • Een LLM-based retrieval-module zoekt in een vooraf geconstrueerde kennisgrafiek naar relevante regels.
  • Het systeem filtert resultaten zodat alleen de originele, onveranderde tekst (niet samengevat door een LLM) wordt gebruikt, wat hallucinaties voorkomt.

2. De Kennisgrafiek (Knowledge Graph)

In plaats van een simpele vectordatabase, bouwt het team een gestructureerde kennisgrafiek op basis van:

• Verkeerswetten en -regels.
• Principes van defensief rijden.
• Morele richtlijnen en ethische normen.
• Ervaringskennis uit interviews en instructievideo's.
  De grafiek wordt opgebouwd door LLM's om entiteiten te extraheren en semantische relaties tussen verschillende kennisbronnen (bijv. tussen een wet en een moreel principe) te leggen. Dit zorgt voor een rijke, semantisch verbonden structuur.

3. Planning met Wereldmodel en Waarde-model

• Wereldmodel: De planner genereert diverse kandidaat-trajecten en voorspelt de toekomstige staten van de wereld voor elk traject.
• Waarde-model (Value Model): Dit model evalueert de gewenstheid van elk kandidaat-traject op basis van de opgehaalde kennisregels.
  • Het model is getraind op een menselijke voorkeursdataset (160k traject-kennisparen).
  • Het berekent een score voor elk traject: een negatieve score duidt op gedrag dat in strijd is met de regels, een positieve score op naleving.
  • De uiteindelijke beslissing wordt genomen door de trajecten te wegen op basis van hun relevantie en de bijbehorende scores, wat leidt tot een interpreteerbare, waarden-gealigneerde keuze.

Belangrijkste Bijdragen

1. KnowVal Architectuur: Een nieuw systeem dat visueel-taalredenering realiseert via wederzijdse sturing tussen waarneming en kennisretrieval.
2. Uitgebreide Kennisgrafiek: Constructie van een omvattende grafiek voor autonoom rijden die wetten, morele principes en defensieve rijtechnieken integreert, gekoppeld aan een efficiënte retrieval-mechanisme.
3. Waarde-gealigneerde Planning: Integratie van een wereldmodel en een Value Model, getraind op een menselijke voorkeursdataset, voor interpreteerbare trajectevaluatie.
4. Compatibiliteit en Prestaties: Het bewijs dat het systeem naadloos kan worden geïntegreerd in bestaande end-to-end architecturen (zoals UniAD, DiffusionDrive) en hierdoor de prestaties verbetert.

Resultaten

KnowVal werd geëvalueerd op drie belangrijke benchmarks: nuScenes, Bench2Drive en NVISIM.

• nuScenes (Open-loop): KnowVal behaalde het laagste botsingspercentage van alle bestaande methoden. De L2-fout (afwijking van menselijk rijgedrag) is iets hoger, wat suggereert dat het systeem veiligere of efficiëntere strategieën kiest dan menselijke demonstraties, zelfs als ze afwijken van het menselijke spoor.
• Bench2Drive (Closed-loop): KnowVal behaalde state-of-the-art resultaten met een Driving Score van 88.42 (een verbetering van +3.35 ten opzichte van de beste VLA-methode SimLingo) en een Success Rate van 69.03%.
• NVISIM: Het systeem behaalde de beste resultaten op de PDMS-score (90.9 en 92.9 afhankelijk van de basis), wat de robuustheid in gesimuleerde omgevingen bevestigt.
• Kwalitatieve Analyse: In casestudies (zoals het vertragen bij plassen om voetgangers niet nat te maken, of niet inhalen in tunnels) toonde KnowVal aan dat het ethische en wettelijke overwegingen correct kan interpreteren en toepassen, terwijl basismethoden hierin faalden.

Significantie

Deze paper markeert een verschuiving in autonoom rijden van puur datagedreven imitatie naar een kennis-gedreven, waarden-gebaseerde benadering.

• Interpreteerbaarheid: Door gebruik te maken van een kennisgrafiek en een Value Model, kunnen de beslissingen van de auto worden verklaard aan de hand van specifieke wetten of morele principes, in plaats van een "black box" te zijn.
• Veiligheid en Generalisatie: Het vermogen om kennis uit externe bronnen (wetten, morele richtlijnen) te halen, stelt het systeem in staat om beter om te gaan met zeldzame of nieuwe scenario's waarvoor het niet specifiek getraind is.
• Ethische Alignering: Het introduceert een mechanisme om menselijke waarden en sociale normen expliciet te integreren in de besluitvorming, wat cruciaal is voor de acceptatie van autonoom rijden in de maatschappij.

Kortom, KnowVal bewijst dat het combineren van visuele waarneming, gestructureerde kennis en ethische waarden leidt tot een robuuster, veiliger en uitlegbaarder autonoom rijstelsel.