KnowVal: A Knowledge-Augmented and Value-Guided Autonomous Driving System

Il paper presenta KnowVal, un sistema di guida autonoma che integra ragionamento visivo-linguistico, un grafo della conoscenza stradale e un modello di valori allineati alle preferenze umane per migliorare la pianificazione e la sicurezza, ottenendo risultati all'avanguardia su diversi benchmark.

L'essenziale

Immagina di dover insegnare a un'auto come guidare da sola. Fino a poco tempo fa, il metodo principale era come se l'auto fosse un pappagallo: le mostravi milioni di ore di video di guidatori umani e le dicevi: "Guarda, fai esattamente quello che fanno loro".

Il problema? Se un guidatore umano sbaglia (magari per distrazione o per fretta), l'auto impara lo stesso errore. Inoltre, se l'auto si trova in una situazione strana che non ha mai visto nei video (come un'auto dei pompieri che attraversa un incrocio con la sirena), il "pappagallo" va nel panico perché non sa cosa fare.

KnowVal è come dare a questa auto un cervello da "bravo cittadino", non solo un muscolo che imita. È un sistema intelligente che combina tre cose fondamentali:

1. Gli Occhi che Chiedono Aiuto (Percezione e Ricerca)

Immagina di guidare di notte sotto la pioggia. Un sistema normale vede solo "c'è un'auto davanti".
KnowVal, invece, funziona come un detective curioso.

• Vede: "C'è una pozzanghera enorme e un pedone con un cappotto scuro".
• Pensa: "Aspetta, non sono sicuro di come comportarmi in questa situazione specifica".
• Chiede al suo "Libro delle Regole": Invece di indovinare, l'auto apre un enorme archivio digitale (una Knowledge Graph) che contiene le leggi stradali, i consigli di guida difensiva e l'etica.
• La Magia: L'auto legge la regola: "Di notte, con la pioggia, i pedoni scuri sono difficili da vedere. Rallenta per non spruzzarli d'acqua".
• Risultato: L'auto non solo rallenta, ma dice anche al suo sistema di visione: "Ehi, guarda meglio quel pedone, è più importante di prima". È come se l'auto avesse un copilota esperto che le sussurra: "Ricordati di guardare lì, c'è una regola importante!".

2. Il Libro delle Regole Vivente (La Conoscenza)

Molti sistemi cercano di imparare tutto dai dati. KnowVal ha un manuale di istruzioni costruito con cura.
Non è un semplice file di testo, ma una mappa interconnessa che include:

• Le leggi (cosa è obbligatorio fare).
• La morale (cosa è gentile fare, come non sprecare l'acqua addosso ai pedoni).
• I consigli di sicurezza (cosa fare se la strada è ghiacciata).

Quando l'auto vede una situazione, non cerca di "indovinare" la risposta, ma cerca la regola giusta nel suo manuale, proprio come un avvocato che consulta il codice civile prima di prendere una decisione.

3. La Coscienza (Il Modello di Valore)

Qui sta la vera innovazione. Immagina che l'auto generi tre possibili percorsi per evitare un ostacolo:

1. Svolta bruscamente (rischioso).
2. Frena di colpo (scomodo per i passeggeri).
3. Rallenta dolcemente e cambia corsia (sicuro e gentile).

I sistemi vecchi scelgono il percorso che sembra più simile a quello di un umano.
KnowVal usa un "Giudice Interiore" (il Value Model). Questo giudice guarda i tre percorsi e dice:

• "Il percorso 1 viola la regola di sicurezza".
• "Il percorso 2 è legale ma maleducato".
• "Il percorso 3 rispetta la legge, è sicuro ed è gentile con gli altri".

Il sistema sceglie il percorso 3 non perché è stato addestrato a farlo, ma perché ha capito che è la scelta "giusta".

Perché è un gioco da ragazzi? (I Risultati)

I ricercatori hanno messo alla prova KnowVal su circuiti virtuali e dati reali:

• Sicurezza: È l'auto che sbaglia meno (ha il tasso di collisioni più basso).
• Intelligenza: Riesce a gestire situazioni strane (come un'auto ferma in un tunnel o un pedone che attraversa di corsa) molto meglio delle altre, perché sa perché deve agire in quel modo.
• Compatibilità: Funziona come un "tappeto magico" che puoi stendere sopra le auto esistenti per renderle più intelligenti senza doverle ricostruire da zero.

In Sintesi

Se le auto a guida autonoma di oggi sono come bambini che imitano i genitori, KnowVal è come un adulto responsabile che ha letto il codice della strada, sa cosa è giusto e sbagliato, e usa il buon senso per prendere decisioni sicure anche quando la situazione è nuova e confusa. Non si limita a "guardare e fare", ma "guarda, pensa, consulta le regole e agisce con coscienza".

Sommario tecnico

1. Il Problema

I sistemi di guida autonoma attuali, basati principalmente su paradigmi end-to-end o modelli Vision-Language-Action (VLA), affrontano tre sfide fondamentali che limitano la loro sicurezza, affidabilità e spiegabilità in ambienti aperti e dinamici:

• Mancanza di ragionamento visivo-linguistico reale: I modelli esistenti spesso mancano di capacità di ragionamento basate sul linguaggio o confinato a processi puramente testuali che non influenzano la percezione. Non esiste un'interazione reciproca dove la percezione guidi la ricerca di informazioni e viceversa.
• Assenza di una base di conoscenza strutturata e interpretabile: L'apprendimento puramente guidato dai dati (imitazione) fatica a catturare la logica complessa dietro le decisioni di guida. Le regole manuali o i reward del reinforcement learning sono spesso troppo rigidi e non generalizzano bene in scenari complessi. Manca un accesso sistematico a leggi stradali, principi di guida difensiva e norme etiche.
• Carenza di allineamento ai valori umani: Anche se un sistema possiede un "modello del mondo" (capacità di prevedere stati futuri), manca spesso un meccanismo dedicato per valutare se tali futuri sono desiderabili o eticamente corretti. Le valutazioni attuali si basano su regole fisse o apprendimento dati, limitando l'interpretabilità e l'allineamento ai valori sociali.

2. Metodologia: KnowVal

KnowVal è un nuovo sistema di guida autonoma che integra percezione, recupero della conoscenza e valutazione dei valori in un'unica architettura. Il sistema si basa su tre componenti principali che operano in sinergia:

A. Percezione in Mondo Aperto Guidata dal Recupero (Retrieval-guided Open-world Perception)

Il sistema non si limita a riconoscere oggetti standard, ma possiede tre capacità avanzate:

1. Percezione Specializzata: Riconoscimento di categorie semantiche comuni (veicoli, pedoni).
2. Percezione 3D a Campo Aperto: Identificazione di oggetti "long-tail" o insoliti (es. camion dei pompieri, pozze d'acqua) senza prompt espliciti, utilizzando modelli come VL-SAMv2.
3. Comprensione di Concetti Astratti: Riconoscimento di attributi contestuali (es. "è notte", "siamo su un ponte", "meteo piovoso").
   Meccanismo di feedback: Se il modulo di recupero identifica informazioni mancanti, genera un prompt per affinare la percezione nel timestep successivo.

B. Recupero Guidato dalla Percezione dal Grafico della Conoscenza

Invece di affidarsi solo ai dati di addestramento, KnowVal interroga una base di conoscenza esterna:

• Costruzione del Grafico della Conoscenza: Viene creato un grafo strutturato che integra leggi stradali, principi di guida difensiva, norme morali ed esperienze di guida (estratte da video e interviste). Il grafo preserva il testo originale delle clausole per evitare allucinazioni.
• Processo di Recupero: Un "Perception Verbalizer" converte l'output della percezione (istanze 3D, mappe semantiche, concetti astratti) in query testuali. Un LLM estrae entità e recupera le voci più rilevanti dal grafo.
• Fiducia nei Dati: Il sistema filtra solo le voci contrassegnate come "native" (testo originale non riassunto), garantendo accuratezza fattuale.

C. Pianificazione con Modello del Mondo e Modello dei Valori

Il modulo di pianificazione genera diverse traiettorie candidate e le valuta:

1. Modello del Mondo (World Model): Prevede gli stati futuri del mondo per ciascuna traiettoria candidata.
2. Modello dei Valori (Value Model): Valuta la desiderabilità di ogni traiettoria in base alle voci di conoscenza recuperate. Utilizza un dataset di preferenze umane per addestrare un modello che assegna un punteggio (da -1 a 1) a ogni traiettoria rispetto a una specifica regola.
3. Decisione Finale: Le traiettorie vengono classificate in base a un punteggio ponderato che combina la conformità alle regole recuperate e la sicurezza prevista, selezionando la traiettoria con il punteggio più alto.

3. Contributi Chiave

1. Nuovo Sistema KnowVal: Un'architettura che abilita il ragionamento visivo-linguistico attraverso l'interazione sinergica tra percezione e recupero della conoscenza.
2. Grafico della Conoscenza Completo: La costruzione di un grafo della conoscenza che copre leggi, principi difensivi ed etica, con un meccanismo di recupero efficiente basato su LLM.
3. Modello dei Valori Allineato: Un approccio innovativo che integra un modello del mondo e un modello dei valori per decisioni interpretabili e allineate alle preferenze umane, supportato da un nuovo dataset di preferenze.
4. Compatibilità e Performance: Il sistema è progettato per essere compatibile con architetture esistenti (come UniAD, DiffusionDrive, ecc.), migliorandole senza richiedere una riprogettazione completa.

4. Risultati Sperimentali

Il sistema è stato valutato su benchmark reali e simulati:

• nuScenes (Open-loop): KnowVal ottiene il tasso di collisione più basso tra tutti i metodi esistenti, dimostrando una superiorità nella sicurezza. Sebbene l'errore L2 (distanza dalla traiettoria umana) sia leggermente superiore, ciò indica che il sistema sceglie strategie più sicure o efficienti che differiscono dalla guida umana media.
• Bench2Drive (Closed-loop): Raggiunge risultati State-of-the-Art (SOTA), migliorando il Driving Score di 3.35 punti e il Success Rate di 1.76% rispetto al metodo VLA di riferimento (SimLingo).
• NVISIM: Mostra performance SOTA integrandosi con modelli avanzati come DiffusionDrive e iPad, confermando la sua flessibilità.
• Analisi Qualitativa: Il sistema dimostra una capacità superiore di interpretare e agire su considerazioni etiche (es. rallentare per non schizzare i pedoni nelle pozzanghere) e legali (es. non sorpassare in galleria), scenari spesso ignorati dai metodi basati solo su dati.

5. Significato e Impatto

KnowVal rappresenta un passo significativo verso la guida autonoma di livello superiore (L4/L5) affrontando il "problema della scatola nera".

• Interpretabilità: Fornisce una giustificazione logica per ogni decisione basata su leggi e principi specifici recuperati, rendendo il sistema più trasparente.
• Sicurezza e Etica: Sposta il focus dalla semplice imitazione della guida umana all'aderenza a norme di sicurezza e valori etici, riducendo i rischi in scenari imprevisti o "long-tail".
• Generalizzazione: L'uso di una conoscenza esterna strutturata permette al sistema di adattarsi a nuovi scenari senza bisogno di enormi quantità di nuovi dati di addestramento, superando i limiti dell'apprendimento puramente basato su dati.

In sintesi, KnowVal dimostra che integrare la conoscenza del mondo reale e i valori umani nei sistemi di guida autonoma non è solo teoricamente desiderabile, ma porta a miglioramenti tangibili e misurabili in termini di sicurezza e prestazioni.