Beyond Fixed Thresholds and Domain-Specific Benchmarks for Explainable Multi-Task Classification in Autonomous Vehicles

Questo articolo propone una metodologia di selezione adattiva delle soglie per superare i limiti delle soglie fisse nella percezione della guida autonoma multi-task e introduce il dataset IUST-XAI-AD per abilitare l'interpretabilità interculturale e una valutazione più robusta dei sistemi di veicoli autonomi.

L'essenziale

Immagina di insegnare a un robot a guidare un'auto. Vuoi che il robot non sappia solo cosa fare (come "fermarsi" o "girare a sinistra"), ma anche spiegare perché lo sta facendo (come "perché c'è un pedone" o "perché il semaforo è rosso"). Questo è l'obiettivo della Intelligenza Artificiale Spiegabile nelle auto a guida autonoma.

Tuttavia, gli autori di questo articolo hanno individuato due grandi problemi:

1. La regola "taglia unica": La maggior parte dei robot è programmata con una regola rigida: "Se sei più del 50% sicuro, prendi una decisione". Gli autori definiscono questo un "soglia fissa". Sostengono che è come dire a un essere umano: "Se sei sicuro al 50% che sta piovendo, prendi un ombrello". Questo non funziona bene! A volte hai bisogno di essere sicuro al 90% prima di agire (come fermarsi per un bambino), e a volte il 50% va bene. L'articolo dimostra che usare una singola regola del 50% per ogni situazione fa sì che il robot commetta più errori.
2. Il "bias occidentale" nell'addestramento: La maggior parte dei robot viene addestrata su dati provenienti da luoghi come la California o la Germania. Ma guidare a Teheran, in Iran, è molto diverso. Ci sono più motociclette, abitudini di guida diverse e layout stradali differenti. Se addestri un robot solo su strade occidentali, potrebbe confondersi quando vede una strada caotica del Medio Oriente.

Ecco come gli autori hanno risolto questi problemi, spiegato in modo semplice:

1. Sintonizzare il "quadrante della fiducia" (La soglia)

Immagina il cervello del robot come avente un quadrante del volume per ogni decisione.

• Il vecchio metodo: Tutti impostavano il quadrante esattamente su "5" (50% di fiducia) e non lo toccavano più.
• Il nuovo metodo: Gli autori hanno testato il quadrante su ogni impostazione da 1 a 10. Hanno scoperto che per alcuni compiti (come decidere di "fermarsi"), il robot funziona meglio quando il quadrante è impostato su "3" (30% di fiducia). Per altri compiti (come spiegare perché si è fermato), "4" (40%) è meglio.

L'analogia: Immagina di essere una guardia di sicurezza che controlla i documenti d'identità.

• Se sei troppo severo (soglia alta), non fai entrare nessuno, anche se sono amichevoli (perdi buone opportunità).
• Se sei troppo permissivo (soglia bassa), fai entrare tutti, inclusi i soggetti pericolosi (commetti errori pericolosi).
• Gli autori hanno scoperto che per diversi tipi di "soggetti pericolosi" (diversi compiti di guida), serve un diverso livello di severità. Regolando il "quadrante della severità" per ogni lavoro specifico, il robot è diventato molto più intelligente e sicuro.

2. La nuova "Scuola di guida del Medio Oriente" (Il dataset)

Gli autori hanno realizzato che i dataset di guida esistenti erano come una scuola di guida che insegnava solo a guidare su autostrade vuote e dritte in Europa. Non insegnavano come gestire una strada di mercato affollata e caotica in Iran.

• La soluzione: Hanno creato un nuovo dataset chiamato IUST-XAI-AD.
• Cosa contiene: 958 foto reali scattate a Qom, in Iran.
• Perché è speciale: È come un livello "modalità difficile" in un videogioco. Ha molte più motociclette, più pedoni e schemi di traffico più complessi rispetto ai dataset standard.
• Il risultato: Quando hanno testato il loro robot su questa nuova "modalità difficile", ha faticato più che sulle facili strade europee. Questo dimostra che il nuovo dataset è un test migliore e più duro per vedere se un robot è davvero pronto per il mondo reale.

3. Il "Perché" conta tanto quanto il "Cosa"

Il robot deve fare due cose contemporaneamente:

1. Azione: "Ferma l'auto".
2. Motivo: "Perché una persona sta attraversando".

Gli autori hanno scoperto che il robot è in realtà migliore nel prevedere l'azione (Ferma/Vai) rispetto al prevedere il motivo (Perché?). È come uno studente che riesce a rispondere facilmente alle domande "Vero/Falso" ma fatica a scrivere il saggio che spiega perché la risposta è vera. Usando i loro nuovi "quadranti sintonizzati" (soglie), hanno aiutato il robot a migliorare sia nell'azione che nella spiegazione.

La conclusione

L'articolo afferma:

• Smetti di usare la stessa regola del 50% per tutto. Regola i tuoi livelli di fiducia in base al compito specifico.
• Non testare i robot solo su strade occidentali. Devi testarli su strade diverse e caotiche (come quelle del Medio Oriente) per vedere se sono davvero sicuri.
• La spiegabilità è fondamentale. Un'auto a guida autonoma non è solo una macchina; deve essere in grado di dirti perché ha preso una decisione affinché gli esseri umani possano fidarsi di essa.

Riparando i "quadranti" e testando su "strade più difficili", gli autori hanno costruito una base migliore per le auto a guida autonoma che possono essere fidate ovunque nel mondo, non solo in luoghi che assomigliano alla California.

Sommario tecnico

Sintesi Tecnica: Oltre le Soglie Fisse e i Benchmark Specifici di Dominio per la Classificazione Multi-Compito Spiegabile nei Veicoli Autonomi

Enunciato del Problema
I sistemi di guida autonoma si basano su modelli di deep learning che sono spesso "scatole nere", privi della trasparenza necessaria per un dispiegamento critico per la sicurezza e la fiducia umana. Sebbene siano emersi framework di apprendimento multi-compito per prevedere simultaneamente le azioni di guida e il loro ragionamento sottostante (Intelligenza Artificiale Spiegabile o XAI), gli approcci attuali affrontano due limitazioni principali. In primo luogo, fanno prevalentemente affidamento su soglie di confidenza fisse (tipicamente 0,5) per convertire le output continue del modello in previsioni discrete. Questo approccio "taglia unica" ignora la complessità variabile e gli squilibri di classe intrinseci nei diversi compiti di previsione, potenzialmente portando a prestazioni subottimali o rischi per la sicurezza. In secondo luogo, i benchmark di valutazione esistenti, come Berkeley Deep Drive (BDD-OIA) e nuScenes Action and Reasons (nu-AR), sono fortemente distorti verso contesti di guida occidentali. Questa mancanza di diversità culturale limita la valutazione della generalizzabilità del modello attraverso diversi modelli di traffico, infrastrutture stradali e comportamenti di guida presenti a livello globale, in particolare nelle regioni del Medio Oriente.

Metodologia
Gli autori propongono un avanzamento metodologico a due facce per colmare queste lacune:

1. Analisi di Sensibilità della Soglia di Confidenza:
   Invece di utilizzare una soglia statica, gli autori introducono un framework sistematico per ottimizzare i confini decisionali per la classificazione multi-compito. Definiscono soglie di confidenza separate ($\tau_A$ per l'azione e $\tau_R$ per la ragione) ed eseguono una ricerca a griglia nell'intervallo [0, 1] con un passo di 0,1. Il framework valuta quattro metriche distinte: F1-azione-generale, F1-azione-media, F1-ragione-generale e F1-ragione-media. Ciò consente l'identificazione di coppie di soglie ottimali che massimizzano le prestazioni per compiti specifici, riconoscendo che le previsioni di azione e ragione possono richiedere diversi livelli di confidenza.

2. Costruzione del Dataset IUST-XAI-AD:
   Per affrontare la mancanza di benchmark culturalmente diversificati, gli autori introducono il dataset IUST-XAI-AD. Raccolto a Qom, in Iran, questo dataset comprende 958 immagini da dash-cam catturate in varie condizioni di illuminazione. Ogni immagine è annotata manualmente da esperti con:

   • Etichette di Azione: 4 categorie (Procedere in avanti, Fermarsi/rallentare, Girare a sinistra, Girare a destra).
   • Etichette di Ragione: 21 categorie che spiegano la decisione di guida (es. "Ostacolo: persona", "Semaforo verde").
     Il dataset è analizzato per la complessità utilizzando un punteggio ponderato ($C$) che tiene conto della densità di pedoni, motociclisti e veicoli, assegnando pesi più elevati agli utenti vulnerabili della strada (pedoni e motociclisti) per riflettere il loro profilo di rischio più elevato.

Contributi Chiave
Il paper presenta tre contributi interconnessi:

• Ottimizzazione Sistematica delle Soglie: Una dimostrazione che le soglie fisse sono subottimali per scenari multi-compito. Gli autori forniscono una metodologia per identificare soglie ottimali specifiche per il compito, rivelando che i picchi di prestazioni variano significativamente tra i compiti di azione e ragione.
• Nuovo Benchmark (IUST-XAI-AD): L'introduzione di un dataset progettato specificamente per la visione artificiale spiegabile nei contesti di guida persiani. Questo dataset affronta il pregiudizio culturale e regionale nei benchmark esistenti, offrendo un ambiente più sfidante con una maggiore densità di oggetti e modelli di traffico distinti.
• Validazione Completa Cross-Contesto: Una valutazione estesa di un modello multi-compito basato sull'attenzione precedentemente proposto su tre dataset (BDD-OIA, nu-AR e IUST-XAI-AD). Ciò include un'analisi comparativa delle prestazioni del modello, delle metriche di complessità e degli embedding delle caratteristiche per valutare la robustezza attraverso diversi ambienti culturali.

Risultati Sperimentali

• Sensibilità della Soglia: L'analisi sul dataset BDD-OIA rivela che la soglia convenzionale di 0,5 non è ottimale. Il punteggio F1-azione-generale massimo si verifica a una soglia di 0,3 (71,85%), mentre il punteggio F1-ragione-generale massimo si verifica a 0,4 (54,77%). Lo studio identifica una "regione operativa robusta" tra 0,3 e 0,5 in cui tutte le metriche rimangono entro l'1% dei loro valori massimi, suggerendo che, sebbene la sintonizzazione sia benefica, un intervallo di soglie può produrre risultati quasi ottimali.
• Complessità del Dataset: Il dataset IUST-XAI-AD presenta una complessità significativamente più alta (punteggio di 2,0038) rispetto a BDD-OIA (0,8062) e nu-AR (0,5752). Ciò è guidato da una maggiore densità di veicoli (1,66 per immagine contro 0,70 in BDD-OIA) e da una densità drasticamente più alta di motociclisti (0,164 per immagine, che è 19–24 volte superiore rispetto ai dataset occidentali), riflettendo le condizioni di traffico misto comuni nelle città del Medio Oriente.
• Prestazioni del Modello: Quando testato su IUST-XAI-AD, il modello basato sull'attenzione degli autori ha superato la baseline NLE-DM in 9 metriche su 12. Tuttavia, le metriche di prestazione complessive (punteggi F1) sono diminuite significativamente su IUST-XAI-AD rispetto a BDD-OIA, indicando che le differenze culturali e ambientali presentano sfide fondamentalmente nuove che i modelli attuali faticano a generalizzare senza un adattamento specifico.
• Analisi delle Caratteristiche: Le visualizzazioni t-SNE delle caratteristiche apprese mostrano che il modello raggruppa con successo i dati per classi di azione e contesto ambientale (ad esempio, separando le infrastrutture di traffico dagli ostacoli dinamici), sebbene rimanga una certa sovrapposizione.

Significato e Affermazioni
Il paper afferma che il suo lavoro avanza lo stato dell'arte nell'apprendimento multi-compito spiegabile per la guida autonoma fornendo sia strumenti metodologici che risorse di valutazione pratiche.

• Metodologico: Sfida la pratica standard della sogliatura fissa, sostenendo che la selezione della soglia dovrebbe essere una scelta di progettazione basata su priorità operative specifiche (ad esempio, bilanciare precisione e richiamo) piuttosto che un problema di ottimizzazione fisso.
• Pratico: Il dataset IUST-XAI-AD funge da strumento critico per valutare la generalizzazione cross-culturale dei sistemi autonomi, evidenziando lacune sistemiche nella robustezza del modello che le valutazioni a dominio singolo non colgono.
• Impatto più Ampio: Gli autori affermano che i loro contributi combinati accelerano lo sviluppo di sistemi di guida autonoma più affidabili, spiegabili e adattabili culturalmente, adatti per un dispiegamento globale. Sottolineano che una validazione completa attraverso contesti diversificati è essenziale per valutare la vera sicurezza e robustezza di questi sistemi.

Il paper conclude notando che, sebbene il lavoro attuale stabilisca una baseline per la diversità culturale e l'ottimizzazione delle soglie, la ricerca futura dovrebbe investigare il fine-tuning e la sensibilità delle soglie specificamente per le condizioni meteorologiche avverse ed espandere ulteriormente la valutazione a una gamma più ampia di dataset geograficamente diversificati.