Visual vehicle condition screening for ride-hailing: a grouped evaluation of DriveAI

Ogni giorno, milioni di persone si affidano alle app di ride-hailing per spostarsi da un posto all'altro. Prima che un'auto possa essere autorizzata a trasportare passeggeri, deve superare un controllo di sicurezza. Di solito, questo comporta un essere umano che osserva le foto del veicolo per individuare ammaccature, graffi o parti mancanti. Ma scattare queste foto è un lavoro complicato. Un conducente potrebbe scattare una foto con un telefono sotto la luce intensa del sole, oppure in una zona d'ombra profonda, o da un'angolazione che taglia un paraurti danneggiato. Le immagini variano enormemente in qualità, rendendo difficile per un ispettore umano capire se un'auto sia davvero sicura o se la foto sia solo venuta male. Per risolvere questo problema, i ricercatori stanno costruendo sistemi informatici in grado di guardare queste foto disordinate e decidere se un veicolo è in buone condizioni o se necessita di un esame più approfondito. Questo campo, noto come valutazione visiva delle condizioni (visual condition assessment), cerca di insegnare alle macchine a vedere ciò che vede un ispettore umano, anche quando l'illuminazione è scarsa o l'angolazione è insolita.

In uno studio recente, un ricercatore di nome Akadil Alish della Astana IT University ha messo alla prova uno strumento software specifico chiamato DriveAI. Questo strumento è stato progettato per agire come un primo filtro per le aziende di ride-hailing. Il suo compito è scansionare una foto inviata e decidere: questa auto è integra o è danneggiata? Il sistema funziona in due parti. In primo luogo, utilizza un potente "cervello informatico" pre-addestrato che ha già imparato a riconoscere oggetti e scene da milioni di immagini. Questa parte del sistema non impara dalle foto delle auto; si limita a trasformare ogni immagine in un riassunto matematico delle sue caratteristiche visive. Successivamente, un livello semplice e personalizzato si posiziona sopra questo riassunto per prendere la decisione finale. Se il sistema rileva un problema, può anche tracciare un contorno approssimativo sulla foto per mostrare dove potrebbe trovarsi lo sporco o il danno, sebbene questa seconda parte non fosse l'obiettivo principale del test.

Lo studio è iniziato con una sfida: i dati a disposizione dei ricercatori erano un po' disordinati. Hanno trovato oltre 4.000 foto in un sistema di archiviazione digitale, ma alcune erano mancanti, altre erano duplicati e alcune erano solo viste diverse della stessa auto. Per rendere il test equo, il team ha ripulito la collezione. Hanno rimosso 24 immagini duplicate e hanno raggruppato le foto che apparivano visivamente simili, assicurandosi che il computer venisse testato su immagini uniche piuttosto che vedere la stessa auto due volte in cartelle diverse. Sono finiti con un set di 871 foto da utilizzare come test finale, che non erano mai state mostrate al computer prima d'ora. L'obiettivo era vedere se il sistema potesse identificare correttamente i veicoli danneggiati senza farsi ingannare dalla cattiva illuminazione o da angolazioni strane.

I risultati sono stati sorprendentemente solidi. Quando il computer ha esaminato le 871 foto di test, ha identificato correttamente se un'auto era danneggiata o integra con un AUC di 0,95. Ancora più importante, quando un'auto presentava effettivamente un danno, il sistema lo ha individuato con un AUC di 0,975. Questo alto tasso di successo suggerisce che il metodo di utilizzare un cervello visivo pre-addestrato combinato con un semplice livello decisionale funzioni molto bene per questo compito specifico. I ricercatori hanno anche testato un approccio diverso in cui il computer cercava di indovinare la condizione semplicemente leggendo una descrizione testuale di ciò che stava guardando, senza alcun addestramento extra sulle foto delle auto. Quel metodo è fallito, non performando meglio di un caso casuale. Ciò dimostra che il sistema aveva bisogno di essere specificamente tarato sulle foto delle auto per funzionare, piuttosto che affidarsi solo a una conoscenza generale.

Tuttavia, lo studio ha anche evidenziato ciò che il sistema non è ancora in grado di fare. Sebbene il computer fosse eccellente nel dire "questa auto è danneggiata" o "questa auto è a posto", non poteva essere testato appieno nella sua capacità di indicare esattamente dove si trovasse il danno. Le foto dello studio non avevano mappe dettagliate che segnavano ogni graffio o ammaccatura, quindi i ricercatori non potevano misurare quanto fossero accurati i contorni tracciati. Hanno riscontrato che il sistema a volte disegnava una linea attorno a un parabrezza sporco quando il problema reale era un paraurti mancante, o si concentrava su un faro quando tutta la parte anteriore era accartocciata. Questi errori mostrano che, sebbene il sistema sia bravo a notare che qualcosa non va, ha ancora bisogno di ulteriore addestramento per capire esattamente cosa non va e dove.

I ricercatori hanno sottolineato con cura che questo test è stato eseguito su una collezione di foto che erano state utilizzate nelle fasi precedenti dello sviluppo del progetto. Poiché le foto non avevano ID univoci per tracciare la provenienza di ogni auto, è possibile che il computer avesse già visto viste simili delle stesse auto. Ciò significa che i punteggi elevati potrebbero essere leggermente ottimistici se il sistema venisse testato su una flotta completamente nuova che non ha mai visto prima. Nonostante questa limitazione, lo studio fornisce una chiara strada da seguire. Dimostra che lo screening automatizzato può gestire la realtà disordinata delle foto delle auto scattate con il cellulare con un'alta precisione, ma mostra anche che, affinché il sistema sia veramente affidabile nel mondo reale, necessita di dati migliori: foto con segni chiari di dove si trova il danno e una separazione rigorosa tra le auto utilizzate per l'addestramento e quelle utilizzate per il test. Fino ad allora, il sistema funge da potente assistente, segnalando i problemi più probabili affinché gli ispettori umani possano effettuarne una doppia verifica.