Visual vehicle condition screening for ride-hailing: a grouped evaluation of DriveAI

Jeden Tag verlassen sich Millionen von Menschen auf Ride-Hailing-Apps, um von einem Ort zum anderen zu gelangen. Bevor ein Auto Fahrgäste befördern darf, muss es eine Sicherheitsprüfung bestehen. Normalerweise beinhaltet dies einen Menschen, der sich Fotos des Fahrzeugs ansieht, um Dellen, Kratzer oder fehlende Teile zu entdecken. Aber das Aufnehmen dieser Fotos ist eine unordentliche Angelegenheit. Ein Fahrer macht vielleicht ein Foto mit einem Telefon im hellen Sonnenlicht, im tiefen Schatten oder aus einem Winkel, der eine beschädigte Stoßstange abschneidet. Die Bilder variieren stark in ihrer Qualität, was es für einen menschlichen Inspektor schwierig macht zu wissen, ob ein Auto wirklich sicher ist oder ob das Foto einfach nur schlecht aussieht. Um dies zu lösen, entwickeln Forscher Computersysteme, die in der Lage sind, diese unordentlichen Fotos zu betrachten und zu entscheiden, ob ein Fahrzeug in gutem Zustand ist oder ob es eine genauere Untersuchung benötigt. Dieses Feld, bekannt als visuelle Zustandsbewertung (visual condition assessment), versucht, Maschinen beizubringen, das zu sehen, was ein menschlicher Inspektor sieht, selbst wenn die Beleuchtung schlecht oder der Winkel seltsam ist.

In einer kürzlich durchgeführten Studie hat ein Forscher namens Akadil Alish von der Astana IT University ein spezielles Softwaretool namens DriveAI auf die Probe gestellt. Dieses Tool wurde entwickelt, um als erster Filter für Ride-Hailing-Unternehmen zu fungieren. Seine Aufgabe ist es, ein eingereichtes Foto zu scannen und zu entscheiden: Ist dieses Auto intakt oder ist es beschädigt? Das System arbeitet in zwei Teilen. Zuerst nutzt es ein leistungsstarkes, vortrainiertes „Computergehirn“, das bereits gelernt hat, Objekte und Szenen aus Millionen von Bildern zu erkennen. Dieser Teil des Systems lernt nicht aus den Autofotos selbst; er wandelt jedes Bild einfach in eine mathematische Zusammenfassung seiner visuellen Merkmale um. Dann sitzt eine einfache, maßgeschneiderte Schicht über dieser Zusammenfassung, um die endgültige Entscheidung zu treffen. Wenn das System ein Problem erkennt, kann es auch eine grobe Umrandung auf das Foto zeichnen, um zu zeigen, wo sich der Schmutz oder der Schaden befinden könnte, obwohl dieser zweite Teil nicht der Schwerpunkt des Tests war.

Die Studie begann mit einer Herausforderung: Die Daten, die die Forscher hatten, waren etwas unordentlich. Sie fanden über 4.000 Fotos in einem digitalen Speichersystem, aber einige fehlten, einige waren Duplikate und einige waren nur unterschiedliche Ansichten desselben Autos. Um einen fairen Test zu gewährleisten, bereinigte das Team die Sammlung. Sie entfernten 24 Duplikatsbilder und gruppierten Fotos zusammen, die visuell ähnlich aussahen, um sicherzustellen, dass der Computer mit einzigartigen Bildern getestet wurde, anstatt dass er dasselbe Auto zweimal in verschiedenen Ordnern sah. Sie endeten mit einem Satz von 871 Fotos für einen finalen Test, die sie der Computer zuvor noch nie gezeigt hatten. Das Ziel war es zu sehen, ob das System beschädigte Fahrzeuge korrekt identifizieren konnte, ohne durch schlechtes Licht oder seltsame Winkel getäuscht zu werden.

Die Ergebnisse waren überraschend stark. Als der Computer die 871 Testfotos betrachtete, identifizierte er korrekt, ob ein Auto beschädigt oder intakt war, mit einem AUC von 0,95. Noch wichtiger war, dass das System, wenn ein Auto tatsächlich einen Schaden hatte, diesen mit einem AUC von 0,975 entdeckte. Diese hohe Erfolgsrate deutet darauf hin, dass die Methode, ein vortrainiertes visuelles Gehirn mit einer einfachen Entscheidungsschicht zu kombinieren, für diese spezifische Aufgabe sehr gut funktioniert. Die Forscher testeten auch einen anderen Ansatz, bei dem der Computer versuchte, den Zustand nur durch das Lesen einer Textbeschreibung dessen, wonach er suchte, zu erraten, ohne zusätzliches Training an den Autofotos. Diese Methode scheiterte und performte nicht besser als ein zufälliges Raten. Dies beweist, dass das System speziell auf die Autofotos abgestimmt werden musste, um zu funktionieren, anstatt sich nur auf allgemeines Wissen zu verlassen.

Die Studie hob jedoch auch hervor, was das System noch nicht kann. Während der Computer exzellent darin war zu sagen: „dieses Auto ist beschädigt“ oder „dieses Auto ist in Ordnung“, konnte er nicht vollständig darauf getestet werden, genau aufzuzeigen, wo der Schaden lag. Die Fotos in der Studie hatten keine detaillierten Karten, die jeden Kratzer oder jede Delle markierten, sodass die Forscher nicht messen konnten, wie genau die gezeichneten Umrandungen waren. Sie stellten fest, dass das System manchmal eine Linie um eine schmutzige Windschutzscheibe zog, während das eigentliche Problem eine fehlende Stoßstange war, oder es konzentrierte sich auf einen Scheinwerfer, während die gesamte Frontpartie zertrümmert war. Diese Fehler zeigen, dass das System zwar gut darin ist zu erkennen, dass etwas nicht stimmt, aber immer noch mehr Training benötigt, um genau zu verstehen, was falsch ist und wo.

Die Forscher stellten sorgfältig fest, dass dieser Test an einer Sammlung von Fotos durchgeführt wurde, die in früheren Phasen des Projekts verwendet worden waren. Da die Fotos keine eindeutigen IDs hatten, um zu verfolgen, von welchem Auto sie stammten, ist es möglich, dass der Computer zuvor schon ähnliche Ansichten desselben Autos gesehen hatte. Das bedeutet, dass die hohen Werte etwas optimistisch sein könnten, wenn das System mit einer völlig neuen Flotte von Autos getestet würde, die es noch nie gesehen hat. Trotz dieser Einschränkung bietet die Studie einen klaren Weg nach vorne. Sie zeigt, dass die automatisierte Überprüfung mit hoher Genauigkeit mit der unordentlichen Realität von per Telefon aufgenommenen Autofotos umgehen kann, aber sie zeigt auch, dass das System für die wahre Zuverlässigkeit in der realen Welt bessere Daten benötigt: Fotos mit klaren Markierungen, wo der Schaden liegt, und eine strikte Trennung zwischen den Autos, die für das Training verwendet wurden, und den Autos, die für das Testen verwendet wurden. Bis dahin dient das System als ein leistungsstarker Assistent, der die wahrscheinlichsten Probleme für menschliche Inspektoren zur Doppelprüfung markiert.