Visual vehicle condition screening for ride-hailing: a grouped evaluation of DriveAI

Elke dag vertrouwen miljoenen mensen op ride-hailing apps om zich van de ene naar de andere plek te verplaatsen. Voordat een auto passagiers mag vervoeren, moet deze een veiligheidscontrole ondergaan. Meestal houdt dit in dat een mens naar foto's van het voertuig kijkt om deuken, krassen of ontbrekende onderdelen te spotten. Maar het maken van deze foto's is een rommelige aangelegenheid. Een chauffeur kan een foto maken met een telefoon in fel zonlicht, of in diepe schaduw, of vanuit een hoek waardoor een beschadigde bumper wordt afgesneden. De afbeeldingen variëren enorm in kwaliteit, wat het voor een menselijke inspecteur moeilijk maakt om te weten of een auto echt veilig is of dat de foto er gewoon slecht uitziet. Om dit op te lossen, bouwen onderzoekers computersystemen die naar deze rommelige foto's kunnen kijken en kunnen beslissen of een voertuig in goede staat verkeert of dat het een nadere blik nodig heeft. Dit vakgebied, bekend als visuele conditiebeoordeling, probeert machines te leren zien wat een menselijke inspecteur ziet, zelfs wanneer de verlichting slecht is of de hoek vreemd is.

In een recente studie heeft een onderzoeker genaamd Akadil Alish van de Astana IT University een specifieke softwaretool genaamd DriveAI op de proef gesteld. Deze tool was ontworpen om te fungeren als een eerste filter voor ride-hailing bedrijven. Het is de taak van de tool om een ingediende foto te scannen en te beslissen: is dit auto intact, of is hij beschadigd? Het systeem werkt in twee delen. Eerst gebruikt het een krachtig, vooraf getraind computerbrein dat al heeft geleerd objecten en scènes te herkennen van miljoenen afbeeldingen. Dit deel van het systeem leert niet van de auto-foto's zelf; het zet elke afbeelding simpelweg om in een wiskundige samenvatting van de visuele kenmerken. Vervolgens zit er een eenvoudige, op maat gemaakte laag bovenop deze samenvatting om de uiteindelijke beslissing te nemen. Als het systeem een probleem ziet, kan het ook een ruwe omtrek op de foto tekenen om aan te geven waar het vuil of de schade zich mogelijk bevindt, hoewel dit tweede deel niet de focus van de test was.

De studie begon met een uitdaging: de data die de onderzoekers hadden, was een beetje een rommeltje. Ze vonden meer dan 4.000 foto's in een digitaal opslagsysteem, maar sommige ontbraken, sommige waren duplicaten, en sommige waren slechts verschillende aanzichten van dezelfde auto. Om een eerlijke test uit te voeren, heeft het team de collectie opgeschoond. Ze verwijderden 24 dubbele afbeeldingen en groepeerden foto's die visueel op elkaar leken, waardoor ze ervoor zorgden dat de computer werd getest op unieke foto's in plaats van twee keer dezelfde auto in verschillende mappen te zien. Ze hielden een set van 871 foto's over om als definitieve test te gebruiken, die ze nog nooit eerder aan de computer hadden getoond. Het doel was om te zien of het systeem beschadigde voertuigen correct kon identificeren zonder in de war te worden gebracht door slechte verlichting of vreemde hoeken.

De resultaten waren verrassend sterk. Toen de computer naar de 871 testfoto's keek, identificeerde hij correct of een auto beschadigd of intact was met een AUC van 0,95. Belangrijker nog, wanneer een auto daadwerkelijk schade had, ving het systeem dit op met een AUC van 0,975. Dit hoge succespercentage suggereert dat de methode van het gebruik van een vooraf getraind visueel brein gecombineerd met een eenvoudige beslissingslaag zeer goed werkt voor deze specifieke taak. De onderzoekers testten ook een andere aanpak waarbij de computer probeerde de conditie te raden door alleen een tekstuele beschrijving te lezen van waar hij naar keek, zonder extra training op de auto-foto's. Die methode faalde en presteerde niet beter dan willekeurig gokken. Dit bewijst dat het systeem specifiek afgestemd moest zijn op de auto-foto's om te werken, in plaats van alleen te vertrouwen op algemene kennis.

De studie benadrukte echter ook wat het systeem nog niet kan. Hoewel de computer uitstekend was in het zeggen van "deze auto is beschadigd" of "deze auto is in orde", kon hij niet volledig worden getest op zijn vermogen om precies aan te geven waar de schade zat. De foto's in de studie bevatten geen gedetailleerde kaarten die elk krasje of deukje markeerden, waardoor de onderzoekers niet konden meten hoe nauwkeurig de getekende omtrekken waren. Ze ontdekten dat het systeem soms een lijn trok rond een vuile voorruit terwijl het echte probleem een ontbrekende bumper was, of dat het zich concentreerde op een koplamp terwijl de hele voorkant verbrijzeld was. Deze fouten laten zien dat hoewel het systeem goed is in het opmerken dat er iets mis is, het nog steeds meer training nodig heeft om te begrijpen wat er precies mis is en waar.

De onderzoekers merkten er zorgvuldig bij op dat deze test werd uitgevoerd op een collectie foto's die in eerdere fasen van het projectontwikkeling waren gebruikt. O因为 de foto's geen unieke ID's hadden om bij te houden van welke auto ze kwamen, is het mogelijk dat de computer eerder vergelijkbare aanzichten van dezelfde auto's had gezien. Dit betekent dat de hoge scores enigszijn optimistisch kunnen zijn als het systeem zou worden getest op een volledig nieuwe vloot auto's die het nog nooit heeft gezien. Ondanks deze beperking biedt de studie een duidelijke weg vooruit. Het laat zien dat geautomatiseerde screening de rommelige realiteit van met een telefoon genomen auto-foto's met hoge nauwkeurigheid kan afhandelen, maar het laat ook zien dat voor het systeem echt betrouwbaar te zijn in de echte wereld, het betere data nodig heeft: foto's met duidelijke markeringen van waar de schade zich bevindt, en een strikte scheiding tussen de auto's die voor training en de auto's die voor testen worden gebruikt. Tot die tijd dient het systeem als een krachtige assistent die de meest waarschijnlijke problemen signaleert voor menselijke inspecteurs om dubbel te controleren.