Foreground Sampling and Spatial Support in Pavement Crack Segmentation

Wegen staan constant onder aanval. Zon, regen en zwaar verkeer veranderen het gladde asfalt langzaam in een gefragmenteerd landschap van scheuren. Voor ingenieurs is het opsporen van deze scheuren de eerste stap in de beslissing of een weg een snelle reparatie nodig heeft of een volledige herbouw. Decennialang is deze inspectie gedaan door mensen die langzaam langs het wegdek reden en naar de grond staarden, een proces dat traag, subjectief en moeilijk op te schalen is over hele steden. Om dit op te lossen, hebben onderzoekers zich tot computers gewend, waarbij ze hen hebben geleerd om naar foto's van wegen te kijken en automatisch lijnen te trekken rond elke scheur die ze zien. Deze taak, bekend als segmentatie, vereist dat de computer onderscheid maakt tussen de donkere, dunne lijnen van een scheur en het lichtere, getextureerde oppervlak van de weg.

De uitdaging voor deze computerprogramma's is dat scheuren zeldzaam zijn. In een typische foto van een weg vertonen de overgrote meerderheid van de pixels intact wegdek, terwijl slechts een fractie van de pixels een scheur laat zien. Om de computer te helpen leren, gebruiken onderzoekers vaak een truc genaand foreground sampling. In plaats van de computer willekeurige stukken van de weg te laten zien, dwingen ze het programma om vooral naar de delen van de afbeelding te kijken die scheuren bevatten. Het lijkt een logische zet: als de computer meer scheuren ziet, zou hij beter worden in het vinden ervan. Echter, deze eenvoudige strategie heeft een verborgen kostenpost waar onderzoekers grotendeels overheen hebben gekeken. Door alleen de delen van de afbeelding uit te snijden die scheuren bevatten, ziet de computer de rest van de weg nooit. Het mist de schaduwen, de rijstrookmarkeringen, de putdeksels en de textuur van het wegdek ver weg van enige schade. Deze "achtergrond" details zijn niet alleen lege ruimtes; ze zijn cruciale context die de computer helpt te begrijpen wat een scheur niet is.

Een team van onderzoekers aan de Montana State University besloot precies te onderzoeken wat er gebeurt wanneer deze sampling-truc wordt gebruikt. Ze wilden weten of het probleem simpelweg was dat de computer te veel scheuren zag, of dat het echte probleem was dat de computer werd verblind voor de rest van de wereld. Om dit te ontdekken, zetten ze een gecontroleerd experiment op met een enorme collectie wegbeelden genaamd Crack500. Ze bouwden een standaard computer vision-model, een type kunstmatige intelligentie ontworpen om patronen te herkennen, en hielden elk deel van hun training identiek, behalve één ding: hoe ze de stukjes afbeelding selecteerden om het aan de computer te tonen.

De onderzoekers begonnen met het vaststellen van een baseline. Ze lieten de computer leren van willekeurige stukken van de weg, net zoals een mens willekeurig naar een weg zou kijken vanuit een auto, waarbij zowel scheuren als intact wegdek in een natuurlijke mix worden gezien. Deze aanpak leverde de beste resultaten op. Wanneer ze probeerden agressiever te zijn en de computer alleen stukken van de weg te tonen die scheuren bevatten, daalde de prestaties van het model aanzienlijk. Het werd slechter in het vinden van scheuren, niet beter. Dit was verrassend omdat de computer meer van het doelwit zag dat het moest vinden. De onderzoekers realiseerden zich dat door de computer te dwingen alleen naar scheuren te kijken, ze per ongeluk een groot deel van de weg uit het zicht van de computer hadden verwijderd. Sterker nog, toen ze de geometrie van de afbeeldingen berekenden, ontdekten ze dat deze agressieve sampling bijna de helft van het wegdek volledig onbereikbaar maakte. De computer trainde effectief in een wereld waarin grote delen van het wegdek simpelweg niet bestonden.

Om te bewijzen dat het ontbrekende wegdek de boosdoener was, en niet alleen het feit dat de computer te veel scheuren zag, ontwierpen de onderzoekers een slimme test. Ze creëerden een nieuwe trainingsmethode die de computer hetzelfde aantal scheuren liet zien als de natuurlijke, willekeurige methode, maar dwongen het nog steeds om de delen van de weg te negeren die ver weg lagen van de scheuren. Deze opzet hield de "scheurtelling" gelijk, maar verwijderde de "wegcontext". Het resultaat was een herhaling van de slechte prestaties. De computer worstelde net zo erg als wanneer hij alleen scheuren te zien kreeg. Dit bewees dat het probleem niet de hoeveelheid scheuren was; het was het verlies van de omgeving.

De onderzoekers voerden vervolgens een laatste, beslissende test uit om twee mogelijke oorzaken te scheiden: het verlies van context versus de pure reductie in het aantal verschillende beeldfragmenten dat de computer kon zien. Ze namen de beperkte trainingsset en verspreidden, in plaats van de computer te beperken tot een kleine buurt van de weg, de beschikbare beeldfragmenten over het gehele wegdek. Ze hielden het aantal fragmenten exact gelijk aan in de beperkte test, maar lieten de computer bijna de hele weg weer zien. Toen ze dit deden, herstelde de prestatie van de computer zich naar het niveau van de natuurlijke, willekeurige training. Het bleek dat toegang hebben tot de volledige ruimtelijke lay-out van de weg, zelfs met minder totale voorbeelden, veel belangrijker was dan een enorm aantal voorbeelden uit slechts een paar plekken.

Het onderzoek onthulde ook dat dit probleem afhangt van hoe de computer informatie verwerkt. De onderzoekers testten hun bevindingen met behulp van twee verschillende interne verwerkingsmethoden, één gangbaar en één minder gangbaar, en het probleem van de ontbrekende context was ernstig bij de gangbare methode, maar gedroeg zich anders bij de andere, wat suggereerde dat de manier waarop een computer gegevens afhandelt kan veranderen hoeveel hij vertrouwt op het zien van het hele plaatje. Dit betekent dat er geen enkele regel is die voor elk computer vision-systeem geldt; de impact van het uitknippen van delen van een afbeelding hangt af van de specifieke tools die worden gebruikt.

De ultieme les van dit werk is dat in de wereld van kunstmatige intelligentie wat je weglaat net zo belangrijk is als wat je toevoegt. Wanneer onderzoekers proberen het probleem van zeldzame scheuren op te lossen door de computer alleen de scheuren te tonen, leren ze de computer onbedoeld een vertekende versie van de werkelijkheid aan. De computer moet de scheuren zien, maar hij moet ook de weg eromheen zien om het verschil te begrijpen tussen een scheur en een schaduw of een vlek. De onderzoekers concludeerden dat toekomstige studies niet alleen moeten rapporteren hoeveel scheuren de computer ziet, maar ook hoeveel van de weg de computer mag zien. Ze betoogden dat samplingstrategieën behandeld moeten worden als een regel voor het selecteren van welke delen van de wereld de computer mag verkennen, in plaats van alleen een manier om de aantallen in balans te brengen. Door de "bereikbaarheid" van de trainingsdata te meten en te rapporteren, kunnen wetenschappers ervoor zorgen dat hun modellen leren van een compleet beeld van de weg, en niet slechts van een gefragmenteerd beeld.