Foreground Sampling and Spatial Support in Pavement Crack Segmentation

Straßen sind ständig Angriffen ausgesetzt. Sonne, Regen und schwerer Verkehr verwandeln glatten Asphalt langsam in eine zerklüftete Landschaft aus Rissen. Für Ingenieure ist das Erkennen dieser Risse der erste Schritt bei der Entscheidung, ob eine Straße eine schnelle Ausbesserung oder einen kompletten Neuaufbau benötigt. Jahrzehntelang wurde diese Inspektion von Menschen durchgeführt, die langsam entlang des Asphalts fuhren und den Boden anstarrten – ein Prozess, der langsam, subjektiv und schwierig zu skalieren ist, wenn es um ganze Städte geht. Um dies zu lösen, haben Forscher sich dem Computer zugewandt und ihn gelehrt, Fotos von Straßen zu betrachten und automatisch Linien um jeden Riss zu ziehen, den er sieht. Diese Aufgabe, bekannt als Segmentierung, erfordert vom Computer, zwischen den dunklen, dünnen Linien eines Risses und der helleren, texturierten Oberfläche der Straße zu unterscheiden.

Die Herausforderung für diese Computerprogramme besteht darin, dass Risse selten sind. In einem typischen Foto einer Straße zeigen die überwältigende Mehrheit der Pixel intakten Asphalt, während nur ein winziger Bruchteil einen Riss zeigt. Um dem Computer beim Lernen zu helfen, verwenden Forscher oft einen Trick namens Foreground Sampling (Vordergrund-Sampling). Anstatt dem Computer zufällige Teile der Straße zu zeigen, zwingen sie das Programm dazu, sich hauptsächlich auf die Teile des Bildes zu konzentrieren, die Risse enthalten. Es scheint ein logischer Schritt zu sein: Wenn der Computer mehr Risse sieht, sollte er besser darin werden, sie zu finden. Dies hat jedoch einen versteckten Preis, den die Forscher weitgehend ignoriert haben. Indem sie nur die Teile des Bildes ausschneiden, die Risse enthalten, sieht der Computer den Rest der Straße nie. Er übersieht Schatten, Fahrbahnmarkierungen, Gullydeckel und die Textur des Asphalts weit entfernt von jeglichem Schaden. Diese „Hintergrund“-Details sind nicht einfach nur leerer Raum; sie sind ein entscheidender Kontext, der dem Computer hilft zu verstehen, was kein Riss ist.

Ein Team von Forschern der Montana State University beschloss zu untersuchen, was genau passiert, wenn dieser Sampling-Trick angewendet wird. Sie wollten wissen, ob das Problem lediglich darin bestand, dass der Computer zu viele Risse sah, oder ob das eigentliche Problem darin lag, dass der Computer für den Rest der Welt blind gemacht wurde. Um dies herauszufinden, setzten sie ein kontrolliertes Experiment unter Verwendung einer massiven Sammlung von Straßenbildern namens Crack500 auf. Sie bauten ein Standard-Computer-Vision-Modell, eine Art künstliche Intelligenz, die darauf ausgelegt ist, Muster zu erkennen, und hielten jeden Teil ihres Trainings identisch, bis auf eine Sache: wie sie die Bildstücke auswählten, die sie dem Modell zeigten.

Die Forscher begannen damit, eine Baseline (einen Referenzwert) zu etablieren. Sie ließen den Computer von zufälligen Teilen der Straße lernen, so wie ein Mensch beim Blick aus einem Autofenster eine natürliche Mischung aus Rissen und intaktem Asphalt sehen würde. Dieser Ansatz lieferte die besten Ergebnisse. Als sie versuchten, aggressiver vorzugehen und dem Computer nur jene Teile der Straße zu zeigen, die Risse enthielten, sank die Leistung des Modells erheblich. Es wurde schlechter darin, Risse zu finden, nicht besser. Dies war überraschend, da der Computer mehr von dem Zielobjekt sah, das er eigentlich finden sollte. Die Forsthersteller erkannten, dass sie durch das Erzwingen des Fokus auf nur die Risse versehentlich einen riesigen Teil der Straße aus der Sicht des Computers entfernt hatten. Tatsächlich stellten sie bei der Berechnung der Geometrie der Bilder fest, dass dieses aggressive Sampling fast die Hälfte der Straßenoberfläche völlig unerreichbar machte. Der Computer trainierte effektiv in einer Welt, in der große Abschnitte des Asphalts schlichtweg nicht existierten.

Um zu beweisen, dass die fehlende Straßenoberfläche der Übeltäter war und nicht bloß die Tatsache, dass der Computer zu viele Risse sah, entwarfen die Forscher einen klugen Test. Sie entwickelten eine neue Trainingsmethode, die dem Computer die gleiche Anzahl an Rissen wie die natürliche, zufällige Methode zeigte, sie zwang ihn jedoch weiterhin, die Teile der Straße zu ignorieren, die weit entfernt von jeglichen Rissen lagen. Dieser Aufbau hielt die „Rissanzahl“ gleich, entfernte aber den „Straßenkontext“. Das Ergebnis war eine Wiederholung der schlechten Leistung. Der Computer kämpfte genauso sehr wie zuvor, als man ihm nur die Risse gezeigt hatte. Dies bewies, dass das Problem nicht die Quantität der Risse war, sondern der Verlust der Umgebung.

Die Forscher führten dann einen letzten, entscheidenden Test durch, um zwei mögliche Ursachen zu trennen: den Verlust des Kontexts gegenüber der reinen Reduktion der Anzahl der verschiedenen Bildstücke, die der Computer sehen konnte. Sie nahmen den eingeschränkten Trainingsdatensatz und verteilten die verfügbaren Bildstücke, anstatt den Computer auf eine kleine Nachbarschaft der Straße zu beschränken, über die gesamte Straßenoberfläche. Sie hielten die Anzahl der Stücke exakt so groß wie im eingeschränkten Test, erlaubten dem Computer aber, fast die gesamte Straße wieder zu sehen. Als sie dies taten, sprang die Leistung des Computers wieder auf das Niveau des natürlichen, zufälligen Trainings zurück. Er fand heraus, dass der Zugriff auf das vollständige räumliche Layout der Straße, selbst mit weniger Gesamtexemplaren, weitaus wichtiger war als eine riesige Anzahl von Beispielen aus nur wenigen Stellen.

Die Studie zeigte auch, dass dieses Problem davon abhängt, wie der Computer Informationen verarbeitet. Die Forscher testeten ihre Ergebnisse unter Verwendung zweier unterschiedlicher interner Verarbeitungsmethoden, einer gängigen und einer weniger verbreiteten. Das Problem des fehlenden Kontexts war bei der gängigen Methode schwerwiegend, verhielt sich aber bei der anderen anders, was darauf hindeutete, dass die Art und Weise, wie ein Computer Daten verarbeitet, verändern kann, wie sehr er darauf angewiesen ist, das Gesamtbild zu sehen. Dies bedeutet, dass es keine einzelne Regel gibt, die für jedes Computer-Vision-System gilt; die Auswirkungen des Ausschneidens von Bildteilen hängen von den spezifischen Werkzeugen ab, die verwendet werden.

Die ultimative Lektion aus dieser Arbeit ist, dass in der Welt der künstlichen Intelligenz das, was man weglässt, genauso wichtig ist wie das, was man hinzufügt. Wenn Forscher versuchen, das Problem der seltenen Risse zu lösen, indem sie dem Computer nur die Risse zeigen, lehren sie ihn unbeabsichtigt eine verzerrte Version der Realität. Der Computer muss die Risse sehen, aber er muss auch die Straße um sie herum sehen, um den Unterschied zwischen einem Riss und einem Schatten oder einem Fleck zu verstehen. Die Forscher kamen zu dem Schluss, dass zukünftige Studien nicht nur darüber berichten müssen, wie viele Risse der Computer sieht, sondern auch, wie viel der Straße er sehen darf. Sie argumentierten, dass Sampling-Strategien als eine Regel für die Auswahl der Teile der Welt behandelt werden sollten, die der Computer erkunden darf, und nicht bloß als eine Methode, um die Zahlen auszugleichen. Indem Wissenschaftler die „Erreichbarkeit“ der Trainingsdaten messen und melden, können sie sicherstellen, dass ihre Modelle von einem vollständigen Bild der Straße lernen und nicht nur von einem fragmentierten.