Train–Test Leakage in Pothole Detection Benchmarks: Evidence from a Video-Disjoint Re-Split of BharatPotHole

Straßen sind die Arterien des modernen Lebens, doch sie werden ständig von den Fahrzeugen angegriffen, die auf ihnen fahren. Zu den häufigsten und schädlichsten Schäden gehören Schlaglöcher – tiefe Krater, die entstehen, wenn Wasser in Risse eindringt und gefriert oder wenn der starke Verkehr den Asphalt einfach abträgt. Diese Löcher sind mehr als nur eine Unannehmlichkeit; sie beschädigen Fahrzeuge, erhöhen das Unfallrisiko für Motorradfahrer und zwingen Städte dazu, enorme Summen für Reparaturen auszugeben. Jahrzehntelang war das Aufspüren dieser Mängel eine langsame, manuelle Aufgabe, bei der Inspektoren langsam fuhren und Stellen auf einer Karte markierten. Heute bietet die Technologie eine schnellere Alternative: An Autos oder Armaturenbretter montierte Kameras können Videos aufzeichnen, und Computerprogramme können dieses Videomaterial scannen, um Schlaglöcher automatisch zu erkennen. Dieses Versprechen der automatisierten Inspektion stützt sich stark auf öffentliche Datensätze – Sammlungen von tausenden Bildern, die Forscher nutzen, um Computern beizubringen, wie ein Schlagloch aussieht. Wenn ein Computer bei diesen Testbildern gut abschneidet, gehen Behörden davon aus, dass er auch auf echten Straßen gut funktionieren wird. Aber diese Annahme gilt nur dann, wenn der Computer an Straßen getestet wird, die er zuvor noch nie gesehen hat.

Eine neue Studie von P. Pathmanaban Pugazhendi untersucht, ob diese Annahme tatsächlich wahr ist für einen populären Datensatz namens BharatPotHole, der tausende Bilder indischer Straßen enthält. Die Forschung konzentriert sich auf einen subtilen, aber kritischen Fehler, der als Data Leakage (Datenleckage) bekannt ist. In der Welt des maschinellen Lernens lernt ein Computer, indem er einen Trainingsdatensatz von Bildern studiert und sein Wissen dann an einem separaten Testdatensatz beweist. Damit der Test fair ist, müssen die Testbilder völlig unabhängig von den Trainingsbildern sein. Da Straßendaten jedoch oft aus Videos stammen, sind aufeinanderfolgende Einzelbilder (Frames) nahezu identisch. Wenn ein Forscher diese Frames zufällig mischt und einige in den Trainingssatz und andere in den Testsatz legt, könnte der Computer einfach ein Frame wiedererkennen, das er bereits gesehen hat, anstatt zu lernen, ein Schlagloch auf einer neuen Straße zu identifizieren. Diese Studie hat den BharatPotHole-Datensatz einer Prüfung unterzogen, um zu sehen, ob diese Art von Leckage die berichteten Erfolgsraten von Schlagloch-Detektoren künstlich aufgebläht hat.

Die Forscher begannen damit, jedes einzelne einer der 7.074 im Datensatz veröffentlichten Bilder zu untersuchen. Sie verwendeten eine Methode des digitalen Fingerabdrucks, um exakte Kopien und nahezu identische Duplikate zu finden. Die Prüfung ergab eine erschreckende Menge an Wiederholungen. Von den gesamten Bildern waren 86 exakte Duplikate, und weitere 2.769 waren lediglich Exportkopien anderer Frames, die oft durch Softwaretools erstellt wurden, die Variationen eines Bildes generieren. Insgesamt waren 40,4 % der veröffentlichten Bilder keineswegs einzigartige Szenen. Wichtiger noch: Die Studie untersuchte, wie der Datensatz in Trainings- und Testgruppen unterteilt wurde. In der veröffentlichten Aufteilung stammten fast 99,4 % der Testbilder aus denselben Videoaufnahmen wie die Trainingsbilder. Das bedeutet, dass der Computer für fast jedes Testbild bereits dieselbe Straße, dieselbe Beleuchtung und dasselbe Schlagloch nur wenige Sekunden zuvor in den Trainingsaufnahmen gesehen hatte.

Um zu verstehen, wie sehr diese Überschneidung die Werte steigerte, erstellten die Forscher eine neue, strengere Version des Datensatzes. Sie entfernten alle Duplikatsbilder und teilten die verbleibenden einzigartigen Videos so auf, dass kein Video sowohl in der Trainings- als auch in der Testgruppe vorkam. Dies stellte sicher, dass der Computer mit völlig neuen Straßen getestet wurde, die er zuvor noch nie begegnet war. Sie trainierten dann ein Standardmodell zur Schlaglocherkennung sowohl auf dem ursprünglichen, „leaky“ (undichten) Datensatz als auch auf dieser neuen, sauberen Version. Als das Modell auf dem ursprünglichen, leckagebehafteten Satz getestet wurde, erreichte es einen Wert von 0,619. Als das exakt gleiche Modell jedoch auf dem sauberen Satz neuer Straßen getestet wurde, sank sein Wert signifikant auf 0,467. Diese Differenz von 0,152 entspricht einem Leistungsabfall von 33 % und deutet darauf hin, dass die hohen Werte in früheren Studien weitgehend darauf zurückzuführen waren, dass der Computer vertraute Szenen wiedererkannte, anstatt tatsächlich Defekte zu detektieren.

Die Forscher gingen noch weiter, um zu beweisen, dass dieser Abfall spezifisch durch die Leckage verursacht wurde und nicht durch irgendeinen anderen Faktor. Sie nahmen das Modell, das mit den sauberen Daten trainiert worden war und eine sehr niedrige Punktzahl auf neuen Straßen erzielte, und ersetzten heimlich einige der Testbilder durch Kopien von Bildern, die es während des Trainings bereits gesehen hatte. Sob es diese vertrauten Bilder einführten, sprang die Punktzahl des Modells dramatisch nach oben – von 0,133 auf 0,494, als alle Testbilder durch Trainingskopien ersetzt wurden. Im Gegensatz dazu blieb die Punktzahl niedrig, wenn die Testbilder durch Kopien anderer, ungesehener Bilder ersetzt wurden. Dieses Experiment bestätigte, dass die Anwesenheit nahezu identischer Trainingsbilder der alleinige Grund für die aufgeblähten Leistungswerte war. Darüber hinaus stellten sie fest, dass das mit den leckagebehafteten Daten trainierte Modell, wenn es auf einem völlig anderen Datensatz aus einer anderen Region getestet wurde, schlechter abschnitt als das Modell, das mit den sauberen Daten trainiert worden war. Dies bewies, dass die hohen Werte auf dem ursprünglichen Datensatz sich nicht in der realen Anwendung widerspiegelten.

Die Studie kommt zu dem Schluss, dass die Art und Weise, wie Straßenschadens-Datensätze derzeit aufgeteilt werden, irreführend ist. Indem Forscher Video-Frames zufällig mischen, haben sie eine Situation geschaffen, in der Computer mit Daten getestet werden, die sie bereits auswendig gelernt haben, was zu übermäßig optimistischen Ergebnissen führt. Der Autor argumentet, dass für zuverlässige automatisierte Inspektionssysteme Datensätze nach Videos oder Routen aufgeteilt werden müssen, um sicherzustellen, dass die Teststraßen völlig getrennt von den Trainingsstraßen sind. Er empfiehlt zudem, dass zukünftige Benchmarks Duplikate entfernen und die Leistung anhand externer Datensätze aus verschiedenen Standorten melden sollten. Ohne diese Änderungen könnten die Werte, mit denen Schlagloch-Detektoren bewertet werden, eher das Gedächtnis eines Computers messen als seine Fähigkeit, die Straße vor ihm zu sehen. Die Ergebnisse dienen als notwendige Korrektur und erinnern die wissenschaftliche Gemeinschaft daran, dass ein hoher Wert in einem Benchmark nur dann aussagekräftig ist, wenn der Test tatsächlich ein Test auf neues Wissen ist.