A Comparative Study of Faster R-CNN, Mask R-CNN, and YOLOv8 for Object Detection and Instance Segmentation, with a Custom-Class Transfer-Learning Case Study

In der Welt des Computer Vision lernen Maschinen, die Welt nicht nur als eine Ansammlung von Farben und Formen zu sehen, sondern als eine Szene, die mit deutlichen Objekten gefüllt ist. Dieses Feld, bekannt als Objekterkennung, ist die Technologie, die es einem selbstfahrenden Auto ermöglicht, einen Fußgänger zu erkennen, einer Überwachungskamera, einen Eindringling zu entdecken oder einem medizinischen Scanner, einen Tumor zu identifizieren. Damit eine Maschine dies tun kann, muss sie zwei schwierige Aufgaben gleichzeitig bewältigen: Sie muss feststellen, wo sich ein Objekt innerhalb eines Bildes befindet, und sie muss entscheiden, was genau dieses Objekt ist. Jahrelang haben Forscher darüber debattiert, wie man einen Computer am besten lehrt, dies zu tun. Einige Ansätze agieren wie ein sorgfältiger Inspektor, der ein Bild langsam und methodisch scannt, um sicherzustellen, dass jedes Detail korrekt ist, während andere wie ein flüchtiger Blick wirken, der die gesamte Szene in einem einzigen Durchgang verarbeitet, um die Geschwindigkeit zu priorisieren. Die zentrale Frage für Ingenieure ist, wie man diesen Kompromiss zwischen perfekter Genauigkeit und einer ausreichend hohen Geschwindigkeit für den Echtzeitbetrieb ausbalanciert.

Eine aktuelle Studie von Muhammad Usman Aslam an der University of West Florida untersucht diesen Ausgleich, indem sie drei verschiedene Computersysteme testet, die darauf ausgelegt sind, die Welt zu sehen. Die Forschung vergleicht zwei etablierte Methoden, die in Stufen arbeiten – von denen eine auch präzise Umrisse um Objekte zeichnen kann – mit einer neueren, schnelleren Methode, die Bilder auf einmal verarbeitet. Die Studie geht über den bloßen Vergleich dieser Systeme anhand von Standardtestbildern hinaus; sie befasst sich mit einem praktischen Problem, das Standardtests oft übersehen: Was passiert, wenn eine Maschine auf ein Objekt stößt, das sie noch nie erkannt hat? Um dies zu beantworten, trainierte der Forscher ein schnelles, modernes System darauf, militärische gepanzerte Fahrzeuge zu identifizieren, eine Kategorie von Objekten, die nicht in der Standardbibliothek von Bildern existiert, die zur Ausbildung der meisten Computer-Vision-Modelle verwendet werden.

Die Untersuchung begann mit der Betrachtung der Funktionsweise dieser drei Systeme, bekannt als Faster R-CNN, Mask R-CNN und YOLOv8. Die ersten beiden Systeme arbeiten wie ein zweistufiger Prozess. Zuerst scannen sie ein Bild, um Regionen zu finden, die ein Objekt enthalten könnten, und analysieren dann diese spezifischen Regionen, um zu entscheiden, was das Objekt ist und wo seine Kanten liegen. Mask R-CNN fügt einen dritten Schritt hinzu, der es ermöglicht, eine pixelgenaue Umrandung um jedes Objekt zu zeichn, um es vom Hintergrund und von anderen überlappenden Objekten zu trennen. Diese Methoden sind für ihre hohe Genauigkeit bekannt, erfordern jedoch mehr Rechenleistung und Zeit. Das dritte System, YOLOv8, verfolgt einen anderen Ansatz. Es betrachtet das gesamte Bild in einem einzigen Durchgang und sagt den Ort und den Typ jedes Objekts gleichzeitig voraus. Dieses Design ist auf Geschwindigkeit ausgelegt, was es ideal für Echtzeitanwendungen wie die Videoüberwachung macht, obwohl es historisch gesehen bei sehr kleinen oder gedrängten Objekten als etwas weniger präzise galt.

Um diese Systeme in der realen Welt zu testen, verwendete der Forscher einen Standarddatensatz von Bildern mit alltäglichen Gegenständen wie Menschen, Autos und Tieren, um zu sehen, wie gut die vortrainierten Systeme performten. Als das Faster R-CNN-System Bildern von Käfern gezeigt wurde, identifizierte es diese korrekt, produzierte aber auch zusätzliche, weniger sichere Vermutungen für „Insekten“ an denselben Stellen, was zeigt, dass das System manchmal Schwierigkeiten hat, wenn verschiedene Objektkategorien überlappen oder sich sehr ähnlich sehen. Als ihm ein Bild eines Vogels gezeigt wurde, zögerte das System zwischen der Bezeichnung „Vogel“, „Tier“ oder einer spezifischen Vogelart, was verdeutlichte, dass sein Wortschatz auf die 80 spezifischen Kategorien begrenzt ist, für die es ursprünglich trainiert wurde. Das Mask R-CNN-System zeigte eine beeindruckende Leistung bei Standardbildern, indem es überlappende Zebras und Menschen in einer Menge erfolgreich mit präzisen Umrissen trennte, benötigte dafür jedoch deutlich mehr Rechenressourcen.

Der bedeutendste Teil der Studie war jedoch der Versuch, diese Systeme etwas lehren zu lassen, das sie noch nie gesehen hatten: Panzer. Standardmäßige Computer-Vision-Modelle sind „Closed-Vocabulary“-Systeme, was bedeutet, dass sie nur die spezifische Liste von Objekten erkennen können, für die sie trainiert wurden. Als der Forscher den Standardmodellen Faster R-CNN und Mask R-CNN Bilder von militärischen gepanzerten Fahrzeugen zeigte, versagten die Maschinen dabei, diese als Panzer zu identifizieren. Stattdessen zwängten sie die Bilder in die nächstliegenden bekannten Kategorien und bezeichneten die Panzer als „Lastwagen“ oder „Autos“. Dies war kein Versagen der Fähigkeit der Maschine, die Form des Fahrzeugs zu sehen, sondern eine Einschränkung ihres Wortschatzes; sie besaß schlichtweg das Wort „Panzer“ nicht in ihrem Wörterbuch.

Um dies zu lösen, wandte sich der Forscher an das YOLOv8-System und nutzte eine Technik namens Transfer Learning. Anstatt bei Null anzufangen, wurde dem System ein kleiner, benutzerdefinierter Datensatz von nur zwanzig Bildern von Panzern gegeben, die von einem Menschen manuell beschriftet worden waren. Das System wurde dann auf diesem kleinen Satz von Bildern feinjustiert. Das Ergebnis war bemerkenswert. Das an diese neue Klasse angepasste YOLOv8-System identifizierte Panzer in Museumsausstellungen und Außenaufnahmen mit hoher Konfidenz. Es erkannte sogar ein fahrendes gepanzertes Fahrzeug auf einem Feld, trotz der Unschärfe und der Distanz, was bewies, dass ein leichtgewichtiges, schnelles System mit sehr wenig Daten schnell an eine neue, spezifische Aufgabe angepasst werden kann.

Die Studie kommt zu dem Schluss, dass während die älteren, zweistufigen Systeme weiterhin exzellent für allgemeine Aufgaben sind, bei denen eine hohe Präzision für bekannte Objekte erforderlich ist, sie starr sind, wenn es um neue Kategorien geht. Sie können nicht erkennen, was ihnen nicht explizit beigebracht wurde. Im Gegensatz dazu demonstrierte das neuere Single-Stage-System YOLOv8 eine Flexibilität, die für praktische Anwendungen von hohem Wert ist. Es zeigte, dass ein schneller Detektor mit einem geringen menschlichen Aufwand zur Beschriftung einiger weniger neuer Bilder auf eine völlig neue Art von Objekten erweitert werden kann. Dies legt nahe, dass für viele reale Probleme, bei denen das Ziel darin besteht, spezifische, kundenspezifische Artikel statt nur allgemeiner Kategorien zu detektieren, die Geschwindigkeit und Anpassungsfähigkeit des neueren Single-Stage-Ansatzes nützlicher sein kann als die rohe Genauigkeit der älteren, langsameren Methoden. Die Forschung stellt auch fest, dass sich das Feld schnell bewegt, mit neuen Modellen, die darauf abzielen, die Geschwindigkeit der Single-Stage-Systeme mit der Genauigkeit der älteren Systeme zu kombinieren, aber die Kernbotschaft bleibt klar: Das beste Werkzeug hängt davon ab, ob man eine Maschine braucht, die alles über die Welt weiß, oder eine, die schnell lernen kann, etwas Neues zu sehen.