A Comparative Study of Faster R-CNN, Mask R-CNN, and YOLOv8 for Object Detection and Instance Segmentation, with a Custom-Class Transfer-Learning Case Study

In de wereld van computer vision leren machines de wereld niet alleen te zien als een verzameling kleuren en vormen, maar als een scène vol met duidelijke objecten. Dit vakgebied, bekend als objectdetectie, is de technologie die een zelfrijdende auto in staat stelt om een voetganger te herkennen, een beveiligingscamera om een indringer op te sporen, of een medische scanner om een tumor te identificeren. Om dit te kunnen doen, moet een machine twee moeilijke taken tegelijkertijd uitvoeren: het moet vinden waar een object zich in een afbeelding bevindt, en het moet beslissen wat dat object precies is. Jarenlang hebben onderzoekers gedebatteerd over de beste manier om een computer dit te leren. Sommige benaderingen werken als een zorgvuldige inspecteur, die een afbeelding langzaam en methodisch scant om ervoor te zorgen dat elk detail correct is, terwijl andere werken als een vluchtige blik, waarbij de hele scène in één enkele passage wordt verwerkt om prioriteit te geven aan snelheid. De centrale vraag voor ingenieurs is hoe men deze balans vindt tussen perfect nauwkeurig zijn en snel genoeg zijn om in realtime te werken.

Een recente studie door Muhammad Usman Aslam aan de University of West Florida onderzoekt deze balans door drie verschillende computersystemen te testen die ontworpen zijn om de wereld te zien. Het onderzoek vergelijkt twee gevestigde methoden die in fasen werken, waarvan er één ook nauwkeurige contouren rond objecten kan tekenen, tegenover een nieuwere, snellere methode die afbeeldingen in één keer verwerkt. De studie gaat verder dan alleen deze systemen te vergelijken op standaard testafbeeldingen; het pakt een praktisch probleem aan dat standaardtests vaak missen: wat gebeurt er wanneer een machine een object tegenkomt dat hij nog nooit heeft leren herkennen? Om dit te beantwoorden, trainde de onderzoeker een snel, modern systeem om militaire gepantserde voertuigen te identificeren, een categorie objecten die niet voorkomt in de standaard bibliotheek van afbeeldingen die gebruikt wordt om de meeste computer vision-modellen te trainen.

Het onderzoek begon met het onderzoeken van hoe deze drie systemen, bekend als Faster R-CNN, Mask R-CNN en YOLOv8, zijn opgebouwd. De eerste twee systemen werken als een tweetraps proces. Eerst scannen ze een afbeelding om regio's te vinden die mogelijk een object bevatten, en daarna analyseren ze die specifieke regio's om te bepalen wat het object is en waar de randen ervan liggen. Mask R-CNN voegt een derde stap toe, waardoor het een pixel-perfecte omtrek rond elk object kan tekenen, waardoor het wordt gescheiden van de achtergrond en van andere overlappende objecten. Deze methoden staan bekend om hun hoge nauwkeurigheid, maar vereisen meer rekenkracht en tijd. Het derde systeem, YOLOv8, hanteert een andere aanpak. Het bekijkt de volledige afbeelding in één enkele passage, waarbij de locatie en het type van elk object tegelijkertijd wordt voorspeld. Dit ontwerp is gebouwd voor snelheid, wat het ideaal maakt voor realtime toepassingen zoals videobewaking, hoewel het historisch gezien iets minder precies werd geacht bij zeer kleine of drukke objecten.

Om deze systemen in de echte wereld te testen, gebruikte de onderzoeker een standaard set afbeeldingen met veelvoorkomende items zoals mensen, auto's en dieren om te zien hoe goed de getrainde systemen presteerden. Wanneer het Faster R-CNN-systeem afbeeldingen van kevers werd getoond, identificeerde het deze correct, maar produceerde het ook extra, minder zelfverzekerde gissingen voor "insecten" op dezelfde plekken, wat aantoont dat het systeem soms moeite heeft wanneer verschillende categorieën objecten overlappen of erg op elkaar lijken. Wanneer het een foto van een vogel werd getoond, aarzelde het systeem tussen het noemen van "vogel", "dier" of een specifiek type vogel, wat onthulde dat de woordenschat beperkt is tot de 80 specifieke categorieën waarvoor het oorspronkelijk is getraind. Het Mask R-CNN-systeem presteerde indrukwekkend op standaardafbeeldingen, waarbij het overlappende zebra's en mensen in een menigte succesvol scheidde met nauwkeurige contouren, maar het vereiste aanzienlijk meer rekenbronnen om dit te doen.

Het meest significante deel van de studie was echter de poging om deze systemen iets te leren wat ze nog nooit eerder hadden gezien: tanks. Standaard computer vision-modellen zijn "closed-vocabulary" systemen, wat betekent dat ze alleen de specifieke lijst met objecten kunnen herkennen waarop ze zijn getraind. Wanneer de onderzoeker de standaard Faster R-CNN en Mask R-CNN modellen afbeeldingen van militaire gepantserde voertuigen liet zien, slaagden de machines er niet in om hen als tanks te identificeren. In plaats daarvan dwongen ze de afbeeldingen in de dichtstbijzijnde categorieën die ze kenden, waarbij ze de tanks als "vrachtwagens" of "auto's" labelden. Dit was niet een falen van het vermogen van de machine om de vorm van het voertuig te zien, maar een beperking van zijn vocabulaire; het had simpelweg het woord "tank" niet in zijn woordenboek staan.

Om dit op te lossen, wendde de onderzoeker zich tot het YOLOv8-systeem en gebruikte hij een techniek genaamd transfer learning. In plaats van vanaf nul te beginnen, kreeg het systeem een kleine, aangepaste dataset van slechts twintig afbeeldingen van tanks, die handmatig door een mens waren gelabeld. Het systeem werd vervolgens verfijnd op deze kleine set afbeeldingen. Het resultaat was opmerkelijk. Het YOLOv8-systeem, dat was aangepast aan deze nieuwe klasse, identificeerde tanks in museumopstellingen en buitenfoto's met een hoge mate van vertrouwen. Het herkende zelfs een bewegend gepantserd voertuig in een veld, ondanks de onscherpte en de afstand, wat bewees dat een lichtgewicht, snel systeem snel kan worden aangepast aan een nieuwe, specifieke taak met zeer weinig gegevens.

De studie concludeert dat hoewel de oudere, tweetraps systemen uitstekend blijven voor algemene taken waarbij een hoge precisie nodig is voor bekende objecten, ze rigide zijn als het gaat om nieuwe categorieën. Ze kunnen niet herkennen wat ze niet expliciet hebben geleerd. In contrast hiermee toonde het single-stage YOLOv8-systeem een flexibiliteit die zeer waardevol is voor praktische toepassingen. Het toonde aan dat met een kleine hoeveelheid menselijke inspanning om een paar nieuwe afbeeldingen te labelen, een snelle detector kan worden uitgebreid om geheel nieuwe soorten objecten te herkennen. Dit suggereert dat voor veel real-world problemen, waarbij het doel is om specifieke, aangepaste items te detecteren in plaats van alleen algemene categorieën, de snelheid en aanpasbaarheid van de nieuwere single-stage aanpak nuttiger kan zijn dan de ruwe nauwkeurigheid van de oudere, tragere methoden. De research merkt ook op dat het veld snel beweegt, met nieuwere modellen die opkomen die proberen de snelheid van de single-stage systemen te combineren met de nauwkeurigheid van de oudere systemen, maar de kernles blijft duidelijk: het beste instrument hangt af van of je een machine nodig hebt die alles over de wereld weet, of een machine die snel kan leren om iets nieuws te zien.