LoRA-Based Diffusion Data Augmentation for Underwater Garbage Detection: An Empirical Study with YOLOv8s

De oceaanbodem is een plek waar licht moeite heeft om door te dringen, en waar het water zelf werkt als een dik, heiig gordijn. In deze duistere, troebele diepten liggen de plastic flessen, visnetten en weggegooide banden die mensen hebben verloren niet duidelijk tegen het zand aan. Ze worden vaak vervormd door de manier waarop water licht buigt, gehinderd door zwevende deeltjes, of verborgen in schaduwen. Voor wetenschappers die de oceanen proberen schoon te maken, vormt deze visuele verwarring een grote hindernis. Om dit onderwaterafval te vinden en te tellen, vertrouwen ze op camera's en computers, maar de computers moeten worden getraind op duizenden duidelijke voorbeelden om te leren waar ze naar op zoek zijn. Het probleem is dat het maken van heldere onderwaterfoto's ontzettend moeilijk is. De omgeving is moeilijk toegankelijk, de apparatuur is duur, en de beelden die wel bestaan, zijn vaak te wazig of te donker om nuttig te zijn voor het trainen van een computer.

Om dit tekort aan goede trainingsdata op te lossen, hebben onderzoekers zich tot een nieuw soort hulpmiddel gewend: kunstmatige intelligentie die afbeeldingen kan bedenken en creëren. Deze tools, bekend als generatieve modellen, kunnen afbeeldingen produceren die eruitzien als foto's zonder dat er ooit een camera aan te pas is gekomen. Echter, simpelweg een computer vragen om "een plastic zak onder water te tekenen", resulteert vaak in een plaatje dat totaal niet op het echte ding lijkt. Het gegenereerde object heeft misschien de verkeerde vorm, de verkeerde kleur, of verschijnt op een plek waar het niet thuishoort. Als een computer leert van deze neppe afbeeldingen, kan hij in de war raken en later echt afval niet herkennen. De uitdaging is dan ook niet alleen het maken van meer plaatjes, maar het maken van plaatjes die zo overtuigend en nauwkeurig zijn dat een computer ervan kan leren alsof ze echt zijn.

Een team van onderzoekers zette zich scharpe om te testen of deze aanpak daadwerkelijk zou kunnen werken voor het schoonmaken van de oceaan. Ze concentreerden zich op een specif type kunstmatige intelligentiesysteem dat in staat is om afbeeldingen te genereren, gecombineerd met een methode om dat systeem precies te leren hoe verschillende soorten onderwaterafval eruitzien. Ze probeerden niet de noodzaak voor echte foto's volledig te vervangen; in plaats daarvan wilden ze zien of het toevoegen van een klein aantal zorgvuldig vervaardigde neppe afbeeldingen aan een beperkte set echte foto's een computerdetector slimmer kon maken. Ze kozen ervoor om vijf specifieke soorten veelvoorkomend afval te bestuderen: plastic zakken, handschoenen, gezichtsmaskers, visnetten en blikjes. Deze voorwerpen zijn berucht moeilijk te ontdekken omdat ze vaak transparant, gekreukeld of verstrengeld zijn, of opgaan in de zeebodem.

De onderzoekers begonnen met een collectie echte onderwaterfoto's die al door mensen waren gelabeld. Om hun test eerlijk te houden en hun resultaten betrouwbaar te maken, scheidden ze deze echte foto's zorgvuldig in drie groepen voordat ze met de computergeneratie begonnen. Eén groep werd gebruikt om het beeldmakende systeem te leren hoe het afval eruit moest zien. Een andere groep werd gebruikt om de computerdetector te trainen. De derde groep, die tijdens de leerfase nooit aan de beeldmaker of de detector werd getoond, werd strikt bewaard voor de uiteindelijke test. Deze strikte scheiding voorkwam dat de computer de antwoorden van de test gebruikte tijdens de leerfase.

Om de neppe afbeeldingen bruikbaar te maken, gebruikten het team twee speciale technieken. Eerst leerden ze de beeldgenerator om extra goed op de specifieke details van elk type afval te letten. Ze toonden het systeem een paar dozijn echte voorbeelden van een plastic zak, een handschoen of een net, en lieten het systeem de unieke manier leren waarop deze items er onder water uitzien—hun plooien, hun transparantie en hoe het blauwgroene licht van de diepe zee hun kleur beïnvloedt. Ten tweede gaven ze het systeem een eenvoudige kaart om te volgen. Voordat de afbeelding werd gegenereerd, tekenden de onderzoekers een kader op een leeg canvas waar zij wilden dat het afval zou verschijnen. Het systeem werd vervolgens gedwongen om het gegenereerde object precies binnen dat kader te plaatsen. Dit zorgde ervoor dat de neppe afbeeldingen overeenkwamen met de labels die de computerdetector verwachtte, wat verwarring over de werkelijke locatie van het object voorkwam.

Het team creëerde honderden synthetische afbeeldingen, maar ze waren zeer selectief over welke ze gebruikten. Ze controleerden de gegenereerde plaatjes handmatig en verwierpen alle beelden die er te vreemd uitzagen, gebroken vormen hadden of niet overeenkwamen met het label. Alleen de beste afbeeldingen werden toegevoegd aan de trainingsset voor de computerdetector; specifiek werden er slechts 50 aanvullende synthetische afbeeldingen toegevoegd voor elke experimentele setting. Vervolgens voerden ze drie verschillende experimenten uit om te zien wat er gebeurde. In het eerste experiment werd de detector getraind met alleen echte foto's. In het tweede experiment voegden ze neppe afbeeldingen toe die waren gegenereerd zonder speciale training op de specifieke soorten afval. In het derde experiment voegden ze de neppe afbeeldingen toe die zorgvuldig waren afgestemd op de specifieke afvalitems.

De resultaten toonden aan dat het simpelweg toevoegen van meer neppe plaatjes niet genoeg was. Wanneer de detector werd getraind met de niet-afgestemde neppe afbeeldingen, presteerde hij zelfs iets slechter. Hij werd minder nauwkeurig in het vinden van afval en miste meer items dan voorheen. Dit suggereerde dat als de neppe afbeeldingen te veel verschilden van de werkelijkheid, ze de computer alleen maar in de war brachten. Echter, wanneer de detector werd getraind met de zorgvuldig afgestemde afbeeldingen, verbeterden de resultaten. De computer werd beter in het identificeren van het afval, vond er meer van en lokaliseerde ze nauwkeuriger. De nauwkeurigheid van de detector steeg van ongeveer 83 procent naar 85 procent, en het vermogen om de juiste items te vinden verbeterde eveneals.

De studie onthulde ook dat deze verbetering niet gelijkmatig optrad voor elk type afval. De computer werd aanzienlijk beter in het opsporen van handschoenen, blikjes en visnetten wanneer hij leerde van de afgestemde neppe afbeeldingen. Echter, voor gezichtsmaskers en plastic zakken was de verbetering veel kleiner, en in sommige gevallen veranderde de prestatie helemaal niet. Dit suggereert dat de methode het beste werkt voor objecten die een duidelijke vorm en textuur hebben, maar dat het moeite heeft met items die erg dun, transparant of gemakkelijk vervormbaar zijn. De onderzoekers concludeerden dat hoewel deze door AI gegenereerde afbeeldingen kunnen helpen, ze geen perfect substituut zijn voor echte data. Ze zijn een nuttige aanvulling die de prestaties kan stimuleren wanneer echte foto's schaars zijn, maar ze moeten met grote zorg worden gecreëerd en op kwaliteit worden gecontroleerd.

Uiteindelijk demonstreert het werk dat we kunstmatige intelligentie kunnen gebruiken om het probleem van oceaanvervuiling op te lossen, maar dat de technologie geleid moet worden door menselijk begrip. De computer kan niet simpelweg de opdracht krijgen om "meer plaatjes te maken"; hij moet de specifieke visuele taal van de onderwaterwereld leren. Door echte data te combineren met hoogwaardige, zorgvuldig gecontroleerde synthetische afbeeldingen, kunnen onderzoekers betere instrumenten bouwen om de oceaanbodem te monitoren en te beschermen. De studie bevestigt dat deze aanpak een veelbelovende stap voorwaarts is, die een manier biedt om het meeste uit beperkte middelen te halen, terwijl er tegelijkertijd wordt erkend dat de complexiteit van de onderwateromgeving nog steeds zorgvuldige behandeling vereist.