Impact of Dataset Composition on Embedded Real-Time UAV Wildfire Detection Using Compact YOLO Models

Technische Samenvatting: Impact van de Samenstelling van Datasets op Embedded Real-Time UAV Wildfire Detectie met Compacte YOLO-modellen

Probleemstelling
De ontwikkeling van visuele systemen voor het detecteren van bosbranden door Unmanned Aerial Vehicles (UAV's) wordt momenteel beperkt door het gebrek aan diverse, realistische trainingsbeelden, met name die vanuit een bovenaanzicht (aerial viewpoint) zijn vastgelegd met geschikte annotaties. Hoewel deep learning-modellen, specifiek de YOLO-familie, een gunstige afweging bieden tussen inferentiesnelheid en detectiekwaliteit voor embedded edge-apparaten, wordt hun praktische inzetbaarheid vaak beperkt door de beschikbaarheid van data. Bijgevolg wenden onderzoekers zich regelmatig tot synthetische datageneratie en beeldaugmentatie om trainingssets uit te breiden. De praktische waarde van dergelijke synthetische expansies voor embedded UAV-bosbranddetectie onder hulpbron-beperkte omstandigheden blijft echter een empirische vraag in plaats van een vastgesteld feit.

Methodologie
Deze studie hanteert een dataset-gecentreerde aanpak om te evalueren hoe de samenstelling van trainingsdata de detectieprestaties beïnvloedt, waarbij compacte YOLO-modellen worden gebruikt als een gecontroleerde validatiefamilie in plaats van het voorstellen van nieuwe detectorarchitecturen.

• Systeemplatform: De experimenten maakten gebruik van een op maat gemaakte 3D-geprinte "Buzzard" UAV, uitgerust met een NVIDIA Jetson Nano 4 GB voor on-board verwerking en een RGB-camera. Het systeem ondersteunt zowel VTOL (Vertical Take-Off and Landing) als fixed-wing voortstuwing, ontworpen voor uithoudingsvermogen en laag vermogen.
• Datasetconstructie: De studie stelde een verzameling beelden samen uit vier bronnen: 447 beelden vastgelegd door de auteurs met hun UAV, 857 beelden uit publieke datasets, 82 beelden van de Uruguayaanse luchtmacht remote sensing service, en 1.296 AI-gegenereerde synthetische beelden.
• Experimentele Configuraties: Vier verschillende datasetconfiguraties werden geëvalueerd:
  1. Real non-augmented: 1.386 echte beelden.
  2. Real augmented: De echte set uitgebreid naar 8.316 beelden via geometrische en fotometrische transformaties (flips, rotaties, variatie in helderheid/contrast, blur).
  3. Hybrid non-augmented: 2.682 beelden (1.386 echt + 1.296 synthetisch).
  4. Hybrid augmented: 16.092 beelden (augmented real + augmented synthetisch).
• Modellen en Training: Vier compacte YOLOv5-varianten (YOLOv5n, YOLOv5n6, YOLOv5s, YOLOv5s6) werden voor elke configuratie getraind gedurende 1.000 epochs. De modellen zijn geselecteerd vanwege hun geschiktheid voor embedded deployment.
• Evaluatiemetrieken: Prestaties werden gemeten aan de hand van Precision, Recall, mAP@0.5, mAP@0.5:0.95 en Box Loss. De studie gaf prioriteit aan Recall en mAP, aangezien het missen van een bosbrandgebeurtenis als kostbaarder wordt beschouwd dan het genereren van een beperkt aantal valse alarmen in een vroege waarschuwingssysteem.

Belangrijkste Resultaten
De experimentele resultaten leverden een contra-intuïtieve bevinding op met betrekking tot datavolume-expansiestrategieën:

• Superioriteit van Real Non-Augmented Data: Het beste algehele werkpunt werd bereikt met de real non-augmented dataset. Specifiek behaalde YOLOv5n6 getraind op deze configuratie de hoogste Recall, de hoogste mAP@0.5 en de hoogste mAP@0.5:0.95.
• Beperkte Waarde van Augmentatie en Hybridisatie: Noch dataugmentatie, noch de inclusie van synthetische data (hybridisatie) produceerde een betere uiteindelijke keuze voor deployment dan de real non-augmented baseline.
  • Hoewel de real augmented dataset competitief bleef, overtrof deze de non-augmented real set niet.
  • Hybride configuraties (zowel augmented als non-augmented) resulteerden in gefragmenteerde prestatiepatronen en leverden over het algemeen lagere Recall en mAP op vergeleken met de real-only baseline.
• Modelgedrag: Verschillende YOLO-varianten vertoonden complementaire sterktes; YOLOv5n6 excelleerde in recall en mAP op echte data, terwijl YOLOv5s6 vaak de laagste Box Loss en de hoogste precisie behaalde, met name in augmented settings. Echter, de dominante trend over alle modellen heen was dat de datasetcompositie (real vs. synthetisch/augmented) een grotere impact had op de prestaties dan de specifieke gekozen modelvariant.
• Validatie in de Praktijk: Vliegtesten in de echte wereld bevestigden dat het model, getraind op de real non-augmented dataset, effectief bosbrandgebeurtenissen kon detecteren tijdens real-time operaties, zelfs onder invloed van beweging en variaties in het gezichtspunt.

Betekenis en Claims
Het artikel claimt dat voor embedded UAV-bosbranddetectie, dataset-realisme en domein-alignement waardevoller zijn dan het vergroten van de trainingssetgrootte door middel van synthetische expansie.

De studie concludeert dat hoewel synthetische data en augmentatie waardevolle instrumenten zijn wanneer echte geannoteerde beelden schaars zijn, hun nut afhankelijk is van de mate waarin zij de visuele kenmerken van het doel-deploymentdomein behouden. In het geëvalueerde scenario beïnvloedden de visuele verschillen tussen synthetische beelden en echte luchtfoto's van bosbranden (in textuur en scène-naturaliteit) het vermogen van de detector om te generaliseren negatief. Daarom was de meest effectieve strategie voor praktische deployment om te trainen op hoogwaardige, realistische beelden zonder kunstmatige expansie, waarbij de getrouwheid van de trainingsdata aan de operationele omgeving prioriteit kreeg boven de loutere hoeveelheid data.

De auteurs positioneren dit werk niet als een voorstel voor een nieuwe detector, maar als een gecontroleerde vergelijkende analyse die aantoont dat, onder hulpbron-beperkte omstandigheden, het behoud van het oorspronkelijke uiterlijk en de domeinkarakteristieken van echte beelden superieure praktische detectieprestaties oplevert.