LRDDv3: High-Resolution Long-Range Drone Detection Dataset with Range Information and Thermal Data

Technische Samenvatting: LRDDv3 – Dataset voor Hoogresolutie Detectie van Drones op Lange Afstand

Probleemstelling
De snelle proliferatie van onbemande luchtvaartuigen (UAV's) voor recreatieve en commerciële doeleinden vereist robuuste detectiesystemen die drones op lange afstand kunnen identificeren om een veilige integratie in het luchtruim te waarborgen. Hoewel er diverse datasets bestaan voor drone-detectie, identificeren de auteurs een kritieke lacune: een gebrek aan hoogwaardige, hoogresolutie data die de complexe operationele contexten van lange afstand in realistische scenario's weerspiegelt. Bestaande datasets lijden vaak aan beperkte resolutie, statische camerablikken, onvoldoende afstandsmetadata of een gebrek aan diversiteit in verlichting, weersomstandigheden en achtergrondcondities. Bovendien combineren weinig datasets RGB- en thermische beeldvorming met precieze afstandsannotaties, welke essentieel zijn voor het trainen van algoritmen om kleine, verre doelen te detecteren onder wisselende omgevingsuitdagingen.

Methodologie en Datasetconstructie
Om deze beperkingen aan te pakken, introduceren de auteurs LRDDv3, een uitgebreide dataset die is samengesteld via gecontroleerde vluchtoperaties gedurende 8 maanden over 17 dataverzamelingsdagen. De methodologie legt de nadruk op diversiteit en realisme:

• Dataacquisitie: De dataset omvat 102.532 RGB-afbeeldingen en 29.630 thermische (IR) afbeeldingen. Deze zijn bemonsterd met 5 FPS uit 128 distincte videoclips (totaal 5,7 uur beeldmateriaal) om prioriteit te geven aan achtergrond- en scenesdiversiteit boven het volume van frames.
• Hardwareconfiguratie: Data werd vastgelegd met een "drone-naar-drone"-benadering.
  • RGB-Collectie: Een DJI Mini 3 fungeerde als cameradrone (opname van 4K-video met 30 FPS) terwijl een andere DJI Mini 3 diende als doelwit.
  • Thermische Collectie: Een Autel Robotics EVO II Dual 640T V3 fungeerde als cameradrone, waarbij gesynchroniseerde 4K RGB- en 640x512 IR-beelden werden vastgelegd, met een DJI Mini 3 als doelwit.
• Omgevingsdiversiteit: Vluchten vonden plaats in stedelijke, landelijke, beboste en open veldomgevingen. Omstandigheden varieerden per tijdstip van de dag (dageraad, middag, schemering), weer (helder, regenachtig, sneeuwend) en verlichting (zonnig, bewolkt, bewolkt).
• Afstand en Metadata: Een kernkenmerk is de opname van precieze afstandsinformatie. Met behulp van GPS-coördinaten en hoogtelogboeken van beide drones berekenden de auteurs de 3D-afstand tussen camera en doelwit met de Haversine-formule voor horizontale afstand en hoogteverschillen voor verticale afstand. Deze metadata bestrijkt afstanden van 0 tot 200 meter, met vele gevallen waarin de drone slechts 12 pixels in beeld inneemt.
• Annotatieproces: De dataset bevat 93.652 drone-annotaties, 6.031 vogelannotaties en 722 vliegtuigannotaties. Het labelingsproces maakte gebruik van een drie-stapsprocedure: geautomatiseerde voorlabeling via YOLOv11 en SAHI, handcorrectie met LabelImg en finale verificatie. Thermische annotaties werden gegenereerd door de corresponderende RGB-annotaties te herschalen en bij te snijden.

Belangrijkste Bijdragen
Het artikel positioneert LRDDv3 als een aanzienlijke vooruitgang ten opzichte van bestaande middelen door verschillende onderscheidende kenmerken:

1. Schaal en Resolutie: Het biedt een grootschalige collectie RGB-afbeeldingen met 4K-resolutie, een zeldzaamheid in datasets voor drone-detectie, naast gekoppelde 640x512 IR-afbeeldingen.
2. Uitgebreide Afstandsinformatie: In tegenstelling tot de meeste eerdere werken biedt LRDDv3 expliciete afstandsmetadata voor het doelwit, waardoor onderzoek mogelijk wordt naar prestaties van detectie afhankelijk van de afstand.
3. Multi-modale en Omgevingsdiversiteit: Het combineert uniek RGB- en thermische data met dynamische camerabeweging (lucht-naar-lucht), diverse weersomstandigheden en complexe achtergronden (inclusief occlusie en vermenging).
4. Realistische Bemonstering: Door te bemonsteren met 5 FPS in plaats van volledige videofrequentie, voorkomt de dataset kunstmatige inflatie en zorgt het voor een bredere variëteit aan achtergronden en verlichtingsscenario's per afbeelding.

Resultaten en Benchmarking
De auteurs evalueerden de bruikbaarheid van LRDDv3 via twee primaire benchmarkexperimenten:

• Generalisatie over Datasets: Modellen getraind op LRDDv3 werden getest tegen de Det-Fly-dataset (een benchmark voor kleine doelen). Het YOLOv11m-model getraind op LRDDv3 behaalde een mAP@50 van 0,485 en een mAP@50-95 van 0,261, en presteerde beter dan modellen getraind op DUT Anti-UAV en eerdere LRDD-versies, en presteerde vergelijkbaar met de Drone-vs-Bird-dataset. Dit suggereert dat LRDDv3 voldoende diversiteit biedt om goed te generaliseren naar andere detectiescenario's.
• Invloed van Resolutie: De auteurs onderzochten de impact van invoerresolutie door YOLOv11m-modellen op LRDDv3 te trainen met 640x640 versus 1920x1920. Het model met hogere resolutie toonde een aanzienlijke prestatieverbetering, met een mAP@50 van 0,822 vergeleken met 0,543 voor het model met lagere resolutie. Dit demonstreert dat de hoogresolutie-aard van de dataset effectief wordt benut door modellen die grotere invoergroottes kunnen verwerken.

Betekenis
Het artikel stelt dat LRDDv3 een belangrijke stap voorwaarts betekent in het mogelijk maken van betrouwbare detectiesystemen voor drones in gedeeld luchtruim. Door hoogresolutie, thermische beeldvorming, precieze afstanddata en diverse realistische omstandigheden te consolideren in één bron, adresseert de dataset de specifieke uitdagingen van detectie op lange afstand waar doelen klein zijn en omgevingscondities variabel zijn. De auteurs stellen dat LRDDv3 dient als een uitgebreide benchmark voor de ontwikkeling van detectie-algoritmen van de volgende generatie die robuust moeten functioneren over het volledige spectrum van detectieafstanden en omgevingen, en zo de kloof overbruggen tussen gecontroleerde laboratoriumdatasets en operationele eisen uit de echte wereld.