Evaluating an Adaptive Multispectral Turret System for Autonomous Tracking Across Variable Illumination Conditions

Technische Samenvatting: Evaluatie van een Adaptief Multispectraal Turret-systeem voor Autonoom Tracken onder Variabele Verlichtingsomstandigheden

Probleemstelling
Autonome robotplatforms worden steeds vaker ingezet in kritieke sectoren zoals hulpdiensten en defensie, waarbij betrouwbare realtime objectdetectie vereist is onder onvoorspelbare omgevingsfactoren. Traditionele Red-Green-Blue (RGB) detectie-pipelines verslechteren aanzienlijk in omgevingen met weinig licht, terwijl Long-Wave Infrared (LWIR) thermische systemen, hoewel effectief in het donker, een gebrek hebben aan de kleur- en textuurinformatie die visuele sensoren bieden. Bestaande multimodale fusie-benaderingen kampen vaak met een mismatch tussen de benchmark-prestaties en de operationele betrouwbaarheid in de echte wereld, met name wat betreft de trade-offs tussen fusiestrategieën, computationele efficiëntie op embedded platforms en de adaptiviteit aan dynamische verlichtingsveranderingen zonder menselijke tussenkomst.

Methodologie
De auteurs hebben een adaptief framework ontwikkeld dat RGB- en LWIR-videostreams fuseert om de prestaties van autonome tracking te verbeteren. De systeemarchitectuur bestaat uit een Raspberry Pi 5-gebaseerd turret-prototype uitgerust met een RGB-camera (Emeet S600), een thermische camera (FLIR Vue Pro R) en een omgevingslichtsensor (Adafruit VEML7700). De Pi stuurt sensordata door naar een remote server voor rekenintensieve inferentie, waarna detectiecoördinaten worden geretourneerd naar de stappenmotoren voor pan en tilt.

De kern van de experimentele methodologie omvatte:

1. Dataverzameling: Gesynchroniseerde RGB- en thermische videostreams werden opgenomen met doelobjecten (mokken van variërende kleuren) op een roterend platform. Ongeveer 22.000 gefuseerde afbeeldingen werden gegenereerd en geannoteerd.
2. Categorisering van Verlichting: Scènes werden geclassificeerd in drie categorieën op basis van lux-metingen: Volledig licht (>1000 lux), Gedimd licht (10–1000 lux) en Geen licht (<10 lux).
3. Fusiestrategie: Frames werden gefuseerd met behulp van een lineaire blending-formule ($F = \alpha \cdot RGB_{norm} + (1 - \alpha) \cdot LWIR_{norm}$) over 11 ratio's ($\alpha$ van 1.0 tot 0.0 in stappen van 0.1), variërend van pure RGB tot pure LWIR.
4. Modeltraining: De auteurs hebben 33 verschillende YOLOv11 nano (YOLOv11n) modellen fijn afgesteld. Elk model is gespecialiseerd voor een specifieke combinatie van één fusieratio en één verlichtingscategorie. Twee vooraf getrainde baselines (YOLOv5n en YOLOv11n getraind op COCO) werden gebruikt voor vergelijking.
5. Evaluatie: Prestaties werden gemeten aan de hand van de gemiddelde detectie-betrouwbaarheid over zes mokkleuren (inclusclusief twee niet eerder geteste kleuren: teal en geel). Een samengestelde score werd berekend om de gemiddelde betrouwbaarheid af te wegen tegen de standaarddeviatie (variabiliteit) om de meest robuuste modellen te identificeren.

Belangrijkste Bijdragen
Het paper presenteert drie primaire bijdragen:

1. Praktische Fusie-aanpak: Een methode om uitgelijnde RGB- en LWIR-beelden te mengen op variërende transparantieniveaus om de zichtbaarheid van doelobjecten onder diverse lichtomstandigheden te verbeteren.
2. Gespecialiseerde Modeltraining: De training en evaluatie van 33 YOLO-modellen om optimale fusieconfiguraties voor specifieke lichtregimes te identificeren, gebruikmakend van een dataset van meer dan 22.000 geannoteerde afbeeldingen die de auteurs open-source hebben beschikbaar gesteld.
3. Adaptief Framework: De implementatie van een runtime-systeem dat dynamisch de optimale detectiemodellen selecteert op basis van de omgevingsverlichting, waardoor de turret kan schakelen tussen lichtspecifieke modellen zonder handmatige tussenkomst.

Resultaten
Evaluatie toonde aan dat adaptieve RGB–LWIR fusie de single-modality baselines (YOLOv5n en YOLOv11n) onder alle omstandigheden aanzienlijk overtrof:

• Volledig Licht: De optimale configuratie was 80% RGB / 20% LWIR, met een gemiddelde betrouwbaarheid van 92,8%. Dit presteerde significant beter dan de YOLOv11n baseline (82,6%) en YOLOv5n (71,5%).
• Gedimd Licht: De 90% RGB / 10% LWIR configuratie leverde de hoogste prestaties met een gemiddelde betrouwbaarheid van 92,0%, waarmee de YOLOv11n (72,4%) en YOLOv5n (69,5%) baselines werden overtroffen.
• Geen Licht: Prestaties piekten bij intermediaire fusieniveaus. Het 40% RGB / 60% LWIR model bereikte 71,0% betrouwbaarheid. Hoewel de 50/50 ratio een iets hogere gemiddelde betrouwbaarheid vertoonde, werd de 40/60 ratio gekozen als optimaal vanwege de aanzienlijk lagere variabiliteit (hogere samengestelde score). Beide fusiemodellen presteerden beter dan de baselines (YOLOv11n: 54,1%; YOLOv5n: 38,4%), hoewel de statistische significantie lager was dan in verlichte condities.
• Generalisatie: Het systeem behield een hoge betrouwbaarheid op de niet-geteste mokkleuren (teal en geel), wat aangeeft dat de geleerde fusiegedragingen generaliseerden buiten de trainingsset.

Betekenis en Claims
De auteurs claimen dat hun werk de superioriteit van adaptieve, verlichtingsbewuste fusie boven vaste fusiestrategieën of single-modality detectie aantoont. Door dynamisch de optimale fusieratio en de bijbehorende gespecialiseerde modellen te selecteren op basis van realtime lux-metingen, bereikt het systeem een absolute winst van wel 30% in de gemiddelde detectiebetrouwbaarheid vergeleken met de baseline YOLO-modellen.

Het paper benadrukt dat een enkele, vaste fusieratio suboptimaal is voor variabele omgevingen. In plaats daarvan staat de voorgestelde aanpak van het trainen van conditie-specifieke modellen het systeem toe om de sterke punten van RGB (textuur, kleur) in heldere omstandigheden en LWIR (thermische signaturen) in het donker te benutten, terwijl tussenliggende blends worden gebruikt om detectie te stabiliseren wanneer één modaliteit gedegradeerd is. De auteurs merken op dat deze aanpak de implementatie op embedded systemen vereenvoudigt door te vertrouwen op een enkele sensoraflezing voor modelwisseling, in plaats op complexe, rekenintensieve online feature reweighting. De resultaten suggereren dat dit framework direct toepasbaar is op missiekritieke taken zoals autonome beveiligingstorens, mobiele robotica en zoek- en reddingsoperaties waar lichtomstandigheden abrupt kunnen veranderen.

Beperkingen
De auteurs erkennen verschillende beperkingen, waaronder een train-test domeinverschuiving waarbij statische trainingsbeelden werden getest tegen dynamische beweging, potentiële labelruis door handmatige annotatie, en het gebruik van een enkel vast thermisch kleurenpalet. Ze merken ook op dat sensorgruis en thermische reflecties incidenteel zorgden voor fout-positieven. Toekomstig werk wordt voorgesteld om dit aan te pakken door de diversiteit van de dataset uit te breiden, data-augmentatie toe te passen en temporele redeneerarchitecturen te verkennen.