A Dual-Stream Network with Spatial Alignment and Swin Transformer Fusion for Visible-Infrared Object Detection
Dit artikel stelt een dual-stream zichtbaar-infrarood objectdetectienetwerk voor dat wavelet-gebaseerde feature-modellering, een OffsetNet-module voor ruimtelijke uitlijning en een SwinFusion-module voor cross-modale feature-fusie integreert om effectief ruimtelijke misuitlijning en modaliteitsverschillen aan te pakken, waardoor de detectienauwkeurigheid wordt verbeterd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van machine vision zijn camera's vaak gespecialiseerde instrumenten, elk met een specifieke manier om de wereld te zien. Standaardcamera's, zoals die in onze telefoons, leggen zichtbaar licht vast, waarbij ze de rijke kleuren, texturen en fijne details van een scène registreren. Deze beelden kunnen echter verdwijnen in het donker, vervagen door zware mist of worden overstraald door harde schittering. Infraroodcamera's bieden een ander perspectief. In plaats van gereflecteerd licht te zien, detecteren ze warmtestraling, waardoor ze warme objecten zoals mensen of motoren kunnen "zien", zelfs in totale duisternis of door rook. Hoewel elk type camera zijn sterke punten heeft, laat het vertrouwen op slechts één type camera gaten achter in ons begrip van een scène. Decennialang hebben onderzoekers geprobeerd deze twee weergaven te combineren tot één enkel, betrouwbaarder beeld, een proces dat bekend staat als visueel-infrarood objectdetectie. Het doel is om systemen te creëren die auto's, voetgangers of obstakels kunnen opsporen in elk weer, dag of nacht, door de kleur en textuur van zichtbaar licht te versmelten met de thermische helderheid van infrarode hitte.
De uitdaging is echter dat deze twee camera's de wereld zelden in perfecte synchronisatie zien. Omdat ze vaak op verschillende sensoren zijn gemonteerd of verschillende lenzen hebben, kunnen de beelden die ze vastleggen iets verschoven, gekanteld of anders geschaald zijn. Stel je voor dat je twee kaarten van dezelfde stad over elkaar probeert te leggen waarbij de ene iets groter is en naar links is verschoven; de straten zouden niet op één lijn liggen en de oriëntatiepunten zouden op de verkeerde plek staan. Wanneer een computer deze slecht uitgelijnde beelden probeert samen te voegen, is het resultaat een verwarrende bende waar de randen van objecten vervagen en het systeem faalt om te herkennen waar het naar kijkt. Bovendien zien de twee soorten beelden er fundamenteel verschillend uit voor een computer: de ene is vol kleur en textuur, terwijl de andere een kaart van hitte is. Het simpelweg stapelen van deze beelden op elkaar werkt niet goed, omdat de computer moeite heeft om te begrijpen hoe de warme vorm van een persoon in het infraroodbeeld overeenkomt met de gedetailleerde kleding van diezelfde persoon in het zichtbare beeld.
Om dit op te lossen, heeft een team onderzoekers van Soochow University en andere instellingen een nieuwe methode ontwikkeld die werkt als een bekwame editor, die de twee verschillende weergaven zorgvuldig uitlijnt en mengt voordat ze aan het detectiesysteem wordt gepresenteerd. Hun aanpak, die in een recente studie wordt beschreven, wijkt af van simpel mengen en behandelt de uitlijning en fusie in plaats daarvan als een proces met meerdere stappen. Eerst breekt het systeem de beelden af in verschillende lagen van detail, waarbij de brede vormen scheiden van de fijne randen. Dit stelt de computer in staat om de structurele integriteit van objecten te behouden terwijl het werkt aan de moeilijkere taak om ze met elkaar te matchen. De onderzoekers introduceerden vervolgens een specifiek onderdeel, dat ze een ruimtelijke uitlijningsmodule noemen, om het verschuivingsprobleem aan te pakken. In plaats van te proberen de gehele afbeelding fysiek te verplaatsen, voorspelt deze module kleine, taakspecifieke aanpassingen voor elk deel van het zichtbare beeld, waardoor de details effectief in de juiste positie worden geschoven ten opzichte van het infraroodbeeld. Het is een beetje zoals het scherpstellen van een cameralens, maar dan digitaal en onmiddellijk voor elk deel van de foto, om ervoor te zorgen dat de randen van een auto of een persoon perfect samenvallen met hun thermische signatuur.
Zodra de beelden zijn uitgelijnd, gebruikt het systeem een krachtige fusiemotor om ze te combineren. Deze motor is ontworpen om eerst de context binnen elk type beeld afzonderlijk te begrijpen — het leren van de patronen van hitte in het infraroodperspectief en de patronen van textuur in het zichtbare perspectief — voordat het probeert te fuseren. Door eerst elk perspectief individueel te begrijpen, kan het systeem ze vervolgens op een manier samenvoegen die de meest nuttige informatie uit beide benadrukt. Het kan bijvoorbeeld de scherpe randen uit het zichtbare beeld gebruiken om de vorm van een object te definiëren, terwijl het de warmtesignatuur uit het infraroodbeeld gebruikt om te bevestigen dat het object daadwerkelijk een levend wezen of een voertuig is. Deze stapsgewijze aanpak zorgt ervoor dat het uiteindelijke gecombineerde beeld niet alleen de som van twee delen is, maar een samenhangend, verbeterd beeld dat de beste kwaliteiten van beide behoudt.
De onderzoekers testten dit nieuwe systeem op vier verschillende publieke datasets, die realistische scenario's bevatten variërend van autonoom rijden op stadsstraten tot luchtbewaking vanuit drones. Deze datasets bevatten duizenden beeldparen die zijn opgenomen onder uiteenlopende omstandigheden, van helder daglicht tot pikzwarte nachten, en bevatten objecten van vele verschillende formaten. De resultaten toonden aan dat hun methode consistent beter presteerde dan bestaande technieken. Op een dataset gericht op autonoom rijden behaalde het nieuwe systeem een detectie-nauwkeurigheidsscore van 80,9 procent, wat hoger was dan eerdere methoden. Bij detectie van voetgangers bij weinig licht week het systeem af van de beste bestaande modellen, en bij detectie van voertuigen vanuit de lucht verbeterde het de mogelijkheid om kleine objecten van grote hoogte te spotten. De studie omvatte ook gedetailleerde tests om te bewijzen dat elk deel van hun systeem noodzakelijk was. Wanneer ze de uitlijningsmodule verwijderden, had het systeem moeite met misuitgelijnde beelden. Wanneer ze de geavanceerde fusiemotor verwijderden, miste het systeem subtiele details. De combinatie van beide componenten was wat de verbetering dreef.
Hoewel het systeem zeer effectief is, erkennen de onderzoekers dat het een prijs heeft. Het complexe proces van het uitlijnen en fuseren van de beelden vereist meer rekenkracht en tijd dan eenvoudigere methoden, wat het moeilijker kan maken om in realtime te draaien op kleine, op batterijen werkende apparaten. Daarnaast is de uitlijningsmodule ontworpen om kleine, lokale verschuivingen te corrigeren in plaats van enorme, globale misuitlijningen, wat betekent dat het het beste werkt wanneer de camera's al min of meer in dezelfde richting zijn gericht. Ondanks deze beperkingen toont het werk een duidelijke weg vooruit in machine vision. Door de uitlijning en fusie van verschillende cameratypes te behandelen als een zorgvuldig, gestructureerd proces in plaats van een simpel mengsel, hebben de onderzoekers aangetoond dat computers de wereld duidelijker kunnen zien, waarbij ze de kleur van de dag combineren met de hitte van de nacht om een veiliger, betrouwbaarder beeld te creëren voor alles van zelfrijdende auto's tot beveiligingsdrones.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.