💻 informatica

Lightweight Real-Time RGB-IR Pedestrian Detection Based on DoG Detail Enhancement and Region-Guided Attention

Dit artikel stelt DRGF-YOLOv10n voor, een lichtgewicht real-time RGB-IR voetgangersdetectiemethode die een DualBranchStem integreert met DoG-detailverbetering en Region-Guided Spatial Attention om de nauwkeurigheid en robuustheid in complexe omgevingen te verbeteren, terwijl de hoge inferentiesnelheid behouden blijft.

Oorspronkelijke auteurs: LinXi Zhong, Zhaohui Xiao

Gepubliceerd 2026-10-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: LinXi Zhong, Zhaohui Xiao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van computer vision leren machines voortdurend zien, maar ze worstelen vaak met dezelfde beperkingen die het menselijk oog in moeilijke omstandigheden teisteren. Een camera die uitsluitend vertrouwt op zichtbaar licht, het soort dat we dagelijks gebruiken, kan gemakkelijk in de war worden gebracht door duisternis, hevige regen of verblindende schittering, waardoor het mensen kan missen die in de schaduw staan. Omgekeerd kunnen camera's die warmte detecteren, bekend als infraroodsensoren, een warm lichaam in het pikdonker opsporen, maar ze slagen er vaak niet in te tonen hoe dat lichaam eruitziet, waardoor het verschijnt als een wazige, textuurloze vlek. Om dit op te lossen, proberen onderzoekers al lang deze twee soorten visie te combineren, in de hoop de scherpe details van een standaardfoto te versmelten met de warmtegevoelige kracht van een thermische camera. De uitdaging ligt erin om een computer te leren deze twee zeer verschillende stromen informatie te mengen zonder de specifieke sterktes van een van beide te verliezen, terwijl het systeem snel genoeg blijft om in realtime te draaien op een laptop of een beveiligingscamera.

Een team onderzoekers aan de Chongqing University of Technology heeft een nieuwe aanpak voor dit probleem ontwikkeld, waarbij een systeem is gecreëerd dat is ontworpen om voetgangers met hoge betrouwbaarheid te detecteren, zelfs in rommelige, complexe omgevingen. Hun methode, gebouwd op een lichtgewicht detectiekader, behandelt het beeld met zichtbaar licht en het warmtebeeld vanaf het begin als twee aparte informatiestromen, in plaats van ze direct samen te persen. Ze ontdekten dat door deze twee weergaven tijdens de initiële verwerking gescheiden te houden, de computer de textuur en randen van een persoon vanuit het zichtbare licht beter kan begrijpen, terwijl hij tegelijkertijd hun warmtesignatuur volgt. Deze duale-streamstrategie voorkomt dat het systeem in de war raakt door de verschillen tussen de twee soorten beelden, waardoor het een veel duidelijker beeld kan opbouwen van wie er in de scène aanwezig is.

Om het beeld met zichtbaar licht nog nuttiger te maken, hebben de onderzoekers een specifieke stap toegevoegd voordat de computer zelfs maar begint aan zijn hoofdanalyse. Ze pasten een techniek toe die werkt als een verscherpingsfilter, specifiek ontworpen om de contouren en randen van objecten te benadrukken. Dit proces zorgt ervoor dat de fijne details van iemands kleding of de curve van een schouder duidelijker afsteken tegen een rommelige achtergrond, wat de tekortkomingen compenseert van het feit dat de warmtecamera vaak deze fijne details mist. Door dit verbeterde, scherpere beeld samen met de ruwe warmtedata in het systeem te voeden, krijgt de computer een rijker pakket aan aanwijzingen om mee te werken, wat het makkelijker maakt om een echt persoon te onderscheiden van een verwarrende patch achtergrondruis.

Het systeem bevat ook een slim focusmechanisme dat in werking treedt nadat de computer de beelden tot een bepaalde diepte heeft verwerkt. In plaats van te proberen aan elk deel van de afbeelding evenveel aandacht te besteden, wat rekenkracht zou verspillen, leert dit mechanisme om irrelevante achtergronddetails zoals bomen, hekken of schaduwen te negeren. Het concentreert zijn energie specifiek op de gebieden waar een persoon waarschijnlijk is, waardoor het effectief het volume van de voetganger omhoog draait en het volume van de rest van de wereld omlaag draait. Deze selectieve aandacht helelt het systeem om valse meldingen te vermijden, waardoor het bij een detectiemelding zeer zeker is dat er daadwerkelijk een persoon aanwezig is.

Wanneer het systeem werd getest op een standaard dataset die gepaard ging met zichtbare en infrarode beelden van voetgangers, toonde het nieuwe systeem een significante verbetering in precisie vergeleken met eerdere methoden. Het behaalde een precisiescore van 0,9204, wat betekent dat wanneer het systeem zei dat het een persoon zag, het in meer dan 92 procent van de gevallen correct was. Hoewel het systeem sommige verre of zeer kleine doelen miste, wat resulteerde in een lager percentage van het vangen van elke persoon, was het vermogen om valse meldingen te vermijden de sterkste kant. De onderzoekers merkten op dat het systeem met een snelheid van ongeveer 31 frames per seconde draait op een standaard laptop grafische kaart, wat snel genoeg is voor real-time videobewaking.

De auteurs suggereren dat dit hulpmiddel niet noodzakelijkerwijs bedoeld is als de eerste verdedigingslinie in een beveiligingssysteem, maar eerder als een zeer betrouwbare tweede mening. In een typische surveillance-opstelling kan een eerste detector een videofeed scannen en vele potentiële doelwitten signaleren om ervoor te zorgen dat er niets wordt gemist, zelfs als het per ongeluk ook onschuldige objecten signaleert. Dit nieuwe systeem zou dan fungen als een verificatiestap, waarbij de gesignaleerde gebieden opnieuw worden onderzocht met zijn scherpe randversterking en gefocuste aandacht om te bevestigen welke er werkelijk mensen zijn. Deze tweestapsbenadering stelt beveiligingssystemen in staat om hoge veiligheidsstandaarden te handhaven zonder overweldigd te worden door constante, onjuiste meldingen, wat het bijzonder waardevol maakt voor nachtelijke monitoring of gebieden waar valse meldingen kostbaar en verstorend zijn.

Technische Samenvatting: Lichtgewicht Real-Time RGB-IR Voetgangersdetectie gebaseerd op DoG Detailverbetering en Regio-gestuurde Aandacht

Probleemstelling
Voetgangersdetectie is cruciaal voor intelligente surveillance en autonoom rijden, maar staat voor aanzienlijke uitdagingen in complexe omgevingen. Single-modal RGB-detectie worstelt met lage verlichting, tegenlicht en rommelige achtergronden, terwijl single-modal Infrarood (IR) detectie een tekort aan textuur en semantische randdetails vertoont, ondanks de thermische salientie-voordelen. Bestaande multimodale fusie-benaderingen vertrouwen vaak op zware architecturen of eenvoudige kanaalconcentratie, wat kan falen in het behouden van modale-specifieke kenmerken of het voldoen aan de vereisten voor real-time inferentie. Bov Furthermore kunnen standaard aandachtmechanismen computationeel duur zijn of onbedoeld nuttige lokale details onderdrukken wanneer ze te vroeg in het netwerk worden toegepast.

Methodologie
Het artikel stelt DRGF-YOLOv10n voor, een lichtgewicht, real-time voetgangersdetectiekader gebouwd op de YOLOv10n-architectuur. De methode integreert drie kerncomponenten om de beperkingen van single-modal detectie en complexe fusiestrategieën aan te pakken:

DualBranchStem Inputstructuur:
In plaats van RGB- en IR-kanalen te concentreren tot een enkel zeskanaals input voor standaard convolutie, introduceren de auteurs een DualBranchStem. Deze module verwerkt RGB- en IR-beelden via afzonderlijke parallelle takken in de initiële fase. De RGB-tak extraheert textuur-, rand- en contourkenmerken, terwijl de IR-tak thermische salientie-informatie extraheert. Deze kenmerken worden pas gefuseerd na de initiële extractie, waardoor de onderscheidende kenmerken van elke modaliteit behouden blijven voordat ze worden gecombineerd voor het backbone-netwerk.
DoG Detailverbetering (Preprocessing):
Om de beperkte textuur en randdetails in IR-beelden te compenseren en de perceptie van de RGB-tak voor zwakke targets te versterken, wordt een Difference of Gaussian (DoG) operatie toegepast tijdens de RGB-datapreprocessingfase.
- De operatie wordt geformuleerd als een residuele verbetering: $I_{rgb\_dog} = I_{rgb} + \alpha \cdot (G_{\sigma1}(I_{rgb}) - G_{\sigma2}(I_{rgb}))$ , waarbij $\alpha = 0.025$ .
- Deze stap benadrukt hoogfrequente randen en lokale structurele variaties zonder de thermische salientie-kenmerken van de IR-input te wijzigen. Het wordt toegepast als een vaste preprocessing-stap, niet als een leerbare laag binnen het netwerk.
Regio-gestuurde Ruimtelijke Aandacht (RG-SA):
Een lichtgewicht Region-Guided Spatial Attention (RG-SA) module wordt ingebed in de achtste laag van de YOLOv10n backbone (een diepe semantische fase).
- Mechanisme: De module maakt gebruik van een Region Guidance Module (RGM) om inputkenmerken te comprimeren tot laag-resolutie regionale kenmerken ( $X_r$ ). Vervolgens genereert het een Query ( $Q$ ) uit de originele hoog-resolutie kenmerken en Key/Value ( $K, V$ ) uit de regionale kenmerken.
- Rationale: Door laag-resolutie regionale kenmerken te gebruiken voor $K$ en $V$ , vermindert de module de computationele complexiteit in vergelijking met globale zelf-aandacht. Het plaatsen van de module in de diepe laag zorgt ervoor dat het aandachtmechanisme opereert op rijke semantische informatie in plaats van oppervlakkige textuurruis, wat de voetganger-gerelateerde regio's effectief versterkt terwijl achtergrondinterferentie wordt onderdrukt.

Belangrijkste Bijdragen
De auteurs vatten hun bijdragen als volgt samen:

DualBranchStem: Een dual-branch inputstructuur die afzonderlijk RGB textuur-rand en IR thermische salientie kenmerken extraheert, waardoor de beperkingen van single-modal detectie worden gemitigeerd en de valkuilen van vroege oppervlakkige feature-mixing worden vermeden.
RG-SA Integratie: De integratie van een lichtgewicht regio-gestuurd aandachtmechanisme in de diepe RGB-tak om voetganger-regio responsen te versterken en achtergrondinterferentie te onderdrukken.
DoG Detailverbetering: De introductie van een DoG-gebaseerde preprocessing-strategie voor de RGB-tak om lokale randen en contourdetails te versterken, wat de door complexe achtergronden veroorzaakte detaildegradatie aanpakt.

Experimentele Resultaten
Experimenten werden uitgevoerd op de CVC-14 RGB-IR voetgangersdataset met behulp van een NVIDIA RTX 5060 Laptop GPU.

Prestaties: Het voorgestelde DRGF-YOLOv10n behaalde een Precision van 0.9204, Recall van 0.1912, mAP50 van 0.5231, en mAP50-95 van 0.2361.
Vergelijkingen: Het model presteerde beter dan single-modal baselines (alleen RGB en alleen IR) en een eenvoudige zes-kanaals concatenatie baseline. Het vertoonde ook superieure Precision en mAP vergeleken met andere fusiestrategieën zoals CBAM-6ch en SE-6ch Fusion, ondanks een kleiner modelformaat (32.01 MB).
Efficiëntie: Het model behoudt real-time prestaties met 2.894M parameters, 1.908 GFLOPs, en een inferentie latentie van 31.47 ms (ongeveer 31.78 FPS), wat voldoet aan de vereiste van 25–30 FPS voor videobewaking.
Ablatie: Het verwijderen van sterke data-augmentaties (bijv. Mosaic, MixUp) bleek cruciaal, aangezien deze lokale achtergrondtexturen kunnen versterken en de voordelen van DoG-verbetering kunnen tegenwerken.

Betekenis en Positionering
Het artikel positioneert DRGF-YOLOv10n expliciet niet als een standalone high-recall detector voor de gehele detectiepipeline, maar als een post-stage high-confidence verificatiemodule voor foutieve melding-gevoelige surveillancesystemen.

Hoge Precisie, Lagere Recall: Het model vertoont een hoge precisie maar een lagere recall, wat duidt op een neiging om alleen zeer betrouwbare targets te outputten. Dit kenmerk wordt ingezet om foutieve meldingen te filteren die worden gegenereerd door een front-stage detector (die een lagere drempelwaarde gebruikt om een hoge recall te garanderen).
Toepassingsscenario: De auteurs suggereren een gecascadeerde implementatie waarbij een front-stage detector kandidaat-regio's identificeert, en DRGF-YOLOv10n een secundaire verificatie uitvoert om foutieve meldingen veroorzaakt door schaduwen, warmtebronnen of niet-menselijke objecten te filteren. Deze aanpak is bijzonder geschikt voor scenario's waar foutieve meldingen kostbaar zijn, zoals indringingdetectie in industrieparken, nachtelijke magazijnbewaking en perimeterbeveiliging.
Toekomstverwachting: De auteurs erkennen dat het model nog steeds moeite heeft met verre, kleinschalige of zwaar geoccludeerde targets. Toekomstig werk kan zich richten op het verbeteren van de recall door betere cross-modale uitlijning en dynamische fusiestrategieën, maar de huidige bijdrage is gekaderd als een robuuste oplossing voor het verfijnen van detectiebetrouwbaarheid in complexe, real-time omgevingen.

Meer zoals dit