💻 informatica

Lightweight Real-Time RGB-IR Pedestrian Detection Based on DoG Detail Enhancement and Region-Guided Attention

Questo articolo propone DRGF-YOLOv10n, un metodo leggero e in tempo reale per il rilevamento di pedoni in modalità RGB-IR che integra un Dual-Branch Stem con l'ههness di dettaglio DoG e una Region-Guided Spatial Attention per migliorare l'accuratezza e la robustezza in ambienti complessi, mantenendo al contempo un'elevata velocità di inferenza.

Autori originali: LinXi Zhong, Zhaohui Xiao

Pubblicato 2026-10-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: LinXi Zhong, Zhaohui Xiao

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo della visione artificiale, le macchine imparano costantemente a vedere, ma spesso lottano con i medesimi limiti che affliggono l'occhio umano in condizioni difficili. Una telecamera che si affida esclusivamente alla luce visibile, quella che usiamo ogni giorno, può essere facilmente confusa dall'oscurità, dalla pioggia battente o da un bagliore accecante, finendo per non vedere persone che si trovano nell'ombra. Al contrario, le telecamere che rilevano il calore, note come sensori a infrarossi, possono individuare un corpo caldo nel buio pesto, ma spesso non riescono a mostrare l'aspetto di quel corpo, rendendolo una macchia sfocata e priva di texture. Per risolvere questo problema, i ricercatori cercano da tempo di combinare questi due tipi di visione, sperando di fondere i dettagli nitidi di una foto standard con il potere di rilevamento termico di una telecamera termica. La sfida consiste nell'insegnare a un computer come fondere questi due flussi di informazioni molto diversi senza perdere i punti di forza di ciascuno, il tutto mantenendo il sistema abbastanza veloce da poter funzionare in tempo reale su un laptop o una telecamera di sicurezza.

Un team di ricercatori della Chongqing University of Technology ha sviluppato un nuovo approccio a questo problema, creando un sistema progettato per individuare i pedoni con alta affidabilità anche in ambienti disordinati e complessi. Il loro metodo, basato su un framework di rilevamento leggero, tratta l'immagine a luce visibile e l'immagine termica come due flussi di informazioni separati fin dall'inizio, invece di fonderli immediatamente. Hanno scoperto che mantenendo queste due viste distinte per l'elaborazione iniziale, il computer può comprendere meglio la texture e i bordi di una persona dalla luce visibile, tracciando simultaneamente la sua firma termica. Questa strategia a doppio flusso impedisce al sistema di confondersi a causa delle differenze tra i due tipi di immagini, permettendogli di costruire un'immagine molto più chiara di chi è presente nella scena.

Per rendere l'immagine a luce visibile ancora più utile, i ricercatori hanno aggiunto un passaggio specifico prima ancora che il computer inizi la sua analisi principale. Hanno applicato una tecnica che agisce come un filtro di nitidezza, progettato specificamente per evidenziare i contorni e i bordi degli oggetti. Questo processo fa sì che i dettagli fini dei vestiti di una persona o la curva di una spalla risaltino più chiaramente contro uno sfondo confuso, compensando il fatto che la telecamera termica spesso manca di questi dettagli fini. Alimentando il sistema con questa immagine potenziata e più nitida insieme ai dati termici grezzi, il computer ottiene un insieme più ricco di indizi con cui lavorare, rendendo più facile distinguere una persona reale da una zona confusa di rumore di fondo.

Il sistema include anche un meccanismo di messa a fuoco intelligente che interviene dopo che il computer ha elaborato le immagini fino a una certa profondità. Invece di cercare di prestare attenzione a ogni singola parte dell'immagine allo stesso modo, il che sprecherebbe potenza di calcolo, questo meccanismo impara a ignorare i dettagli irrilevanti dello sfondo come alberi, recinzioni o ombre. Concentra la sua energia specificamente sulle aree in cui è probabile che si trovi una persona, aumentando efficacementmente il volume del pedone e abbassando il volume del resto del mondo. Questa attenzione selettiva aiuta il sistema a evitare falsi allarmi, assicurando che quando segnala un rilevamento, sia altamente fiducioso che una persona sia effettivamente presente.

Quando testato su un dataset standard contenente coppie di immagini di pedoni a luce visibile e infrarossi, il nuovo sistema ha mostrato un miglioramento significativo della precisione rispetto ai metodi precedenti. Ha raggiunto un punteggio di precisione di 0,9204, il che significa che quando il sistema diceva di aver visto una persona, era corretto più del 92 percento delle volte. Sebbene il sistema abbia mancato alcuni bersagli distanti o molto piccoli, risultando in un tasso più basso di cattura di ogni singolo individuo, la sua capacità di evitare falsi allarmi è stata il suo punto di forza. I ricercatori hanno osservato che il sistema funziona a una velocità di circa 31 fotogrammi al secondo su una normale scheda grafica per laptop, il che è sufficiente per il monitoraggio video in tempo reale.

Gli autori suggeriscono che questo strumento non è necessariamente destinato ad essere la prima linea di difesa di un sistema di sicurezza, ma piuttosto un secondo parere altamente affidabile. In una tipica configurazione di sorveglianza, un primo rilevatore potrebbe scansionare un feed video e segnalare molti potenziali bersagli per garantire che nulla venga perso, anche se segnala per errore alcuni oggetti innocui. Questo nuovo sistema agirebbe quindi come uno step di verifica, riesaminando le aree segnalate con il suo potenziamento dei bordi e la sua attenzione focalizzata per confermare quali siano realmente persone. Questo approccio a due stadi permette ai sistemi di sicurezza di mantenere elevati standard di sicurezza senza essere sopraffatti da continui avvisi errati, rendendolo particolarmente prezioso per il monitoraggio notturno o per aree in cui i falsi allarmi sono costosi e di disturbo.

Sintesi Tecnica: Rilevamento di Pedoni RGB-IR Leggero e in Tempo Reale Basato su Miglioramento dei Dettagli DoG e Attenzione Guidata dalle Regioni

Problematica
Il rilevamento dei pedoni è fondamentale per la sorveglianza intelligente e la guida autonoma, ma affronta sfide significative in ambienti complessi. Il rilevamento a singola modalità RGB fatica in condizioni di bassa illuminazione, controluce e sfondi disordinati, mentre il rilevamento a singola modalità Infrarossa (IR) manca di dettagli relativi a texture e confini semantici, nonostante i suoi vantaggi di salienza termica. Gli approcci di fusione multimodale esistenti spesso si affidano ad architetture pesanti o a una semplice concatenazione di canali, che possono non riuscire a preservare le caratteristiche specifiche di ogni modalità o a soddisfare i requisiti di inferenza in tempo reale. Inoltre, i meccanismi di attenzione standard possono essere computazionalmente costosi o possono involontariamente sopprimere utili dettagli locali se applicati troppo presto nella rete.

Metodologia
Il documento propone DRGF-YOLOv10n, un framework leggero e in tempo reale per il rilevamento dei pedoni basato sull'architettura YOLOv10n. Il metodo integra tre componenti principali per affrontare i limiti del rilevamento a singola modalità e le strategie di fusione complesse:

Struttura di Input DualBranchStem:
Invece di concatenare i canali RGB e IR in un unico input a sei canali per la convoluzione standard, gli autori introducono un DualBranchStem. Questo modulo elabora le immagini RGB e IR attraverso rami paralleli separati nella fase iniziale. Il ramo RGB estrae caratteristiche di texture, bordi e contorni, mentre il ramo IR estrae informazioni di salienza termica. Queste caratteristiche vengono fuse solo dopo l'estrazione iniziale, preservando le distinte caratteristiche di ciascuna modalità prima di combinarle per la rete backbone.
Miglioramento dei Dettagli DoG (Pre-elaborazione):
Per compensare i limitati dettagli di texture e contorno nelle immagini IR e per rafforzare la percezione di target deboli nel ramo RGB, un'operazione di Differenza di Gaussiana (DoG) viene applicata durante la fase di pre-elaborazione dei dati RGB.
- L'operazione è formulata come un potenziamento residuo: $I_{rgb\_dog} = I_{rgb} + \alpha \cdot (G_{\sigma1}(I_{rgb}) - G_{\sigma2}(I_{rgb}))$ , dove $\alpha = 0.025$ .
- Questo passaggio evidenzia i bordi ad alta frequenza e le variazioni strutturali locali senza alterare le caratteristiche di salienza termica dell'input IR. Viene applicato come un passaggio di pre-elaborazione fisso, non come uno strato apprendibile all'interno della rete.
Attenzione Spaziale Guidata dalla Regione (RG-SA):
Un modulo di Attenzione Spaziale Guidata dalla Regione (RG-SA) leggero è incorporato nell'ottavo strato del backbone di YOLOv10n (uno stadio semantico profondo).
- Meccanismo: Il modulo utilizza un Modulo di Guida Regionale (RGM) per comprimere le caratteristiche di input in caratteristiche regionali a bassa risoluzione ( $X_r$ ). Genera quindi la Query ( $Q$ ) dalle caratteristiche ad alta risoluzione originali e la Chiave/Valore ( $K, V$ ) dalle caratteristiche regionali.
- Razionale: Utilizzando le caratteristiche regionali a bassa risoluzione per $K$ e $V$ , il modulo riduce la complessità computazionale rispetto all'auto-attenzione globale. Posizionare l'attenzione in uno strato profondo assicura che il meccanismo operi su informazioni semantiche ricche piuttosto che su rumore di texture superficiale, rafforzando efficacemente le regioni relative ai pedoni e sopprimendo l'interferenza dello sfondo.

Contributi Chiave
Gli autori riassumono i loro contributi come segue:

DualBranchStem: Una struttura di input a doppio ramo che estrae separatamente le caratteristiche di texture-bordo RGB e la salienza termica IR, mitigando i limiti del rilevamento a singola modalità ed evitando le criticità della miscelazione precoce di caratteristiche superficiali.
Integrazione RG-SA: L'incorporazione di un meccanismo di attenzione guidata dalla regione leggero nel ramo RGB profondo per potenziare le risposte delle regioni dei pedoni e sopprimere l'interferenza dello sfondo.
Miglioramento dei Dettagli DoG: L'introduzione di una strategia di pre-elaborazione basata su DoG per il ramo RGB per rinforzare i dettagli locali di bordi e contorni, affrontando la degradazione dei dettagli causata da sfondi complessi.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul dataset per pedoni RGB-IR CVC-14 utilizzando una GPU per laptop NVIDIA RTX 5060.

Prestazioni: Il DRGF-YOLOv10n proposto ha raggiunto una Precision di 0.9204, un Recall di 0.1912, un mAP50 di 0.5231 e un mAP50-95 di 0.2361.
Confronti: Il modello ha superato i baseline a singola modalità (solo RGB e solo IR) e un baseline di semplice concatenazione a sei canali. Ha inoltre dimostrato una Precision e un mAP superiori rispetto ad altre strategie di fusione come CBAM-6ch e SE-6ch Fusion, nonostante abbia una dimensione del modello inferiore (32.01 MB).
Efficienza: Il modello mantiene prestazioni in tempo reale con 2.894M di parametri, 1.908 GFLOPs e una latenza di inferenza di 31.47 ms (circa 31.78 FPS), soddisfacendo il requisito di 25–30 FPS per la videosorveglianza.
Ablazione: La rimozione di forti aumenti dei dati (es. Mosaic, MixUp) è risultata cruciale, poiché potrebbero amplificare le texture locali dello sfondo e controbilanciare i benefici del miglioramento DoG.

Significato e Posizionamento
Il documento posiziona esplicitamente DRGF-YOLOv10n non come un rilevatore standalone ad alto recall per l'intera pipeline di rilevamento, ma come un modulo di verifica ad alta confidenza post-stadio per sistemi di sorveglianza sensibili ai falsi allarmi.

Alta Precisione, Basso Recall: Il modello presenta un'alta precisione ma un recall più basso, indicando una tendenza a produrre solo target ad alta confidenza. Questa caratteristica è sfruttata per filtrare i falsi positivi generati da un rilevatore di primo stadio (che utilizza una soglia più bassa per garantire un alto recall).
Scenario di Applicazione: Gli autori suggeriscono un deployment a cascata in cui un rilevatore di primo stadio identifica le regioni candidate e DRGF-YOLOv10n esegue la verifica secondaria per filtrare i falsi allarmi causati da ombre, fonti di calore o oggetti non umani. Questo approccio è particolarmente adatto a scenari in cui i falsi allarmi sono costosi, come il rilevamento di intrusioni in parchi industriali, il monitoraggio di magazzini notturni e la sicurezza perimetrale.
Prospettive Future: Gli autori riconoscono che il modello ha ancora difficoltà con target distanti, di piccola scala o pesantemente occlusi. Il lavoro futuro potrebbe concentrarsi sul miglioramento del recall attraverso un migliore allineamento cross-modale e strategie di fusione dinamica, ma l'attuale contributo è inquadrato come una soluzione robusta per affinare l'affidabilità del rilevamento in ambienti complessi e in tempo reale.

Articoli simili