Automatic Labelling for Low-Light Pedestrian Detection

Titolo: Etichettatura Automatica per la Rilevazione di Pedoni in Condizioni di Bassa Luce

1. Il Problema

La rilevazione dei pedoni è fondamentale per la sicurezza nei veicoli autonomi (AV) e nei sistemi avanzati di assistenza alla guida (ADAS). Tuttavia, le condizioni di scarsa illuminazione (notturne) rappresentano una sfida critica.

• Limitazioni attuali: I sensori predominanti sono le telecamere RGB, la cui efficacia crolla drasticamente al buio a causa della bassa contrasto, del rumore e della perdita di dettagli visivi.
• Mancanza di dati: Esistono pochi dataset pubblici e pipeline di etichettatura automatica efficienti specificamente per la rilevazione di pedoni in condizioni di bassa luce. L'annotazione manuale è un collo di bottiglia costoso e lento.
• Necessità: È necessario un metodo scalabile per generare dati di addestramento etichettati per migliorare i modelli di rilevazione RGB in ambienti notturni senza richiedere un intervento umano massiccio.

2. Metodologia

Gli autori propongono una pipeline di etichettatura automatica da Infrarosso (IR) a RGB. Il processo si basa sul fatto che le telecamere IR sono invarianti alla luce visibile e rilevano la radiazione termica emessa dai pedoni, rendendo la loro rilevazione più affidabile anche al buio.

La pipeline consta di tre fasi principali (illustrate nella Fig. 1 del paper):

1. Rilevazione IR Automatica: Un modello di rilevazione pedoni per immagini IR (addestrato su dati diurni) viene utilizzato per rilevare i pedoni nelle immagini IR notturne. Poiché la firma termica dei pedoni è distinta dallo sfondo anche di notte, il modello generalizza bene.
2. Trasferimento delle Etichette: Le coordinate dei riquadri (bounding box) rilevati nell'immagine IR vengono trasferite direttamente all'immagine RGB corrispondente. Questo richiede che le telecamere IR e RGB siano allineate e calibrate (come nel dataset KAIST, dove un beam splitter garantisce l'allineamento dei punti principali).
3. Addestramento del Modello RGB: I dati RGB etichettati automaticamente (autolabels) vengono utilizzati per addestrare modelli di rilevazione oggetti specifici per la bassa luce.

Dataset e Modelli:

• Dataset: KAIST Multi-spectral Pedestrian Detection Benchmark (circa 95k campioni). Sono stati esclusi i ciclisti per concentrarsi sulla classe "pedone".
• Architetture testate: Sono stati utilizzati tre modelli di riferimento: YOLOv11, Faster RCNN e DETR (in particolare RF-DETR).
• Configurazione: I modelli IR sono stati addestrati su sequenze diurne e poi utilizzati per generare etichette per le sequenze notturne. Sono stati testati due livelli di soglia di confidenza per la generazione delle etichette: 0.25 e 0.5.

3. Contributi Chiave

• Pipeline di Etichettatura Automatica: Sviluppo di un metodo che elimina completamente lo sforzo umano nell'etichettatura dei dati per la rilevazione pedoni in bassa luce, sfruttando la sinergia tra sensori IR e RGB.
• Validazione dell'Approccio: Dimostrazione empirica che i modelli addestrati su etichette generate automaticamente (autolabels) possono eguagliare o superare le prestazioni di quelli addestrati su ground truth manuale.
• Analisi Architetturale: Confronto approfondito tra architetture diverse (One-stage, Two-stage, Transformer-based) nel contesto specifico della rilevazione notturna.

4. Risultati

L'analisi è stata condotta su una sequenza di immagini non vista durante l'addestramento, confrontando i modelli addestrati su autolabels con quelli addestrati su ground truth (GT) manuale.

• Prestazioni Superiori:
  • I modelli addestrati con le etichette generate hanno superato quelli addestrati sul ground truth in 5 casi su 6 per le metriche mAP@50 e LAMR (Log Average Miss Rate).
  • Hanno superato il ground truth in tutti i 6 casi per la metrica mAP@50-95.
  • Il miglior risultato complessivo è stato ottenuto dal modello DETR addestrato con etichette generate da IR-DETR con soglia di confidenza 0.25.
• Effetto della Soglia di Confidenza:
  • Una soglia di confidenza più bassa (0.25) ha generato più etichette (maggior Recall) e, paradossalmente, ha portato a migliori prestazioni finali rispetto alla soglia 0.5. Questo suggerisce che l'inclusione di casi più difficili (che il modello IR rileva con meno sicurezza) aiuta l'addestramento del modello RGB.
• Confronto Architetturale:
  • DETR ha dimostrato le prestazioni migliori in tutte le configurazioni, seguito da YOLO e infine RCNN.
  • Le curve Precisione-Recall mostrano che, sebbene le architetture abbiano trade-off simili, la scelta del modello è un fattore determinante.

5. Significato e Discussione

• Superamento del Ground Truth: Un risultato controintuitivo è che le etichette automatiche hanno performato meglio di quelle manuali. Gli autori ipotizzano che le etichette manuali includano casi "estremamente difficili" (pedoni fortemente occlusi o quasi invisibili) che agiscono come "rumore" per il modello, abbassando le prestazioni. Il modello IR, non rilevando questi casi come pedoni validi, filtra automaticamente questi esempi difficili, fornendo un set di addestramento più "pulito" e affidabile.
• Scalabilità: Il metodo permette la raccolta e l'etichettatura di dataset massicci senza costi di annotazione manuale. Sebbene la raccolta dati richieda veicoli equipaggiati con sensori IR e RGB calibrati (costosi), il modello finale addestrato richiede solo una telecamera RGB, comune nei veicoli moderni.
• Limiti e Futuro: Sebbene promettente, la soluzione attuale non è ancora un rilevatore standalone perfetto (il recall massimo raggiunto è 0.369), indicando che la rilevazione pedoni in bassa luce rimane una sfida aperta. Il lavoro apre la strada all'applicazione di questa metodologia ad altri compiti di visione artificiale in bassa luce, come la stima della posa (pose estimation) e la previsione delle intenzioni dei pedoni.

In conclusione, la ricerca dimostra che l'uso di sensori IR per guidare l'etichettatura automatica è una strategia efficace per colmare il divario di dati nella rilevazione pedoni notturna, offrendo modelli di rilevazione RGB competitivi senza la necessità di annotazione umana.