Depth as Prior Knowledge for Object Detection

Riepilogo Tecnico: DepthPrior

Problema

I rilevatori di oggetti faticano a rilevare in modo affidabile oggetti piccoli e distanti a causa della variazione di scala, della bassa risoluzione e del disordine dello sfondo. Sebbene le informazioni sulla profondità abbiano il potenziale per migliorare il rilevamento, gli approcci esistenti richiedono tipicamente complesse modifiche architettoniche specifiche per il modello (ad esempio, reti multi-branch, convoluzioni specializzate o fusione di feature) che ostacolano l'implementazione pratica. Inoltre, l'addestramento supervisionato standard tratta gli oggetti in modo uniforme indipendentemente dalla distanza, ignorando la relazione sistematica tra la distanza dell'oggetto e la difficoltà di rilevamento. Ciò porta a un bias di addestramento in cui i modelli danno priorità agli oggetti vicini (che hanno una bassa varianza della perdita) e sottoperformano sistematicamente sugli oggetti distanti (che presentano un'alta varianza della perdita). Inoltre, il post-processing standard durante l'inferenza applica soglie di confidenza uniformi per tutte le profondità, scartando rilevamenti validi di oggetti distanti che ricevono punteggi di confidenza sistematicamente più bassi.

Metodologia

Il documento introduce DepthPrior, un framework che utilizza la profondità come conoscenza a priori (prior knowledge) per informare l'addestramento e l'inferenza senza modificare le architetture dei rilevatori. Il framework è composto da tre componenti:

1. Fondamento Teorico

Gli autori formalizzano la relazione tra profondità e rilevamento, dimostrando che la varianza della perdita di rilevamento scala con la profondità (eteroschedasticità). In base alla legge dell'inverso del quadrato dell'intensità luminosa, la qualità del segnale degrada con la distanza, aumentando l'incertezza aleatoria. La discesa del gradiente stocastico (SGD) standard con pesatura uniforme si adatta naturalmente ai campioni a bassa varianza (vicini) per primi, portando al sottoperformance sistematico degli oggetti distanti.

2. Componenti di Addestramento

Per contrastare questo bias, DepthPrior impiega due interventi a livello di perdita:

• Ponderazione della Perdita Basata sulla Profondità (DLW): Implementa pesi compensativi della varianza basati sulla derivazione teorica. Applica una funzione di ponderazione esponenziale a ogni perdita in base alla sua profondità normalizzata. Questo scala i contributi attraverso il batch (relazione inter-immagine), dando priorità agli oggetti distanti senza richiedere modifiche architettoniche.
• Stratificazione della Perdita Basata sulla Profondità (DLS): Decompone la perdita di rilevamento per immagine in intervalli "vicini" e "distanti" utilizzando una maschera di profondità binaria. Questi intervalli ricevono pesi separati (ad esempio, peso maggiore per gli oggetti distanti), consentendo un controllo esplicito sulla dinamica di apprendimento per specifici intervalli di profondità (relazione intra-immagine).

3. Componente di Inferenza

• Soglia di Confidenza Consapevole della Profondità (DCT): Affronta la degradazione sistematica della confidenza degli oggetti distanti durante l'inferenza. Invece di una soglia uniforme, DCT apprende soglie di confidenza dipendenti dalla profondità utilizzando B-spline cubiche. Queste soglie sono ottimizzate su un set di validazione per massimizzare i veri positivi limitando i falsi positivi, recuperando efficacemente i rilevamenti validi che altrimenti verrebbero scartati dal post-processing standard.

Contributi Chiave

1. Formalizzazione Teorica: Il documento fornisce una prova teorica che la profondità induce eteroschedasticità nella perdita di rilevamento, creando un bias di addestramento sistematico verso gli oggetti vicini che la supervisione uniforme standard non riesce ad affrontare.
2. Framework Modulare: DepthPrior offre una soluzione "plug-and-play" che sfrutta i prior di profondità senza modifiche architettoniche, mantenendo l'indipendenza dalla specifica scelta del rilevatore (basato su anchor o anchor-free) e dal dominio di implementazione.
3. Validazione Empirica: Il framework è validato su quattro benchmark diversificati (KITTI, MS COCO, VisDrone, SUN RGB-D) e due famiglie di rilevatori (EfficientDet e YOLOv11), dimostrando l'efficacia sia nelle fasi di addestramento che di inferenza.

Risultati Sperimentali

Gli esperimenti dimostrano che DepthPrior migliora significativamente il rilevamento di oggetti piccoli e distanti:

• Guadagni di Performance: Sul dataset KITTI, DepthPrior ha ottenuto fino a +9% mAPS (mean Average Precision per oggetti piccoli) e +7% mARS (mean Average Recall per oggetti piccoli) rispetto ai baseline.
• Recupero all'Inferenza: La componente Depth-Aware Confidence Thresholding (DCT) ha raggiunto elevati tassi di recupero, con un rapporto di 95:1 tra veri rilevamenti recuperati e falsi rilevamenti in configurazioni specifiche. Su tutti i dataset e le architetture, DCT ha recuperato 6.041 rilevamenti veri aggiuntivi con soli 184 rilevamenti falsi aggiuntivi sui dati di validazione.
• Generalizzazione: Le relazioni di soglia di profondità apprese si sono trasferite efficacemente ai dati di inferenza non visti (split 90%), recuperando ulteriori 22.042 rilevamenti veri con un rapporto favorevole di 9:1 tra recuperi veri e falsi.
• Confronto con i Baseline: I metodi di integrazione architettonica (ad esempio, fusione di feature, apprendimento multi-task) hanno performato scarsamente o sono falliti nella convergenza, mentre gli interventi di livello di perdita e di post-processing di DepthPrior hanno costantemente superato il baseline e le semplici strategie di pesatura proporzionale alla profondità.

Significato

Il documento afferma che DepthPrior offre un avanzamento significativo trattando la profondità come un prior guida piuttosto che come una feature fusa. Questo approccio evita lo squilibrio di modalità e l'overhead computazionale associati alle architetture multi-modali. Affrontando la causa radice della degradazione delle performance — l'eteroschedasticità indotta dalla profondità nell'addestramento e la calibrazione errata della confidenza nell'inferenza — il framework migliora il rilevamento di oggetti distanti in scenari critici per la sicurezza senza richiedere sensori aggiuntivi, cambiamenti architettonici o costi di performance. Il lavoro stabilisce che i prior geometrici possono essere sfruttati efficacemente attraverso regolazioni a livello di supervisione e post-processing adattivo per migliorare la robustezza dei normali rilevatori di oggetti.