Enhancing Predictability of Multi-Tenant DNN Inference for Autonomous Vehicles' Perception

Riassunto Tecnico: PP-DNN (Predictable Perception with DNNs)

1. Il Problema: Incertezza e Latenza nella Percezione AV

I veicoli autonomi (AV) dipendono da pipeline di percezione che eseguono simultaneamente molteplici modelli di Deep Neural Networks (DNN) — noti come multi-tenant DNN — per compiti come il rilevamento di oggetti, la segmentazione semantica e il rilevamento delle corsie.

Le sfide principali identificate dagli autori sono:

• Gap Computazionale: La richiesta di calcolo è enorme rispetto alle risorse limitate dell'hardware di bordo.
• Mancanza di Prevedibilità Temporale: Le variazioni nelle dimensioni delle Regioni di Interesse (ROI) e la gestione dei thread in sistemi come ROS (Robot Operating System) causano fluttuazioni nella latenza di fusione dei dati, rendendo difficile garantire che i risultati siano pronti entro i tempi critici per la sicurezza.
• Mancanza di Prevedibilità Funzionale: Gli approcci esistenti che cercano di velocizzare l'inferenza spesso sacrificano l'accuratezza, il che è inaccettabile per un veicolo autonomo.

2. Metodologia: Il Sistema PP-DNN

A differenza degli studi precedenti che si concentrano sulla compressione dei modelli (pruning o quantizzazione), PP-DNN introduce un approccio adattivo che riduce il carico di lavoro selezionando dinamicamente quali fotogrammi e quali aree di un'immagine elaborare, sfruttando la correlazione temporale tra i frame.

Il sistema si basa su tre componenti chiave:

• ROI Generator (Generatore di ROI): Identifica i "fotogrammi critici" e le relative aree di interesse. Utilizza tre criteri:

  1. Similitudine a livello di pixel: Calcolata tramite l'indice SSIM (Structural Similarity Index) per rilevare cambiamenti significativi tra frame consecutivi.
  2. Tracking degli oggetti: Un tracker leggero (basato su DeepSort/YOLOv4-tiny) monitora la stabilità degli oggetti; se un oggetto viene perso o cambia drasticamente posizione, il frame viene marcato come critico.
  3. Consapevolezza dello scenario: Il sistema adatta le ROI in base al contesto (es. in autostrada le ROI sono focalizzate sul fronte, in città includono pedoni e semafori). Può generare una singola ROI grande o molteplici ROI piccole per ottimizzare l'efficienza.

• Task Coordinator (Coordinatore dei Task): Gestisce l'esecuzione dei modelli multi-tenant.

  1. FLOPs Predictor: Prevede il numero di operazioni MAC (Multiply-Accumulate) necessarie per ogni ROI, tenendo conto che le dimensioni variabili dell'input influenzano la latenza in modo non lineare.
  2. ROI Scheduler: Ottimizza la dimensione dell'input per minimizzare i FLOPs e coordina l'ordine di esecuzione per ridurre il ritardo di fusione (fusion delay).

• Detection Predictor (Predittore di Rilevamento): Per evitare che la mancanza di elaborazione dei "non-critici" crei buchi informativi, questo modulo predice i risultati dei frame non elaborati.

  1. Box Predictor: Utilizza i risultati del tracking per aggiornare le coordinate dei bounding box.
  2. Segmentation Predictor: Utilizza la velocità dei pixel (basata sul movimento degli oggetti rilevati) per aggiornare le maschere di segmentazione semantica tra un frame critico e l'altro.

3. Contributi Chiave

1. Scoperta di nuove caratteristiche: Identificazione empirica che la variabilità della latenza è causata principalmente dalle dimensioni dinamiche delle ROI e dai ritardi di accodamento dei thread (out-of-date frames).
2. Design di un sistema adattivo: Introduzione di un framework che bilancia la riduzione del carico computazionale con il mantenimento dell'accuratezza tramite la selezione intelligente di ROI e frame.
3. Decoupling (Disaccoppiamento): Separazione tra il processo di rilevamento (lento) e quello di pubblicazione dei risultati (veloce tramite predizione), garantendo un flusso di dati costante per la fusione.
4. Implementazione End-to-End: Integrazione completa in una pipeline basata su ROS, testata con dataset reali (BDD100K e nuScenes).

4. Risultati Sperimentali

Il sistema è stato valutato rispetto a un baseline che elabora tutti i frame. I risultati mostrano miglioramenti significativi:

• Efficienza della Fusione: Il numero di frame fusi è aumentato fino a 7.3× (su BDD100K) grazie al Detection Predictor.
• Riduzione della Latenza: Il ritardo di fusione è stato ridotto di oltre 2.6× e la variabilità della latenza (jitter) è diminuita di oltre 2.3×.
• Accuratezza (Detection Completeness): Nonostante si elaborino meno frame, la completezza del rilevamento è migliorata del 75.4% (su nuScenes) rispetto al baseline, grazie al tracking e alla selezione intelligente delle aree critiche.
• Cost-Effectiveness: Il rapporto tra latenza e accuratezza ha mostrato un miglioramento fino al 98%.

5. Significato e Conclusioni

Il lavoro di Liu et al. sposta il paradigma dell'ottimizzazione della percezione per veicoli autonomi: invece di cercare di rendere i modelli più veloci, il sistema rende la pipeline di percezione più intelligente, elaborando solo ciò che è necessario e prevedendo il resto. Questo approccio garantisce la prevedibilità temporale e funzionale, requisiti fondamentali per la sicurezza dei sistemi di guida autonoma di livello superiore, gestendo efficacemente le risorse hardware limitate senza compromettere la capacità di reagire a eventi critici.