Riepilogo Tecnico: Quantificazione dell'Incertezza a Livello di Istanza nella Rilevazione di Oggetti

1. Formulazione del Problema

La rilevazione degli oggetti è una componente critica per la sicurezza nella guida autonoma, dove un'accurata quantificazione quantitativa dell'incertezza delle predizioni dei bounding box è essenziale per l'assicurazione della sicurezza. Gli attuali modelli di rilevazione tipicamente mancano della capacità di quantificare l'incertezza del bounding box durante l'addestramento. Una volta ottimizzati per la sicurezza, questi modelli non possono essere alterati, rendendo necessari metodi di quantificazione dell'incertezza post hoc che non richiedano il riaddestramento o la modifica della rete originale.

Il documento affronta la sfida di stimare l'incertezza per ogni singolo bounding box (livello di istanza) soddisfacendo quattro vincoli chiave:

• Non intrusivo/Post Hoc: Il metodo deve applicarsi a modelli pre-addestrati senza alterarne il comportamento.
• Livello di Istanza: L'incertezza deve essere stimata a livello di singoli bounding box, non solo come incertezza globale del modello.
• Velocità di Inferenza: La stima deve essere computazionalmente efficiente per sistemi di guida autonoma online.
• Incertezza Epistemica: Il metodo deve catturare l'incertezza derivante dalla mancanza di conoscenza del modello (incertezza dei parametri), piuttosto che dal rumore aleatorio.

Le soluzioni esistenti affrontano significativi compromessi:

• Metodi basati sul campionamento (es. MC Dropout, Deep Ensembles): Sebbene potenti, non sono strettamente post hoc poiché spesso richiedono l'addestramento di più modelli o producono distribuzioni predittive che deviano dal modello originale Maximum A Posteriori (MAP).
• Metodi linearizzati (es. Modello Lineare Generalizzato - GLM con Approssimazione di Laplace): Questi sono strettamente post hoc e preservano la predizione MAP, ma sono computazionalmente proibitivi per l'incertezza a livello di istanza. Calcolare lo Jacobiano $J(x)$ per ogni componente scalare in uscita richiede un passaggio di backpropagation separato per ogni output. Un rilevatore che predice $m$ box con 9 parametri ciascuno richiede $9m$ backpropagazioni, il che è troppo lento per applicazioni in tempo reale.

2. Metodologia: Modello Linearizzato Monte-Carlo (MC-GLM)

Gli autori propongono MC-GLM, un metodo di inferenza approssimata che combina le garanzie post hoc dell'approssimazione di Laplace con l'efficienza del campionamento Monte Carlo.

Concetto Core

Il metodo approssima la covarianza predittiva $\Sigma_z(x)$ dell'output della rete $z = f(x; \theta)$ utilizzando l'approssimazione di Laplace attorno alla stima MAP $\theta^*$:
$$\Sigma_z(x) \approx J(x) \Sigma_\theta J(x)^\top$$
dove $J(x)$ è lo Jacobiano e $\Sigma_\theta$ è la covarianza posteriore dei parametri (calcolata offline tramite KFAC).

Invece di calcolare l'intero Jacobiano $J(x)$ tramite $d$ backpropagazioni (dove $d$ è la dimensione dell'output), MC-GLM stima la covarianza tramite campionamento Monte Carlo. Il metodo riconosce che $J(x)\Sigma_\theta J(x)^\top$ è equivalente alla covarianza delle derivate direzionali $J(x)\eta$, dove $\eta \sim \mathcal{N}(0, \Sigma_\theta)$.

Fasi dell'Algoritmo

1. Fase Offline: Calcolare l'approssimazione KFAC (Kronecker-factored Approximate Curvature) della matrice di informazione di Fisher per ottenere la covarianza dei parametri $\Sigma_\theta$. Questo passaggio viene eseguito una sola volta sui dati di addestramento.
2. Fase Online (Per ogni input $x$):
   • Calcolare la predizione base $z_0 = f(x; \theta^*)$.
   • Campionare $k$ perturbazioni dei pesi $\eta_i \sim \mathcal{N}(0, \Sigma_\theta)$. Il campionamento sfrutta la struttura a blocchi diagonali e Kronecker di KFAC per essere efficiente.
   • Eseguire $k$ passaggi forward con pesi perturbati: $z_i = f(x; \theta^* + \epsilon \eta_i)$.
   • Approssimare le derivate direzionali tramite differenze finite: $u_i \approx (z_i - z_0) / \epsilon$.
   • Costruire una matrice $A(x)$ di queste $k$ derivate direzionali.
   • Centrare le colonne di $A(x)$ per ottenere $\tilde{A}(x)$ e calcolare la covarianza campionaria:
     $$\hat{\Sigma}_{z, MC-GLM}(x) = \frac{1}{k-1} \tilde{A}(x) \tilde{A}(x)^\top$$
3. Aggregazione a Livello di Istanza: Per la rilevazione di oggetti, il vettore di output viene rimodellato per raggruppare i parametri per bounding box. Il metodo calcola un tensore di covarianza per ogni box $\hat{\Sigma}_i(x) \in \mathbb{R}^{9 \times 9}$, catturando le correlazioni all'interno di un box mentre ignora le correlazioni tra diversi box per efficienza.

Caratteristica Chiave di Efficienza

Il costo computazionale di MC-GLM è di $k+1$ passaggi forward, dove $k$ è un iperparametro costante e piccolo (es. 10). Fondamentalmente, questo costo è indipendente dal numero di istanze rilevate ($m$). Al contrario, il GLM esatto richiede $9m$ backpropagazioni. Ciò consente a MC-GLM di essere parallelizzato e scalato a qualsiasi numero di rilevazioni senza aumentare il tempo di inferenza.

3. Contributi Chiave

• Framework MC-GLM: Un nuovo metodo che fornisce una quantificazione dell'incertezza post hoc approssimata a livello di istanza per la rilevazione di oggetti.
• Efficienza Computazionale: Sostituendo l'oneroso calcolo dello Jacobiano con un numero fisso di passaggi forward ($k$), il metodo raggiunge una complessità temporale lineare rispetto al numero di campioni piuttosto che al numero di istanze di output.
• Compatibilità Post Hoc: Il metodo garantisce che la media predittiva corrisponda all'output del modello pre-addestato originale ($f(x; \theta^*)$), a differenza dei metodi bayesiani basati sul campionamento che spostano la media.
• Integrazione KFAC: Il metodo sfrutta KFAC per l'efficiente calcolo offline della covarianza dei parametri e il campionamento strutturato, rendendolo fattibile per rilevatori su larga scala.

4. Risultati Sperimentali

Il metodo è stato valutato sul dataset nuScenes utilizzando il rilevatore di oggetti 3D CenterPoint.

• Metriche: Le prestazioni sono state misurate tramite Probabilità di Accuratezza dato Certezza ($P(A|C)$), Probabilità di Incertezza data Inaccuratezza ($P(U|I)$) e Accuratezza vs Incertezza ($AvU$).
• Baseline di Confronto:
  • MCI (Integrazione Monte-Carlo): Utilizza MC Dropout.
  • GLM: Approssimazione di Laplace esatta con calcolo completo dello Jacobiano.
• Risultati:
  • Qualità dell'Incertezza: MC-GLM supera significativamente il GLM esatto in $P(U|I)$ (0.40 vs 0.14 per IoU), indicando una migliore identificazione delle predizioni inaccurate. Ottiene una $P(A|C)$ comparabile a GLM e MCI.
  • Velocità: MC-GLM è sostanzialmente più veloce di GLM. In media, GLM richiedeva circa 10.636 ms per input (a causa delle $9m$ backpropagazioni), mentre MC-GLM richiedeva solo circa 542 ms (11 passaggi forward). MCI era leggermente più veloce (~525 ms) ma non soddisfaceva il requisito post hoc.
  • Studi di Ablazione:
    • Profondità di Fisher: L'uso dell'informazione di Fisher dagli strati più profondi della rete migliora l' $AvU$ ma aumenta l'uso della memoria; l'approssimazione limitata alla "testa" (head) offre un buon compromesso.
    • Sottocampionamento dei Dati: Stimare la matrice di Fisher su un 5-10% dei dati di addestramento produce una qualità dell'incertezza comparabile, riducendo i costi offline.
    • Iperparametri: Un piccolo passo di differenza finita ($\epsilon = 10^{-7}$) e un numero modesto di campioni ($k=10$) sono sufficienti per stime di alta qualità.

5. Significato e Rivendicazioni

Il documento afferma che MC-GLM colma una lacuna critica nei sistemi di guida autonoma orientati alla sicurezza. Fornisce uno strumento pratico di quantificazione dell'incertezza a livello di istanza che rispetta i rigorosi vincoli post hoc (nessun riaddestramento, preservazione del comportamento del modello originale) mantenendo velocità di inferenza adatte alla distribuzione in tempo reale.

Gli autori sottolineano che, diversamente dai metodi precedenti che sono o troppo lenti (GLM esatto) o alterano la distribuzione predittiva del modello (MC Dropout/Ensemble), MC-GLM offre una soluzione bilanciata. Esso consente la quantificazione dell'incertezza epistemica per ogni oggetto rilevato con un costo computazionale costante e indipendente dal numero di rilevazioni, rendendolo vitale per la sicurezza online nei veicoli autonomi.