Technische Samenvatting: Instance-Level Post Hoc Onzekerheidskwantificatie in Objectdetectie

1. Probleemformulering

Objectdetectie is een veiligheidskritisch onderdeel van autonoom rijden, waarbij een nauwkeurige kwantitatieve onzekerheid van bounding box-voorspellingen essentieel is voor veiligheidsborging. Huidige detectiemodellen missen doorgaans het vermogen om de onzekerheid van bounding boxes tijdens de training te kwantificeren. Zodra deze modellen zijn afgesteld op veiligheid, kunnen ze niet meer worden gewijzigd, wat de noodzaak creëert voor post hoc onzekerheidskwantificatiemethoden die geen hertraining of aanpassing van het originele netwerk vereisen.

Dit artikel pakt de uitdaging aan om de onzekerheid te schatten voor elke individuele bounding box (instance-niveau), terwijl aan vier belangrijke beperkingen wordt voldaan:

• Niet-intrusief/Post Hoc: De methode moet toepasbaar zijn op getrainde modellen zonder hun gedrag te veranderen.
• Instance-Level: Onzekerheid moet worden geschat op het niveau van individuele bounding boxes, niet alleen als globale modelonzekerheid.
• Infersiesnelheid: De schatting moet computationeel efficiënt genoeg zijn voor online autonome rijsystemen.
• Epistemische Onzekerheid: De methode moet onzekerheid vastleggen die voortkomt uit het gebrek aan kennis van het model (parameteronzekerheid), in plaats van aleatorische ruis.

Bestaande oplossingen kampen met aanzienlijke trade-offs:

• Sampling-gebaseerde methoden (bijv. MC Dropout, Deep Ensembles): Hoewel krachtig, zijn ze niet strikt post hoc, omdat ze vaak meerdere modellen vereisen of voorspellende distributies produceren die afwijken van het originele Maximum A Posteriori (MAP) model.
• Lineaire methoden (bijv. Generalized Linear Model - GLM met Laplace-benadering): Deze zijn strikt post hoc en behouden de MAP-voorspelling, maar zijn computationeel te kostbaar voor onzekerheid op instance-niveau. Het berekenen van de Jacobiaan $J(x)$ voor elke scalaire outputcomponent vereist een aparte backpropagation-pass per output. Voor een detector die $m$ boxes voorspelt met elk 9 parameters, vereist dit $9m$ backpropagations, wat te traag is voor real-time toepassingen.

2. Methodologie: Monte-Carlo Generalized Linearized Model (MC-GLM)

De auteurs stellen MC-GLM voor, een benaderingsmethode voor inferentie die de post hoc garanties van de Laplace-benadering combineert met de efficiëntie van Monte Carlo-sampling.

Kernconcept

De methode benadert de voorspellende covariantie $\Sigma_z(x)$ van de netwerkoutput $z = f(x; \theta)$ met behulp van de Laplace-benadering rond de MAP-schatting $\theta^*$:
$$\Sigma_z(x) \approx J(x) \Sigma_\theta J(x)^\top$$
waarbij $J(x)$ de Jacobiaan is en $\Sigma_\theta$ de posterior covariantie van de parameters (offline berekend via KFAC).

In plaats van de volledige Jacobiaan $J(x)$ te berekenen via $d$ backpropagations (waarbij $d$ de outputdimensie is), schat MC-GLM de covariantie via Monte Carlo-sampling. Het erkent dat $J(x)\Sigma_\theta J(x)^\top$ equivalent is aan de covariantie van directionele afgeleiden $J(x)\eta$, waarbij $\eta \sim \mathcal{N}(0, \Sigma_\theta)$.

Algoritmische stappen

1. Offline Fase: Bereken de KFAC (Kronecker-factored Approximate Curvature) benadering van de Fisher-informatie matrix om de parametercovariantie $\Sigma_\theta$ te verkrijgen. Deze stap wordt eenmalig uitgevoerd op de trainingsdata.
2. Online Fase (Per input $x$):
   • Bereken de basisvoorspelling $z_0 = f(x; \theta^*)$.
   • Sample $k$ gewichtsperturbaties $\eta_i \sim \mathcal{N}(0, \Sigma_\theta)$. De sampling maakt gebruik van de blokdiagonaal en Kronecker-structuur van KFAC om efficiënt te zijn.
   • Voer $k$ forward passes uit met geperturbeerde gewichten: $z_i = f(x; \theta^* + \epsilon \eta_i)$.
   • Benader de directionele afgeleiden met eindige verschillen: $u_i \approx (z_i - z_0) / \epsilon$.
   • Construeer een matrix $A(x)$ van deze $k$ directionele afgeleiden.
   • Centreer de kolommen van $A(x)$ om $\tilde{A}(x)$ te verkrijgen en bereken de steekproefcovariantie:
     $$\hat{\Sigma}_{z, MC-GLM}(x) = \frac{1}{k-1} \tilde{A}(x) \tilde{A}(x)^\top$$
3. Instance-Level Aggregatie: Voor objectdetectie wordt de outputvector gehervormd om parameters per bounding box te groeperen. De methode berekent een per-box covariantie-tensor $\hat{\Sigma}_i(x) \in \mathbb{R}^{9 \times 9}$, die correlaties binnen een box vastlegt terwijl cross-box correlaties voor efficiëntie worden genegeerd.

Belangrijkste Efficiëntiekenmerk

De computationele kosten van MC-GLM zijn $k+1$ forward passes, waarbij $k$ een kleine, constante hyperparameter is (bijv. 10). Cruciaal is dat deze kosten onafhankelijk zijn van het aantal gedetecteerde instanties ($m$). In tegen plaats is de exacte GLM vereist $9m$ backpropagations. Dit stelt MC-GLM in staat om geparallelliseerd te worden en te schalen naar een willekeurig aantal detecties zonder de inferentietijd te verhogen.

3. Belangrijkste Bijdragen

• MC-GLM Framework: Een nieuwe methode die instance-level, benaderende post hoc onzekerheidskwantificatie voor objectdetectie biedt.
• Computationele Efficiëntie: Door de dure Jacobiaan-berekening te vervangen door een vast aantal forward passes ($k$), bereikt de methode een lineaire tijdcomplexiteit ten opzijde van het aantal samples in plaats van het aantal output-instanties.
• Post Hoc Compatibiliteit: De methode garandeert dat het voorspellende gemiddelde overeenkomt met de output van het originele getrainde model ($f(x; \theta^*)$), in tegenstelling tot sampling-gebaseerde Bayesiaanse methoden die het gemiddelde verschuiven.
• Integratie van KFAC: De methode maakt gebruik van KFAC voor efficiënte offline berekening van de parametercovariantie en gestructureerde sampling, wat het haalbaar maakt voor grootschalige detectoren.

4. Experimentele Resultaten

De methode werd geëvalueerd op de nuScenes dataset met de CenterPoint 3D-objectdetector.

• Metrieken: Prestaties werden gemeten met Probability of Accurate given Certain ($P(A|C)$), Probability of Uncertain given Inaccurate ($P(U|I)$), en Accuracy vs Uncertainty ($AvU$).
• Vergelijkingsbaselines:
  • MCI (Monte Carlo Integration): Gebruikt MC Dropout.
  • GLM: Exacte Laplace-benadering met volledige Jacobiaan-berekening.
• Bevindingen:
  • Onzekerheidskwaliteit: MC-GLM presteert aanzienlijk beter dan de exacte GLM in $P(U|I)$ (0.40 vs 0.14 voor IoU), wat wijst op een betere identificatie van inaccurate voorspellingen. Het bereikt een vergelijkbare $P(A|C)$ als GLM en MCI.
  • Snelheid: MC-GLM is aanzienlijk sneller dan GLM. Gemiddeld vereiste GLM 10.636 ms per input (door $9m$ backpropagations), terwijl MC-GLM slechts ~542 ms vereiste (11 forward passes). MCI was iets sneller (525 ms) maar voldeed niet aan de post hoc-eis.
  • Ablatieonderzoeken:
    • Fisher Diepte: Het gebruik van Fisher-informatie uit diepere lagen van het netwerk verbetert de $AvU$, maar verhoogt het geheugengebruik; de head-only benadering biedt een goede balans.
    • Data Subsampling: Het schatten van de Fisher-matrix op 5-10% van de trainingsdata levert een vergelijkbare onzekerheidskwaliteit op, wat de offline kosten verlaagt.
    • Hyperparameters: Een kleine eindige-verschilstap ($\epsilon = 10^{-7}$) en een bescheiden aantal samples ($k=10$) zijn voldoende voor hoogwaardige schattingen.

5. Betekenis en Claims

Het artikel claimt dat MC-GLM een kritiek gat vult in veiligheidskritische systemen voor autonoom rijden. Het biedt een praktische, instance-level onzekerheidskwantificatietool die voldoet aan strikte post hoc-beperkingen (geen hertraining, behoud van het originele modelgedrag) terwijl de inferentiesnelheden geschikt blijven voor real-time implementatie.

De auteurs benadrukken dat, in tegen tegenstelling tot eerdere methoden die ofwel te traag zijn (exacte GLM) of de voorspellende distributie van het model veranderen (MC Dropout/Ensembles), MC-GLM een gebalanceerde oplossing biedt. Het maakt het mogelijk om de epistemische onzekerheid voor elk gedetecteerd object te kwantificeren met een computationele kosten die constant en onafhankelijk is van het aantal detecties, wat het levensvatbaar maakt voor online veiligheidsborging in autonome voertuigen.