Résumé Technique : Quantification de l'Incertitude au Niveau de l'Instance Post Hoc pour la Détection d'Objets

1. Formulation du Problème

La détection d'objets est un composant critique pour la sécurité de la conduite autonome, où une quantification précise de l'incertitude des prédictions de boîtes englobantes (bounding boxes) est essentielle pour l'assurance de la sécurité. Les modèles de détection actuels manquent généralement de la capacité de quantifier l'incertitude des boîtes englobantes pendant l'entraînement. Une fois ajustés pour la sécurité, ces modèles ne peuvent être modifiés, ce qui nécessite des méthodes de quantification de l'incertitude post hoc qui ne requièrent ni réentraînement ni modification du réseau original.

Le papier traite du défi de l'estimation de l'incertitude pour chaque boîte englobante individuelle (au niveau de l'instance) tout en satisfaisant quatre contraintes clés :

• Non-intrusif/Post Hoc : La méthode doit s'appliquer aux modèles pré-entraînés sans altérer leur comportement.
• Niveau de l'Instance : L'incertitude doit être estimée au niveau de chaque boîte englobante individuelle, et non seulement au niveau de l'incertitude globale du modèle.
• Vitesse d'Inférence : L'estimation doit être suffisamment efficace sur le plan computationnel pour les systèmes de conduite autonome en ligne.
• Incertitude Épistémique : La méthode doit capturer l'incertitude découlant du manque de connaissances du modèle (incertitude des paramètres), plutôt que le bruit aléatoire (aléatorique).

Les solutions existantes font face à des compromis importants :

• Méthodes basées sur l'échantillonnage (ex: MC Dropout, Deep Ensembles) : Bien que puissantes, elles ne sont pas strictement post hoc car elles nécessitent souvent l'entraînement de plusieurs modèles ou produisent des distributions prédictives qui s'écartent du modèle Maximum A Posteriori (MAP) original.
• Méthodes linéarisées (ex: Modèle Linéaire Généralisé - GLM avec approximation de Laplace) : Celles-ci sont strictement post hoc et préservent la prédiction MAP, mais sont prohibitivement coûteuses pour l'incertitude au niveau de l'instance. Le calcul du Jacobien $J(x)$ pour chaque composante scalaire de sortie nécessite une passe de rétropropagation séparée par sortie. Pour un détecteur prédisant $m$ boîtes avec 9 paramètres chacune, cela nécessite $9m$ rétropropagations, ce qui est trop lent pour les applications en temps réel.

2. Méthodologie : Modèle Linéarisé par Monte-Carlo (MC-GLM)

Les auteurs proposent MC-GLM, une méthode d'inférence approximative qui combine les garanties post hoc de l'approximation de Laplace avec l'efficacité de l'échantillonnage de Monte Carlo.

Concept Central

La méthode approxime la covariance prédictive $\Sigma_z(x)$ de la sortie du réseau $z = f(x; \theta)$ en utilisant l'approximation de Laplace autour de l'estimation MAP $\theta^*$ :
$$\Sigma_z(x) \approx J(x) \Sigma_\theta J(x)^\top$$
où $J(x)$ est le Jacobien et $\Sigma_\theta$ est la covariance postérieure des paramètres (calculée hors ligne via KFAC).

Au lieu de calculer le Jacobien complet $J(x)$ via $d$ rétropropagations (où $d$ est la dimension de sortie), MC-GLM estime la covariance par échantillonnage de Monte Carlo. La méthode reconnaît que $J(x)\Sigma_\theta J(x)^\top$ est équivalent à la covariance des dérivées directionnelles $J(x)\eta$, où $\eta \sim \mathcal{N}(0, \Sigma_\theta)$.

Étapes de l'Algorithme

1. Phase Hors Ligne : Calculer l'approximation KFAC (Kronecker-factored Approximate Curvature) de la matrice d'information de Fisher pour obtenir la covariance des paramètres $\Sigma_\theta$. Cette étape est effectuée une seule fois sur les données d'entraînement.
2. Phase En Ligne (Par Input $x$) :
   • Calculer la prédiction de base $z_0 = f(x; \theta^*)$.
   • Échantillonner $k$ perturbations de poids $\eta_i \sim \mathcal{N}(0, \Sigma_\theta)$. L'échantillonnage exploite la structure bloc-diagonale et de Kronecker de KFAC pour être efficace.
   • Effectuer $k$ passes avant avec des poids perturbés : $z_i = f(x; \theta^* + \epsilon \eta_i)$.
   • Approcher les dérivées directionnelles par différences finies : $u_i \approx (z_i - z_0) / \epsilon$.
   • Construire une matrice $A(x)$ de ces $k$ dérivées directionnelles.
   • Centrer les colonnes de $A(x)$ pour obtenir $\tilde{A}(x)$ et calculer la covariance d'échantillon :
     $$\hat{\Sigma}_{z, MC-GLM}(x) = \frac{1}{k-1} \tilde{A}(x) \tilde{A}(x)^\top$$
3. Agrégation au Niveau de l'Instance : Pour la détection d'objets, le vecteur de sortie est remodelé pour regrouper les paramètres par boîte englobante. La méthode calcule un tenseur de covariance par boîte $\hat{\Sigma}_i(x) \in \mathbb{R}^{9 \times 9}$, capturant les corrélations au sein d'une boîte tout en ignorant les corrélations entre les boîtes pour plus d'efficacité.

Caractéristique Clé d'Efficacité

Le coût de calcul de MC-GLM est de $k+1$ passes avant, où $k$ est un hyperparamètre constant (ex: 10). Crucialement, ce coût est indépendant du nombre d'instances détectées ($m$). Contrairement au GLM exact qui nécessite $9m$ rétropropagations, MC-GLM peut être parallélisé et mis à l'échelle pour n'importe quel nombre de détections sans augmenter le temps d'inférence.

3. Contributions Clés

• Cadre MC-GLM : Une nouvelle méthode qui fournit une quantification de l'incertitude post hoc approximative au niveau de l'instance pour la détection d'objets.
• Efficacité Computationnelle : En remplaçant le calcul coûteux du Jacobien par un nombre fixe de passes avant ($k$), la méthode atteint une complexité temporelle linéaire par rapport au nombre d'échantillons plutôt qu'au nombre d'instances de sortie.
• Compatibilité Post Hoc : La méthode garantit que la moyenne prédictive correspond à la sortie du modèle pré-entraîné original ($f(x; \theta^*)$), contrairement aux méthodes de l'échantillonnage qui déplacent la moyenne.
• Intégration KFAC : La méthode exploite KFAC pour un calcul efficace de la covariance des paramètres et un échantillonnage structuré, la rendant réalisable pour des détecteurs à grande échelle.

4. Résultats Expérimentaux

La méthode a été évaluée sur le jeu de données nuScenes en utilisant le détecteur d'objets 3D CenterPoint.

• Métriques : La performance a été mesurée par la Probabilité d'Exactitude étant donnée la Certitude ($P(A|C)$), la Probabilité d'Incertitude étant donnée l'Inexactitude ($P(U|I)$), et l'Exactitude vs Incertitude ($AvU$).
• Comparaison avec les Baselines :
  • MCI (Monte Carlo Integration) : Utilise le MC Dropout.
  • GLM : Approximation de Laplace exacte avec calcul complet du Jacobien.
• Résultats :
  • Qualité de l'Incertitude : MC-GLM surpasse significativement le GLM exact dans $P(U|I)$ (0.40 vs 0.14 pour l'IoU), indiquant une meilleure identification des prédictions inexactes. Il atteint une $P(A|C)$ comparable à celle du GLM et de MCI.
  • Vitesse : MC-GLM est nettement plus rapide que le GLM. En moyenne, le GLM nécessitait environ 10 636 ms par entrée (à cause des $9m$ rétropropagations), tandis que MC-GLM n'en nécessitait que 542 ms (11 passes avant). MCI était légèrement plus rapide (525 ms) mais a échoué au critère de l'exigence post hoc.
  • Études d'Ablation :
    • Profondeur de Fisher : L'utilisation de l'information de Fisher provenant des couches plus profondes du réseau améliore l' $AvU$ mais augmente l'utilisation de la mémoire ; l'approximation limitée à la "tête" (head-only) offre un bon compromis.
    • Sous-échantillonnage des Données : Estimer la matrice de Fisher sur 5 à 10 % des données d'entraînement produit une qualité d'incertitude comparable, réduisant les coûts hors ligne.
    • Hyperparamètres : Un petit pas de différence finie ($\epsilon = 10^{-7}$) et un nombre modeste d'échantillons ($k=10$) sont suffisants pour des estimations de haute qualité.

5. Signification et Revendications

L'article affirme que MC-GLM comble une lacune critique dans les systèmes de conduite autonome axés sur la sécurité. Il fournit un outil pratique de quantification de l'incertitude au niveau de l'instance qui respecte des contraintes post hoc strictes (pas de réentraînement, préservation du comportement du modèle original) tout en maintenant des vitesses d'inférence adaptées à un déploiement en temps réel.

Les auteurs soulignent qu'contrairement aux méthodes précédentes qui sont soit trop lentes (GLM exact), soit modifient la distribution prédictive du modèle (MC Dropout/Ensembles), MC-GLM offre une solution équilibrée. Il permet de quantifier l'incertitude épistémique pour chaque objet détecté avec un coût computationnel constant et indépendant du nombre de détections, ce qui le rend viable pour l'assurance de la sécurité en ligne dans les véhicules autonomes.