💻 computer science

From Keypoints to Predictive Distributions: Post-Hoc Uncertainty for YOLO-Pose Models

Cet article introduit une extension probabiliste post-hoc légère pour les modèles YOLO-Pose qui les augmente par des distributions prédictives bivariées calibrées afin de quantifier l'incertitude spatiale, permettant ainsi un classement efficace de la fiabilité au niveau des points clés et d'améliorer les applications en aval telles que l'atterrissage d'aéronefs par vision.

Auteurs originaux : Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

Publié 2026-07-30

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à une partie de haut niveau à « Où est Charlie ? », mais au lieu d'un dessin animé, vous regardez une scène du monde réel, comme une piste d'aéroport très fréquentée ou une rue bondée. Vous disposez d'un système de vision par ordinateur (un type d'IA) super rapide et super intelligent qui peut instantanément repérer des personnes, des voitures ou des pistes, et pointer exactement où se trouvent leurs parties importantes — comme un nez, un coude ou le coin d'une piste. Ce système est incroyablement rapide et efficace, mais il possède un défaut secret : il se comporte comme un Monsieur Je-sais-tout. Il pointe un endroit et dit : « Je suis sûr à 100 % que c'est le nez ! » sans jamais admettre : « En fait, cette partie est floue, ou peut-être que c'est une ombre, donc je n'en suis sûr qu'à 60 %. »

Dans le monde de l'intelligence artificielle, c'est un problème majeur. Lorsqu'un ordinateur fait une supposition, il doit savoir à quel point il peut faire confiance à cette supposition. C'est ce qu'on appelle l'« incertitude ». Pensez à cela comme à une prévision météorologique. Une mauvaise prévision dit : « Il pleuvra à 14h00. » Une bonne prévision dit : « Il y a 90 % de chances qu'il pleuve entre 13h55 et 14h05. » La seconde vous donne une « bulle de confiance » autour de la prédiction. Pour des tâches critiques pour la sécurité — comme aider un avion à atterrir ou un robot à naviguer dans une foule — savoir la taille de cette bulle de confiance est tout aussi important que de savoir où se trouve l'objet. Si l'IA se trompe mais pense avoir raison, elle pourrait provoquer un accident. Si elle a raison mais pense avoir tort, elle pourrait manquer une opportunité cruciale. Le défi consiste à donner à ces systèmes d'IA super rapides un « pressentiment » sur leur propre précision sans ralentir ou briser la magie qui les rend si performants.

L'idée majeure de l'article : Donner à YOLO une « bulle de confiance »

L'article s'attaque à ce problème en utilisant une famille de modèles d'IA très populaire appelée YOLO-Pose (You Only Look Once - Pose). Ces modèles sont de véritables bolides ; ils peuvent trouver des objets et leurs parties du corps (points clés) en un seul regard, aussi rapide qu'un éclair. Cependant, ils ne font généralement que recracher un point unique pour chaque partie du corps, sans aucune idée de la façon dont ce point pourrait être instable. Les auteurs, des chercheurs d'Airbus et d'autres institutions, se sont posé une question simple : Pouvons-nous apprendre à ces modèles déjà entraînés et super rapides à dessiner une « bulle de confiance » autour de leurs prédictions sans devoir tout réentraîner ?

Leur réponse est une astuce « post-hoc » (après coup) très ingénieuse. Au lieu de reconstruire l'IA entière à partir de zéro, ils laissent le modèle rapide d'origine complètement figé et intact. Ils attachent simplement un module supplémentaire (« head ») minuscule et léger sur le côté. Cet ajout examine la même image et la même prédiction que le modèle principal, mais au lieu de dire simplement « Voici le nez », il dit : « Voici le nez, et voici une bulle de forme ovale montrant de combien le nez pourrait osciller. »

Comment ils ont appris à l'IA à s'inquiéter (et à se calmer)

Les chercheurs n'ont pas simplement deviné la taille de ces bulles ; ils ont entraîné l'ajout pour qu'il apprenne des erreurs commises par le modèle principal. Ils ont utilisé un outil mathématique spécial appelé log-vraisemblance négative pondérée par l'importance. En langage clair, c'est une façon d'apprendre à l'ajout à prêter une attention particulière aux types d'erreurs qui se produisent réellement lorsque le modèle est utilisé dans le monde réel, plutôt qu'aux erreurs commises pendant ses entraînements en laboratoire.

Ils ont découvert que les « bulles » devaient avoir des formes différentes selon la situation. Parfois, l'incertitude est un cercle parfait (comme une distribution gaussienne), mais souvent, à cause de choses complexes comme les ombres ou les personnes qui se bloquent mutuellement la vue, les erreurs sont à « queue épaisse » (heavy-tailed). Cela signifie que bien que la plupart des suppositions soient proches, il y a parfois des valeurs aberrantes sauvages qui sont très loin de la cible. Pour gérer cela, ils ont testé deux types de bulles :

La bulle Gaussienne : Un ovale standard et lisse. Elle est idéale pour les systèmes qui doivent fonctionner harmonieusement avec d'autres outils mathématiques (comme ceux utilisés pour la navigation aérienne).
La bulle Student-t : Une bulle plus « lourde » qui est plus flexible et meilleure pour capturer ces valeurs aberrantes occasionnelles et sauvages.

Leurs expériences ont montré que la bulle Student-t était la meilleure pour décrire la réalité désordonnée des images du monde réel. Elle capture mieux les « queues épaisses » des erreurs que la bulle gaussienne standard. Cependant, la bulle gaussienne reste très utile car elle est plus facile à utiliser pour d'autres systèmes.

L'astuce de l'« élagage » : Couper les mauvaises suppositions

L'une des choses les plus fascinantes que les auteurs ont découvertes est que ces bulles de confiance peuvent servir à nettoyer la sortie de l'IA. Imaginez que vous regardez une photo floue des jambes d'une personne. L'IA peut deviner où se trouvent le genou gauche et le genou droit, mais elle peut être totalement confuse et les inverser. L'ancienne IA vous donnerait simplement les deux suppositions. Le nouveau système, en revanche, peut examiner sa propre bulle de confiance et dire : « Hé, je ne suis vraiment pas sûr de ce genou ; la bulle est énorme et désordonnée. »

L'article introduit une méthode appelée élagage basé sur l'incertitude (uncertainty-based pruning). Cela signifie que le système peut automatiquement supprimer les suppositions où la bulle de confiance est trop grande ou trop désordonnée. En jetant les suppositions du type « peut-être » pour ne garder que celles du type « je suis assez sûr », le système devient beaucoup plus fiable. Dans leurs tests sur le célèbre ensemble de données COCO (une immense collection d'images utilisée pour entraîner l'IA), cet élagage n'a pas modifié la précision des bonnes suppositions, mais il a supprimé les mauvaises, rendant les données restantes beaucoup plus propres.

Test en conditions réelles : Atterrir un avion

Pour prouver qu'il ne s'agissait pas seulement d'un jeu mathématique, les chercheurs ont testé leur méthode sur une tâche très sérieuse : l'atterrissage d'un avion basé sur la vision. Ils ont utilisé l'IA pour repérer les coins d'une piste à partir d'une caméra située sur un avion. C'est une situation de vie ou de mort où connaître l'incertitude est crucial.

Ils ont constaté que l'IA pouvait prédire les coins de la piste et, plus important encore, fournir une bulle d'incertitude calibrée pour chaque coin. Lorsqu'ils ont utilisé ces bulles pour aider à calculer la position de l'avion, le système a fonctionné magnifiquement. Les estimations d'incertitude étaient bien calibrées, ce qui signifie que si le système disait « 95 % de confiance », il avait effectivement raison 95 % du temps. Cela a permis au système de navigation de l'avion de faire confiance aux données de la caméra et de les fusionner avec d'autres capteurs (comme le GPS) pour atterrir en toute sécurité.

Cependant, l'article souligne également une limite. Lorsqu'ils ont testé le système dans des conditions de brouillard (que l'IA n'avait jamais vues auparavant), les bulles de confiance ne sont pas devenues assez grandes pour avertir le système qu'il était confus. L'IA est restée « trop confiante » dans le brouillard. Cela suggère que si leur méthode est excellente pour les conditions normales, elle a encore besoin d'aide pour gérer des situations totalement nouvelles et inattendues (comme le brouillard épais).

À retenir

Cet article ne prétend pas avoir résolu tous les problèmes d'incertitude de l'IA. Au lieu de cela, il propose un outil pratique et léger qui peut être ajouté aux modèles d'IA rapides existants pour leur donner un « pressentiment » sur leur propre précision. En utilisant un module complémentaire ingénieux qui apprend à dessiner des « bulles de confiance » (en utilisant spécifiquement la distribution Student-t pour une meilleure précision) et en utilisant ensuite ces bulles pour filtrer les mauvaises suppositions, les chercheurs ont montré que nous pouvons rendre les modèles d'IA rapides beaucoup plus sûrs et plus fiables pour des tâches critiques comme l'atterrissage d'avions. C'est une étape vers une IA qui ne se contente pas de savoir ce qu'elle voit, mais qui sait aussi à quel point elle en est sûre.

Résumé technique : Des points clés aux distributions prédictives

Énoncé du problème

Les modèles YOLO-Pose sont largement déployés pour la localisation de points clés en temps réel en raison de leur efficacité et de leurs capacités d'inférence en un seul passage. Cependant, ils produisent une localisation déterministe unique pour chaque point clé ainsi qu'un score de confiance au niveau de l'instance qui ne quantifie pas l'incertitude spatiale spécifique au point clé. Dans les applications aval critiques pour la sécurité (ex. : fusion de capteurs, suivi), l'incapacité à évaluer la fiabilité de chaque point clé limite la robustesse du système.

Les méthodes existantes de quantification de l'incertitude au sein de la famille YOLO se concentrent principalement sur la détection d'objets (boîtes englobantes) ou nécessitent un réentraînement conjoint du modèle pour prédire l'incertitude parallèlement à la localisation. Ce paradigme d'apprentissage conjoint est souvent indésirable pour les modèles déployés où le réentraînement est contraint par des exigences de certification ou lorsque le changement de la fonction de perte pourrait dégrader la performance de la prédiction de la moyenne établie. De plus, les pertes standards comme l'Object Keypoint Similarity (OKS) induisent des distributions de résidus à queue lourde qui sont mal capturées par les hypothèses gaussiennes standards, menant à des estimations d'incertitude mal calibrées.

Méthodologie

Les auteurs proposent une extension probabiliste post-hoc légère qui augmente un modèle YOLO-Pose pré-entraîné et gelé sans altérer ses prédictions de points clés originales. L'approche se compose de trois composantes principales :

1. Extension de l'architecture

La méthode introduit des têtes probabilistes supplémentaires qui reflètent les têtes de pose originales. Ces têtes utilisent les caractéristiques de cou (neck) multi-résolutions partagées pour prédire une matrice de dispersion $2 \times 2$ hétéroscédastique et dépendante de l'entrée ( $\Sigma$ ) pour chaque point clé. La matrice est contrainte d'être définie positive via la décomposition de Cholesky. La moyenne de la distribution prédictive est fixée à la prédiction YOLO originale ( $\hat{y}$ ), tandis que la matrice de dispersion capture l'incertitude spatiale.

2. Entraînement avec NLL pondéré par l'importance

Pour apprendre la structure de dispersion, les auteurs emploient une Log-Vraisemblance Négative Gaussienne (GNLL) comme substitut à la perte OKS. Pour traiter le décalage entre l'assignation des étiquettes lors de l'entraînement et le post-traitement lors de l'inférence (ex. : seuillage de confiance, NMS), ils introduisent un objectif d'entraînement pondéré par l'importance :

Poids de rétention ( $w_{ret}$ ) : Basé sur le score de confiance au niveau de l'instance ( $c_{det}^\alpha$ ), approximant la probabilité qu'une prédiction soit conservée lors de l'inférence.
Poids d'échelle ( $w_{scale}$ ) : Basé sur l'inverse de la surface de l'objet ( $1/s^2$ ), pour contrebalancer la tendance des objets plus grands à dominer le signal d'optimisation et assurer un calibrage équilibré entre les échelles d'objets.
L'objectif minimise la GNLL pondérée sur les paires prédiction-vérité terrain correspondantes.

3. Schémas de calibration

Reconnaissant que la perte OKS induit des résidus à queue lourde (en raison de sa nature robuste qui supprime les valeurs aberrantes), les auteurs proposent deux stratégies de calibration complémentaires appliquées à un ensemble de calibration tenu à l'écart :

Calibration Gaussienne : Applique un étalonnage de température ( $\tau^2$ ) à la matrice de dispersion apprise. Cela produit une distribution prédictive $\mathcal{N}(\hat{y}, \tau^2\Sigma)$ , assurant la compatibilité avec les méthodes de covariance en aval (ex. : filtres de Kalman).
Calibration Student-t : Applique à la fois un étalonnage de température ( $\tau^2$ ) et un paramètre de degrés de liberté ( $\nu$ ) à la matrice de dispersion, la traitant comme une matrice d'échelle pour une distribution Student-t $T_\nu(\hat{y}, \tau^2\Sigma)$ . Cela capture mieux la nature empirique à queue lourde des résidus tout en maintenant une interprétation de covariance principielle pour $\nu > 2$ .

4. Élagage basé sur l'incertitude

La covariance calibrée est convertie en un score de confiance de localisation scalaire (ex. : en utilisant la trace de la covariance). Les points clés dont les scores sont inférieurs à un seuil (sélectionné via la statistique J de Youden sur un ensemble de validation) sont élagués avant le traitement en aval, supprimant les prédictions peu fiables tout en préservant les estimations de la moyenne des points clés conservés.

Protocole d'évaluation

Le papier introduit un cadre d'évaluation complet pour la régression de points clés hétéroscédastique :

Précision Moyenne des Points Clés (AKP) : Une métrique de type COCO étendue au niveau des points clés. Elle évalue si les scores d'incertitude classent efficacement les points clés par justesse, permettant la sélection ou l'élagage des points clés peu fiables.
Diagnostics de calibration distributionnelle :
- Couverture : Évalue si les régions de probabilité nominales (ex. : ellipses à 95 %) correspondent aux fréquences empiriques (Erreur de Couverture Moyenne, ACE).
- Calibration de la variance : Compare les magnitudes de variance prédites aux résidus carrés empiriques à travers les niveaux d'incertitude (Erreur de Calibration Normalisée Attendue, ENCE).
- Graphiques Q-Q : Évalue la forme et le comportement de la queue de la distribution prédictive par rapport à la loi de référence.

Résultats clés

Les expériences sur le jeu de données COCO (utilisant YOLO-NAS-Pose Nano et Large) démontrent :

Classement de fiabilité : Les estimations d'incertitude apprises fournissent des classements de fiabilité efficaces pour les points clés, atteignant des scores AKP élevés nettement supérieurs aux bases aléatoires.
Performance de calibration :
- La Calibration Gaussienne améliore la calibration de la variance (ANCE plus faible) mais peine avec la couverture (ACE plus élevée) en raison d'une spécification erronée des queues.
- La Calibration Student-t obtient la meilleure performance globale, réduisant significativement l'ACE (couverture quasi parfaite) tout en maintenant ou en améliant l'ENCE et la NLL. Cela confirme que la distribution de résidus empirique est mieux modélisée par une distribution Student-t à queue lourde.
Efficacité de l'élagage : L'élagage basé sur l'incertitude élimine efficacement les points clés peu fiables (particulièrement pour les membres ambigus comme les genoux et les chevilles), améliant les métriques de calibration de l'ensemble conservé.
Études d'ablation : La pondération par l'importance (spécifiquement les poids de rétention et d'échelle) est critique pour un calibrage équilibré entre les tailles d'objets. Les matrices de covariance hétéroscédastiques complètes surpassent les approximations isotropes ou diagonales.

Démonstration d'application : Atterrissage d'aéronef par vision

Les auteurs démontrent l'utilité de leur méthode dans un scénario d'atterrissage assisté par vision (VBL) utilisant un jeu de données interne à grande échelle.

Flux de travail : Les points clés de la piste sont détectés, et leurs covariances 2D calibrées sont propagées à travers un algorithme Perspective-n-Point (PnP) pondéré par la covariance pour estimer la position 3D et la covariance de l'aéronef.
Fusion de capteurs : L'estimation de la position 3D résultante et sa covariance sont intégrées dans un filtre de Kalman étendu (EKF) aux côtés d'autres capteurs de navigation (GNSS, ILS, IRS).
Résultats : Le modèle calibré gaussien fournit des covariances de plan d'image bien calibrées qui supportent une estimation de position sensible à l'incertitude. La méthode respecte les exigences de faible latence du VBL.
Limite : Dans des conditions de brouillard (hors distribution), le modèle échoue à capturer l'augmentation de l'incertitude épistémique, soulignant que l'approche post-hoc actuelle modélise l'incertitude aléatoire au sein de la distribution d'entraînement mais ne détecte pas intrinsèquement les décalages de distribution.

Signification et revendications

Le papier affirme être la première extension des modèles YOLO-Pose fournissant des distributions prédictives calibrées sur les erreurs de localisation des points clés sans réentraîner le modèle sous-jacent ni modifier ses prédictions originales.

Les principales contributions incluent :

Flexibilité Post-Hoc : Une méthode qui découple l'estimation de l'incertitude de la prédiction de points, permettant de calibrer des modèles existants et certifiés.
Fidélité Distributionnelle : La démonstration que la calibration Student-t est nécessaire pour capturer les résidus à queue lourde induits par les pertes OKS robustes, surpassant les hypothèses gaussiennes standards.
Standard d'Évaluation : L'introduction de l'AKP et d'une suite de diagnostics de calibration adaptés à la régression de points clés bivariée et hétéroscédastique, comblant une lacune dans la littérature où l'incertitude est souvent évaluée de manière qualitative ou via un score de confiance scalaire.
Utilité Pratique : Validation dans un domaine critique pour la sécurité (aviation), montant que les covariances calibrées sont des exigences fonctionnelles pour la fusion de capteurs en aval et que l'élagage basé sur l'incertitude peut améliorer la robustesse du système.

Les auteurs maintiennent une position modeste concernant l'incertitude épistémique, reconnaissant que leur approche actuelle repose sur des résidus de distribution intra-classe et que la gestion des entrées hors distribution (ex. : conditions météorologiques sévères) nécessite des travaux futurs sur la modélisation de l'incertitude épistémique.