Résumé technique : Autonomie robotique à seuil de confiance

1. Formulation du problème

Les systèmes robotiques reposent souvent sur une autonomie à seuil de confiance, où un modèle de perception prédit une étiquette d'action ou d'activité, et un score d'incertitude associé détermine si le robot exécute de manière autonome ou se réfère à une politique de repli. Ce mécanisme formalise le compromis risque–couverture inhérent à la prédiction sélective.

Le problème central abordé est l'évaluation de l'incertitude prédictive dans ce contexte spécifique. Les métriques standard comme l'erreur d'étalonnage attendue (ECE) et la surface sous la courbe caractéristique d'opération du récepteur (AUROC) évaluent l'étalonnage probabiliste ou le classement global, mais ne mesurent pas directement si les scores d'incertitude induisent des décisions d'exécution/ajournement matériellement différentes. Les auteurs s'interrogent sur la manière dont l'incertitude doit être évaluée lorsque son rôle principal est de contrôler l'exécution plutôt que de fournir des probabilités étalonnées, en particulier dans des conditions de compétence du modèle et de décalage de distribution.

2. Méthodologie

Cadre d'évaluation

Les auteurs proposent un protocole d'évaluation centré sur la décision qui traite l'incertitude comme une variable de décision plutôt que comme une quantité probabiliste. Le cadre repose sur trois composants principaux :

1. Corrélation de rang de Spearman ($\rho$) : Mesure la corrélation entre les scores d'incertitude et les indicateurs d'erreur binaires. Cela évalue si une incertitude plus élevée est systématiquement attribuée aux prédictions erronées, ce qui est l'exigence fondamentale pour un contrôle efficace.
2. Test d'équivalence par bootstrap apparié : Utilise un rééchantillonnage non paramétrique ($B=1000$) pour déterminer si les différences entre les estimateurs d'incertitude sont opérationnellement significatives. Une marge conservatrice de $\delta = 0,01$ est utilisée pour définir l'équivalence pratique.
3. Accord d'exécution/ajournement : Compare les ensembles d'échantillons sélectionnés pour une exécution autonome entre différents estimateurs lorsque les seuils sont appariés par couverture (plutôt que par valeur brute du score).

Configuration expérimentale

• Benchmarks : Trois jeux de données de reconnaissance d'activités temporelles avec des régimes de précision variables :
  • EGO4D : Reconnaissance d'actions égocentriques (7 classes, ~63,5 % de précision).
  • iAssist : Reconnaissance d'activités d'assistance à partir d'IMU/regard (8 classes, ~96,5 % de précision).
  • GTEA : Reconnaissance d'activités combinant regard et action (20 classes, ~46 % de précision).
• Estimateurs d'incertitude : Sept méthodes ont été évaluées :
  • Heuristiques dérivées du softmax (Entropie, Marge, Ratio de variation, Moindre confiance).
  • MC Dropout (Entropie prédictive, Variance épistémique à partir de $T=30$ passages).
  • Deep Ensembles (Entropie à 3 membres).
• Protocoles de robustesse :
  • Analyse de compétence : Les modèles ont été entraînés sur des sous-ensembles (5 %–70 %) des données d'entraînement pour identifier le seuil de précision où l'incertitude devient utile pour la décision.
  • Décalage de covariable temporelle : Les ensembles de test ont été corrompus par suppression de trames, bruit gaussien et jitter temporel à cinq niveaux de sévérité.
  • Détection de hors-distribution (OOD) sémantique : Évaluée à l'aide de classes retenues (aléatoires et rares) pour tester la détection de nouveauté fine.
• Simulation incarnée : Une simulation PyBullet minimale a mappé 7 classes d'activités sur 3 primitives de navigation (gauche, droit, droite). Elle a mesuré les taux de collision et le coût total sous différents niveaux d'autonomie et choix d'estimateurs.

3. Résultats clés

Le régime de compétence

L'incertitude fournit un classement fiable des erreurs uniquement après que le modèle de base entre dans un régime de compétence dépendant du jeu de données.

• En dessous d'un seuil de précision spécifique (par exemple ~33 % pour GTEA, ~58 % pour EGO4D, ~70 % pour iAssist), les scores d'incertitude produisent des classements faibles et instables avec une forte variabilité entre les graines d'entraînement.
• Au-dessus de ce régime, les scores d'incertitude classent systématiquement les erreurs, permettant un contrôle efficace.

Équivalence des estimateurs

Une fois le modèle compétent, le choix de l'estimateur d'incertitude a un impact négligeable sur les résultats d'exécution :

• Comportement de contrôle similaire : Les heuristiques softmax, le MC Dropout et les ensembles produisent des valeurs de Spearman $\rho$ presque identiques et des accords d'exécution/ajournement (>97–99 %).
• Dominance du seuil : Le choix du seuil d'exécution ($\tau$) a un effet substantiellement plus grand sur les résultats que le choix de l'estimateur. Par exemple, restreindre l'exécution aux 10 % de prédictions les plus confiantes sur EGO4D a réduit l'erreur d'exécution de 46 %, tandis que le passage de l'entropie softmax à la marge a changé la précision de moins de 0,5 %.
• Validation incarnée : Dans la simulation de navigation, lorsque l'autonomie réalisée était appariée, différents estimateurs ont abouti à des taux de collision et des coûts statistiquement indiscernables.

Robustesse au décalage

• Décalage de covariable temporelle : Sous des corruptions temporelles (par exemple, suppression de trames), la qualité du classement ($\rho$) est restée stable, et le contrôle a efficacement réduit l'erreur d'exécution (par exemple, une réduction de 3,4× sur EGO4D). Le système a présenté une dégradation gracieuse.
• Détection de hors-distribution (OOD) sémantique : En revanche, la détection fine de nouveauté sémantique hors-distribution est restée proche du hasard (AUROC $\approx$ 0,35–0,49). Les modèles étaient souvent plus confiants sur les classes retenues que sur les classes dans la distribution, un mode de défaillance connu de la détection basée sur le softmax lorsque les classes invisibles partagent des caractéristiques avec celles qui ont été vues.

4. Contributions

L'article revendique les contributions suivantes :

1. Protocole centré sur la décision : Introduction d'un cadre d'évaluation basé sur la corrélation de rang, le test d'équivalence par bootstrap et l'accord d'exécution/ajournement, dépassant les métriques d'étalonnage standard.
2. Identification du régime de compétence : Preuve empirique que l'incertitude n'est utile pour la décision qu'au-dessus d'un seuil de précision spécifique et dépendant du jeu de données.
3. Interchangeabilité des estimateurs : Démonstration que, dans les régimes compétents, les heuristiques softmax légères sont pratiquement équivalentes aux méthodes coûteuses en calcul (MC Dropout, Ensembles) pour l'autonomie à seuil.
4. Seuil vs Estimateur : Preuve que la sélection du seuil est le principal moteur des résultats d'exécution, et non le choix de l'estimateur d'incertitude.
5. Asymétrie du décalage : Clarification selon laquelle les proxies d'incertitude suffisent pour le décalage de covariable temporelle mais échouent pour la détection de nouveauté sémantique fine.

5. Importance et implications

L'article plaide pour un changement dans la manière dont l'autonomie robotique est déployée et évaluée. L'implication principale est que la compétence au niveau de la tâche doit être établie avant que le contrôle par incertitude ne soit efficace. Une fois qu'un modèle est compétent, les praticiens doivent prioriser le réglage du seuil basé sur les ratios de coûts spécifiques à l'application (équilibrant erreur vs coûts d'ajournement) plutôt que d'investir dans des méthodes complexes d'estimation d'incertitude.

Les auteurs suggèrent un ordre de déploiement pratique :

1. Établir la compétence au niveau de la tâche.
2. Réglage du seuil d'exécution pour le compromis risque–couverture souhaité.
3. Déploiement de proxies d'incertitude simples (par exemple, entropie softmax) pour gérer les décalages de covariable temporelle.
4. Mise en œuvre de mécanismes dédiés à ensemble ouvert lorsque la nouveauté sémantique est attendue, car les scores d'incertitude standard sont insuffisants pour cette tâche.

L'étude reconnaît des limites, notant que les résultats incarnés dépendent fortement de la politique de repli et que la simulation utilise une cartographie d'action simplifiée. Cependant, elle fournit une ancrage au niveau des conséquences pour l'affirmation selon laquelle, dans les paramètres à seuil, le « comment » de l'estimation d'incertitude importe moins que le « quand » (compétence) et le « où » (seuil) de son application.