Résumé technique : Collaboration humain-robot sûre basée sur la vision avec garanties d'incertitude

Énoncé du problème

À mesure que les robots autonomes opèrent de plus en plus dans des environnements centrés sur l'humain (industrie, santé, foyers), garantir la sécurité nécessite une perception précise des postures humaines, une prédiction de mouvement fiable et des garanties de sécurité prouvables contre les collisions. Les approches actuelles de collaboration humain-robot (HRC) sûres font face à trois limitations critiques :

1. Dépendance aux systèmes à marqueurs : Les méthodes sûres prouvables reposent souvent sur un suivi par marqueurs, ce qui limite la flexibilité du déploiement.
2. Gestion inadéquate de l'incertitude : Les méthodes basées sur la vision utilisant des caméras RGB-D supposent souvent des erreurs d'estimation maximales fixes ou fournissent des estimations d'incertitude dépourvues de garanties formelles. De plus, elles échouent fréquemment de manière catastrophique sur des entrées hors distribution (OOD), un risque non capturé par l'incertitude aléatoire standard.
3. Modèles de mouvement conservateurs : Les cadres de sécurité traditionnels utilisent des modèles de mouvement simples, non basés sur les données (par exemple, en supposant une vitesse maximale de 1,6 m/s dans toutes les directions selon la norme ISO 13855:2010) pour définir les ensembles atteignables. Ces modèles sont hautement conservateurs, conduisant à un fonctionnement inefficace du robot. À l'inverse, les prédicteurs de mouvement les plus avancés manquent d'estimations d'incertitude hétéroscédastiques, de propagation d'incertitude de bout en bout et de garanties de prédiction conforme.

Méthodologie

Les auteurs proposent un cadre unifié pour l'estimation de posture humaine et la prédiction de mouvement basés sur la vision, qui intègre l'estimation d'incertitude avec la prédiction conforme pour fournir des garanties de sécurité certifiables. Le pipeline se compose de quatre étapes principales :

1. Estimation de posture 3D consciente de l'incertitude

• Estimation 2D : Le système adapte YOLO26 pour produire non seulement les positions moyennes des articulations en 2D, mais aussi la matrice de covariance pour chaque articulation dans deux cadres de caméra calibrés. Cette covariance est dérivée de l'échelle de la distribution gaussienne dans le modèle de régression basé sur le flux.
• Triangulation : Les positions des articulations en 3D sont calculées par triangulation linéaire standard.
• Propagation de la covariance 3D : Les covariances croisées sont estimées à partir des corrélations des résidus sur un ensemble de calibration. Les covariances 3D finales sont obtenues par propagation du premier ordre, augmentées d'un terme isotrope faible pour tenir compte des erreurs systématiques de reconstruction (par exemple, imperfections de calibration).

2. Prédiction de mouvement 3D consciente de l'incertitude

• Architecture : Le modèle étend l'architecture Transformer à transformée en cosinus discrète (DCT). Il traite les entrées de posture et de covariance le long de l'axe temporel.
• Séparation fréquentielle : Les composantes basse fréquence (tendances globales lisses) et haute fréquence (variations rapides à fine échelle) sont traitées via des chemins dédiés de perceptron multicouche (MLP) après le module d'attention, avant d'être recombinées via une DCT inverse.
• Intégration de l'incertitude : Les entrées d'incertitude sont mises à l'échelle par un facteur apprenable et ajoutées aux caractéristiques de posture.
• Prédiction de covariance : Pour assurer la stabilité et la validité, le modèle prédit les matrices de covariance en utilisant la factorisation de Cholesky.
• Stratégie d'entraînement : Une optimisation multi-phasée stable est employée : (i) entraînement d'un prédicteur de base déterministe, (ii) apprentissage découplé de la tête d'incertitude avec un socle figé, et (iii) réglage fin de bout en bout avec un facteur de pondération ($\lambda$) réduit progressivement pour équilibrer précision et calibration. La fonction de perte combine la vraisemblance négative logarithmique (NLL) gaussienne multivariée et une perte de position $L_1$.

3. Ensembles de prédiction conforme

Pour convertir les estimations d'incertitude en bornes de sécurité certifiables, le cadre construit des ensembles de prédiction conforme :

• Mesure de non-conformité : Un score est défini sur la base de la distance euclidienne entre les positions prédites et réelles, normalisée par la racine carrée de la valeur propre maximale de la covariance prédite.
• Construction de l'ensemble : En utilisant un ensemble de calibration, un seuil est déterminé de sorte que la vraie position de l'articulation tombe dans la sphère prédite avec une probabilité $1-\epsilon$.
• Extension temporelle : Pour couvrir le temps continu, le rayon de la sphère de prédiction est étendu de $\Delta t \cdot v_{max}$ (où $v_{max} = 1,6$ m/s) pour les pas de temps entre les prédictions discrètes.
• Occupations atteignables : L'outil SARA est utilisé pour étendre ces sphères au niveau des articulations en occupations atteignables du corps entier pour la protection de sécurité.

4. Détection et gestion des données OOD

Pour répondre à l'échec des modèles sur des données inédites :

• Détection : La méthode Sketching Lanczos Uncertainty (SLU) est appliquée aux réseaux d'estimation de posture 2D et de prédiction de mouvement pour détecter les entrées OOD. Des modèles réduits (prédisant uniquement les positions de la tête et des mains) sont utilisés pour l'efficacité.
• Dégradation gracieuse : Si une entrée est signalée comme OOD, le pipeline ne s'arrête pas. Au lieu de cela, il réutilise la prédiction de mouvement valide précédente pour remplir le tampon de posture. Le système ne reprend l'acceptation de nouvelles prédictions basées sur l'image qu'après une séquence de $N_{req}$ observations valides consécutives, empêchant ainsi les boucles de rétroaction de données invalides.

Contributions clés

L'article présente un cadre pour une HRC sûre comprenant :

1. Propagation d'incertitude de bout en bout : Un pipeline qui estime le mouvement humain en 3D avec une incertitude aléatoire hétéroscédastique propagée de l'estimation 2D, à travers la triangulation, jusqu'à la prédiction de mouvement.
2. Ensembles de prédiction conforme : La génération d'ensembles de prédiction pour les postures humaines offrant des garanties valides et à haute confiance ($1-\epsilon$), directement intégrables avec des boucliers de sécurité comme SARA.
3. Gestion continue des OOD : Une méthode pour gérer les entrées hors distribution dans un contexte de prédiction continue en réutilisant les prédictions valides passées, assurant la continuité du pipeline sans échec catastrophique.

Résultats expérimentaux

Le cadre a été évalué sur l'ensemble de données Human3.6M et dans un environnement HRC réel avec un robot Franka Emika.

• Précision de prédiction : Sur le benchmark Human3.6M, les performances de l'étape 1 (déterministe) du modèle ont surpassé les références de l'état de l'art (HisRep, ST-DGCN, etc.). Cependant, le modèle final (avec prédiction d'incertitude) a montré une légère augmentation de l'erreur de position moyenne par articulation (MPJPE) par rapport à l'étape 1, un compromis pour fournir des estimations d'incertitude.
• Efficacité des ensembles conformes : Par rapport au modèle de vitesse constante standard ISO 13855:2010, les ensembles de prédiction conforme proposés ont atteint une couverture plus élevée (98,25 % contre 97,93 %) tout en réduisant le volume de l'ensemble atteignable prédit d'un facteur 11.
• Efficacité de la gestion des OOD : Dans l'évaluation du pipeline complet, le mécanisme de gestion des OOD proposé a réduit le taux de tampons de posture invalides de 36,0 % (augmentant les prédictions de mouvement valides) avec seulement une augmentation marginale du MPJPE (2,6 %).
• Déploiement réel : Intégré au bouclier SARA, le système a fonctionné avec succès sur un robot Franka Emika. En mode de surveillance de vitesse et de séparation, le robot s'est arrêté systématiquement avant que l'opérateur humain ne puisse l'atteindre, démontrant la viabilité pratique des garanties de sécurité certifiables.

Importance et affirmations

Les auteurs affirment que leur travail comble le fossé entre la prédiction de mouvement basée sur les données à haute précision et les exigences de sécurité rigoureuses. En combinant la prédiction conforme avec la détection des OOD, le cadre permet aux robots d'opérer avec des garanties de sécurité certifiables dans des situations inédites sans dépendre des hypothèses trop conservatrices des modèles de mouvement traditionnels. La réduction du volume de prédiction d'un facteur 11 suggère que cette approche peut améliorer considérablement l'efficacité et la fluidité du robot dans les tâches collaboratives tout en maintenant la sécurité. La stratégie de dégradation gracieuse assure la robustesse dans les déploiements réels où les données des capteurs peuvent occasionnellement tomber en dehors de la distribution d'entraînement.