Vision-Language Models for Ergonomic Assessment of Manual Lifting Tasks: Estimating Horizontal and Vertical Hand Distances from RGB Video

Cette étude démontre la faisabilité d'utiliser des modèles vision-langage pour estimer de manière non invasive les distances horizontales et verticales des mains à partir de vidéos RGB, permettant ainsi une évaluation ergonomique des tâches de levage manuel avec des erreurs moyennes de 5 à 8 cm, notamment grâce à l'intégration de la segmentation pixelique.

L'essentiel

🎬 Le Film : "L'œil intelligent qui mesure sans toucher"

Imaginez que vous êtes un expert en sécurité au travail. Votre job, c'est de vérifier si un employé qui soulève des cartons risque de se faire mal au dos. Pour le savoir, vous devez mesurer deux choses précises :

1. La distance horizontale (H) : À quelle distance le carton est-il du corps de l'ouvrier ?
2. La distance verticale (V) : À quelle hauteur est le carton par rapport au sol ?

Le problème : Jusqu'ici, pour avoir ces mesures, il fallait soit un humain avec un mètre ruban (ce qui est long et fastidieux), soit des caméras spéciales et des capteurs collés sur le dos des gens (ce qui est cher et intrusif).

La solution de cette étude : Les chercheurs ont créé un "super-cerveau" numérique capable de regarder une simple vidéo (comme celle d'un téléphone ou d'une webcam) et de deviner ces distances tout seul. Ils ont utilisé une technologie appelée VLM (Modèles Vision-Langage).

---

🧠 Comment ça marche ? (L'analogie du Chef Cuisinier)

Pour comprendre leur méthode, imaginons que le système est un chef cuisinier très intelligent qui doit préparer un plat (estimer la distance) à partir d'ingrédients (la vidéo).

1. La Recette (Le Modèle VLM)

Au lieu de juste regarder la vidéo comme une caméra normale, ce "chef" comprend le langage. Vous pouvez lui dire : "Regarde la personne qui soulève la boîte, trouve ses mains et ses pieds."

• L'astuce : Le chef ne se contente pas de voir des formes floues. Il comprend ce qu'est une "main" ou un "pied" grâce à des mots. C'est comme si vous lui donniez une liste de courses mentale avant de commencer à cuisiner.

2. Les Deux Méthodes de Cuisson (Les Pipelines)

Les chercheurs ont testé deux façons de préparer le plat :

• Méthode A (La Boîte Magique - Détection seule) :
  Le chef dessine un cadre carré (une boîte) autour de la main ou du pied. C'est rapide, mais le cadre contient aussi un peu de l'arrière-plan (le mur, le sol). C'est un peu comme essayer de mesurer un fruit en le regardant à travers une fenêtre sale : vous voyez le fruit, mais il y a de la poussière sur le verre.

  • Résultat : C'est correct, mais pas très précis.

• Méthode B (Le Couteau de Chirurgie - Détection + Segmentation) :
  Ici, le chef utilise d'abord la boîte, puis il prend un couteau ultra-précis (un outil appelé SAM) pour découper exactement la forme de la main ou du pied, pixel par pixel. Il enlève tout ce qui n'est pas le fruit.

  • Résultat : C'est beaucoup plus net. Le système voit exactement où commence et finit la main, sans le bruit de l'arrière-plan.
  • Le verdict : La Méthode B a été beaucoup plus précise, réduisant les erreurs de 20 à 40 %. C'est comme passer d'une estimation grossière à une mesure chirurgicale.

3. Le Point de Vue (Les Caméras)

Imaginez que vous essayez de deviner la taille d'un objet caché derrière un buisson.

• Une seule caméra (Un seul œil) : Si vous regardez de côté, l'objet peut être caché ou déformé par la perspective. C'est comme essayer de deviner la taille d'un ami qui se cache derrière un poteau.
• Trois caméras (Trois yeux) : Si vous avez un ami devant, un à gauche et un à droite, vous voyez l'objet sous tous les angles. Même s'il est caché d'un côté, vous le voyez de l'autre.
  • Résultat : L'étude a prouvé que regarder la scène avec trois caméras synchronisées donnait les résultats les plus fiables, surtout pour mesurer la hauteur (V), car cela évite les illusions d'optique.

---

📊 Ce qu'ils ont découvert (Les Résultats)

1. La précision est là : Avec la meilleure méthode (les 3 caméras + le découpage précis), le système se trompe en moyenne de seulement 6 à 8 centimètres. Pour une estimation automatique sans contact, c'est une performance incroyable !
2. Le début vs la fin du mouvement :
   • Au début du soulèvement (quand l'ouvrier est courbé vers le sol), c'est plus dur de voir les pieds à cause du torse qui cache la vue.
   • À la fin du soulèvement (quand l'ouvrier est debout), c'est plus facile de voir les mains.
   • Le système a bien géré ces changements, mais il a montré que la précision varie selon la posture.
3. L'avenir est vidéo : Plus besoin de colliers de capteurs ou de mètre ruban. Une simple vidéo suffit pour évaluer les risques de mal de dos.

🚀 Pourquoi c'est important pour nous ?

Imaginez un futur où, dans une usine ou un entrepôt, une caméra intelligente surveille les mouvements. Elle ne vous espionne pas, elle vous protège.

• Si elle voit qu'un employé soulève une boîte trop loin de son corps, elle peut alerter le responsable : "Attention, risque de mal de dos !".
• Cela permet de corriger les mauvaises habitudes avant qu'elles ne causent des blessures, le tout de manière automatique, peu coûteuse et sans gêner les travailleurs.

En résumé : Cette étude nous dit que l'Intelligence Artificielle, aidée par plusieurs caméras et capable de "découper" précisément les objets dans une vidéo, peut devenir le nouveau mètre ruban de la sécurité au travail. C'est une révolution pour protéger la santé des employés ! 🛡️📹

Résumé technique

Titre : Modèles Vision-Langage pour l'Évaluation Ergonomique des Tâches de Levage Manuel : Estimation des Distances Horizontales et Verticales à partir de Vidéos RGB

1. Problématique

Les troubles musculo-squelettiques liés au travail (TMS) constituent un problème majeur de santé au travail, souvent causés par la manutention manuelle de charges. L'outil de référence pour évaluer les risques de levage est l'Équation de Levage Révisée du NIOSH (RNLE). Cette équation repose sur six paramètres, dont les distances horizontales (H) et verticales (V) des mains par rapport au sol et aux chevilles.

Cependant, l'application pratique de la RNLE rencontre plusieurs obstacles :

• Mesures manuelles : Longues, sujettes aux biais d'observateur et difficiles à appliquer dans des environnements complexes.
• Capteurs portables et systèmes optiques : Coûteux, intrusifs et logistiquement complexes pour des évaluations sur le terrain.
• Limites de la vision par ordinateur traditionnelle : Les méthodes basées sur l'estimation de la pose humaine (squelette) sont sensibles aux occlusions, aux perspectives de caméra et aux instabilités temporelles. De plus, elles ne modélisent pas explicitement les relations spatiales entre l'objet, l'opérateur et l'environnement, ce qui est crucial pour calculer les distances H et V.

L'objectif de cette étude est d'évaluer la faisabilité d'utiliser des Modèles Vision-Langage (VLM) pour estimer de manière non invasive les distances H et V à partir de flux vidéo RGB, en surmontant les limites des approches par pose pure.

2. Méthodologie

Données :

• Sujet : 32 participants sains (19 hommes, 13 femmes) réalisant des tâches de levage symétriques depuis le sol ou le niveau du genou jusqu'au niveau de la hanche.
• Capteurs : Trois caméras Azure Kinect synchronisées (V1, V2, V3) fournissant des vues obliques et frontales, et un système de capture de mouvement IMU (16 capteurs) servant de vérité terrain pour l'étiquetage des distances H et V.
• Conditions : 7 configurations de vue (3 vues simples, 4 vues multiples combinées).

Architecture des Pipelines VLM :
Les auteurs ont développé et comparé deux pipelines multi-étapes basés sur des modèles pré-entraînés (sans réentraînement spécifique à la tâche) :

1. Pipeline de Détection Uniquement (GD–Dv2) :

   • Détection : Utilisation de Grounding DINO pour localiser l'opérateur ("person lifting") et les objets pertinents (mains, chaussures, boîte) via des requêtes textuelles (zero-shot).
   • Extraction de caractéristiques : Les boîtes englobantes (bounding boxes) sont redimensionnées et traitées par DINOv2 (Vision Transformer) pour extraire des vecteurs de caractéristiques visuelles.
   • Régression : Un modèle de régression basé sur un Transformeur bidirectionnel analyse la séquence temporelle des caractéristiques pour estimer H et V.

2. Pipeline de Détection + Segmentation (GD–SAM–Dv2) :

   • Détection : Même étape initiale avec Grounding DINO.
   • Segmentation : Utilisation du modèle SAM (Segment Anything Model) guidé par les boîtes de Grounding DINO pour générer des masques de segmentation au niveau du pixel. Cela permet d'isoler précisément les régions d'intérêt (ROI) du fond.
   • Extraction et Régression : Les masques sont utilisés pour extraire les caractéristiques via DINOv2, enrichies de données géométriques (dimensions de la boîte), puis traitées par le même modèle de régression temporel.

Validation :
Une validation croisée Leave-One-Subject-Out (LOSO) a été utilisée (32 plis) pour garantir que le modèle généralise à de nouveaux individus. Les performances ont été évaluées sur les phases de début et de fin de levage.

3. Résultats Clés

Les résultats montrent des variations significatives selon le pipeline et la configuration de la caméra :

• Impact de la Segmentation :

  • Le pipeline GD–SAM–Dv2 (avec segmentation) a systématiquement surperformé le pipeline de détection seule.
  • Réduction des erreurs d'estimation d'environ 20–30 % pour H et 35–40 % pour V.
  • L'avantage de la segmentation est particulièrement marqué pour l'estimation de la distance verticale (V), car la localisation précise des mains et des pieds est critique pour la projection perspective.

• Impact de la Vue de Caméra :

  • Les conditions multi-vues (notamment V1+V2+V3) ont produit les erreurs les plus faibles, surpassant nettement les vues simples.
  • La combinaison de vues multiples réduit l'incertitude liée aux occlusions et aux effets de perspective.
  • Exemple (Début du levage, Pipeline GD–SAM–Dv2) :
    • H (Distance horizontale) : Erreur absolue moyenne (MAE) d'environ 6,2 cm (multi-vues) contre ~10,7 cm (vue simple V1).
    • V (Distance verticale) : MAE d'environ 7,8 cm (multi-vues) contre ~27,7 cm (vue simple V2).

• Dynamique Temporelle (Début vs Fin du levage) :

  • Une divergence intéressante a été observée : les erreurs pour V diminuent fortement de la phase de début à la phase de fin (les participants sont plus debout, moins d'occlusion), tandis que les erreurs pour H augmentent légèrement (difficulté à localiser les chevilles lorsque la charge est élevée).
  • Cela suggère que les sources d'erreur varient selon la phase du mouvement.

• Performances Globales :

  • La configuration optimale (Pipeline GD–SAM–Dv2 + 3 caméras) a atteint des MAE d'environ 6–8 cm pour H et 5–8 cm pour V, ce qui est considéré comme acceptable pour une évaluation ergonomique automatisée.

4. Contributions Principales

1. Preuve de concept VLM pour l'ergonomie : Première démonstration de l'utilisation de modèles Vision-Langage (Grounding DINO, SAM, DINOv2) pour estimer quantitativement les paramètres géométriques de la RNLE à partir de vidéos RGB.
2. Supériorité de la segmentation : Démonstration que l'intégration de la segmentation au niveau du pixel (via SAM) améliore significativement la précision par rapport à la simple détection de boîtes, en réduisant le bruit de fond et en affinant les limites des objets.
3. Analyse de la robustesse multi-vues : Évaluation systématique montrant que les configurations multi-vues sont essentielles pour minimiser les erreurs, en particulier pour la distance verticale, et que des combinaisons de deux caméras (ex: vue frontale + oblique) peuvent offrir un compromis coût-performance intéressant.
4. Pipeline sans capteurs : Proposition d'une méthode non invasive, ne nécessitant ni marqueurs, ni capteurs portables, ni calibration manuelle complexe, utilisant uniquement des flux vidéo standard.

5. Signification et Implications

• Accessibilité : Cette approche ouvre la voie à des évaluations ergonomiques automatisées, peu coûteuses et scalables dans des environnements industriels réels, éliminant le besoin de mesures manuelles fastidieuses ou d'équipements intrusifs.
• Précision suffisante pour la prise de décision : Bien que les erreurs (6–8 cm) ne soient pas nulles, elles sont potentiellement suffisantes pour classer correctement les risques selon la RNLE, permettant d'identifier les tâches à haut risque et de prioriser les interventions.
• Limites et Futur : L'étude a été menée en laboratoire avec des participants jeunes et sains. La généralisation à des environnements réels (lumière variable, arrière-plans encombrés, travailleurs âgés) nécessite des recherches futures. De plus, l'extension du modèle pour estimer d'autres paramètres de la RNLE (asymétrie, fréquence) est une prochaine étape logique.

En conclusion, cette recherche valide la faisabilité des pipelines VLM pour l'estimation de distances ergonomiques clés, suggérant que l'association de la détection guidée par le texte, de la segmentation fine et de la modélisation temporelle représente une avancée majeure pour l'ergonomie industrielle basée sur la vidéo.