Passive Construction Site Safety Monitoring via Persona-Scaffolded Adversarial Chain-of-Thought VLM Verification
Ce document présente un système de surveillance passive de la sécurité en fin de poste qui intègre la détection YOLO11 affinée, la segmentation SAM 3 et un nouveau protocole de chaîne de pensée adversaire étayé par une persona utilisant Qwen3-VL-8B afin d'améliorer considérablement la précision de la vérification de la conformité et de réduire les hallucinations tout en générant des rapports de sécurité cartographiés sur OSHA à partir de vidéos en vue subjective des travailleurs et de caméras fixes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un chantier de construction comme une cuisine animée et chaotique. Habituellement, pour garantir la sécurité de tous, il faut un chef cuisinier présent 24 heures sur 24, 7 jours sur 7, surveillant chaque personne pour s'assurer qu'elle porte son tablier (casque), utilise des gants de four (gants) et ne se tient pas trop près de la flamme ouverte (machinerie). Mais engager un chef pour chaque poste est coûteux, et ils ne peuvent pas être partout à la fois.
Ce document propose une nouvelle façon de gérer la cuisine : L'audit de sécurité « Fin de poste ».
Au lieu de surveiller la cuisine en temps réel, le système enregistre tout via deux types de caméras :
- Caméras murales : Comme des caméras de sécurité au plafond, surveillant toute la pièce.
- Caméras corporelles : Comme un GoPro fixé sur la poitrine d'un travailleur, montrant exactement ce que lui voit et ce qu'il fait de ses mains.
À la fin de la journée, le système examine les séquences vidéo pour rédiger un rapport de sécurité pour chaque travailleur. Voici comment cela fonctionne, décomposé en trois étapes simples :
Étape 1 : « L'Œil de l'Aigle » (YOLO)
D'abord, un programme informatique rapide (appelé YOLO11) analyse la vidéo. C'est comme un stagiaire très rapide et empressé qui repère des éléments mais n'est pas parfait.
- Il pointe des personnes et dit : « C'est un travailleur ! »
- Il pointe des équipements et dit : « C'est un casque ! » ou « C'est un gilet ! »
- L'astuce : Ce stagiaire est instruit d'être trop sensible. Il vaut mieux signaler 100 choses potentiellement incorrectes que de manquer un vrai danger. Ainsi, il signale tout, même si ce n'est qu'une ombre ressemblant à un gant. Il génère une longue liste de « violations potentielles ».
Étape 2 : Le Spécialiste « Zoom » (SAM 3)
Ensuite, un deuxième outil (SAM 3) prend la liste du stagiaire et zoome.
- Éliminer le désordre : Si deux travailleurs se tiennent près l'un de l'autre, le stagiaire pourrait se tromper sur qui porte le casque. Cet outil découpe la forme exacte de chaque personne, les séparant du fond et les uns des autres.
- Associer l'équipement aux personnes : Il s'assure que le casque appartient à la personne se tenant juste en dessous, et non à celle qui se tient à côté.
- Le résultat : Il crée une image propre et isolée de chaque travailleur avec son équipement clairement visible, prêt pour le juge final.
Étape 3 : Le « Jury à Trois Personnes » (Le VLM Adversarial)
C'est la plus grande innovation du document. Au lieu de demander à une seule IA de prendre la décision finale (ce qui peut parfois « halluciner » ou inventer des choses qu'elle n'a pas vues), le système utilise un jury à trois personnes composé d'une seule IA avancée (Qwen3-VL) jouant trois rôles différents.
Imaginez cela comme un drame judiciaire où le même acteur joue trois personnages différents qui ne parlent pas entre eux avant le verdict final :
- L'Inspecteur de terrain (Pass 1) : Ce personnage regarde la vidéo brute sans aucune note informatique. Il note ce qu'il voit de ses propres yeux, tout comme un agent de sécurité humain parcourant le site. Il pourrait dire : « J'ai vu quelqu'un courir » ou « Je pense que ce gant manque ».
- L'Officier senior (Pass 2) : Ce personnage regarde la vidéo avec les notes de l'ordinateur (les boîtes englobantes et les scores de confiance). Il vérifie le travail de l'ordinateur. « L'ordinateur dit qu'un gilet manque. La vidéo le confirme-t-elle ? »
- Le Juge (Pass 3) : Ce personnage lit les notes de l'Inspecteur de terrain et de l'Officier senior. Il ne regarde plus la vidéo ; il examine uniquement les preuves écrites par les deux autres. Il doit décider : « Une violation a-t-elle réellement eu lieu ? »
Pourquoi faire ainsi ?
Le document a constaté que si l'on demande simplement à l'IA une seule fois, elle devient trop confiante et invente des violations (hallucinations). En forçant l'IA à débattre avec elle-même sous trois angles différents, elle devient beaucoup plus prudente.
- Si l'Inspecteur de terrain dit « Pas de gant » mais que l'Officier senior (en regardant les données informatiques) dit « Non, l'ordinateur est certain qu'il est là », le Juge doit réfléchir longuement avant de trancher.
- Le système utilise des règles spéciales : Si l'ordinateur est très incertain, le Juge attend que l'observateur de type humain confirme. Si l'observateur voit quelque chose de dangereux (comme quelqu'un qui court), le Juge lui fait confiance même si l'ordinateur l'a manqué.
Le Rapport Final
Une fois que le « Juge » a pris une décision, le système rédige un rapport pour chaque travailleur.
- Score de sécurité : Il vérifie s'ils se penchent trop (en utilisant une méthode appelée REBA, comparable à un kinésithérapeute vérifiant votre posture).
- Règles OSHA : Il lie chaque erreur à des lois gouvernementales spécifiques en matière de sécurité (comme « Protection contre les chutes »).
- Preuve : Il inclut un horodatage et une image spécifique de la vidéo montrant exactement ce qui s'est passé, afin que le travailleur puisse voir la preuve.
La Conclusion
Les auteurs ont testé cela sur un ensemble de vidéos de chantiers de construction. Ils ont constaté que l'utilisation de cette méthode « Jury à Trois Personnes » rendait le système 12 % plus précis que de simplement demander à l'IA de regarder une seule fois. Il a détecté davantage de vrais dangers et a empêché l'IA d'inventer de faux.
Note importante : Le document admet qu'il s'agit encore d'une version « bêta ». Ils ne l'ont pas testé sur des milliers d'heures de vidéo, et le « jury » a été évalué par les personnes qui l'ont construit (et non par des experts indépendants). Mais les résultats suggèrent qu'attendre la fin du poste pour effectuer ce contrôle complexe et multi-étapes est une méthode intelligente et abordable pour rendre les chantiers de construction plus sûrs, sans avoir besoin d'un humain pour surveiller les écrans 24 heures sur 24.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.