🤖 AI

Passive Construction Site Safety Monitoring via Persona-Scaffolded Adversarial Chain-of-Thought VLM Verification

Dit artikel introduceert een passief, aan het einde van de dienst ingezet systeem voor het bewaken van bouwveiligheid dat fijnafgestemde YOLO11-detectie, SAM 3-segmentatie en een nieuw door persona-gestructureerd protocol voor adversariale ketens van denken met Qwen3-VL-8B integreert om de precisie van nalevingsverificatie aanzienlijk te verbeteren en hallucinaties te verminderen, terwijl er OSHA-gekartelde veiligheidsrapporten worden gegenereerd op basis van beelden vanuit het perspectief van de werknemer en van vaste camera's.

Oorspronkelijke auteurs: Ananth Sriram, Neel Mokaria, Rajveer Singh

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ananth Sriram, Neel Mokaria, Rajveer Singh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een bouwplaats voor als een drukke, chaotische keuken. Normaal gesproken heb je om iedereen veilig te houden een chef-kok nodig die 24/7 aanwezig is, die elke persoon in de gaten houdt om ervoor te zorgen dat ze hun schorten (helmen) dragen, ovenwanten (handschoenen) gebruiken en niet te dicht bij de open vlam (machines) staan. Maar het inhuren van een kok voor elke shift is duur, en ze kunnen niet overal tegelijk zijn.

Dit artikel stelt een nieuwe manier voor om de keuken te runnen: De "Einde-Shift" Veiligheidsaudit.

In plaats van de keuken in real-time te bewaken, neemt het systeem alles op met twee soorten camera's:

Muurcamera's: Zoals beveiligingscamera's aan het plafond, die de hele ruimte in de gaten houden.
Lijfcamera's: Zoals een GoPro die op de borst van een werknemer is bevestigd, en precies laat zien wat zij zien en doen met hun handen.

Aan het einde van de dag bekijkt het systeem de videobeelden om een veiligheidsrapport voor elke werknemer te schrijven. Hier is hoe het werkt, opgesplitst in drie eenvoudige stappen:

Stap 1: Het "Adoog" (YOLO)

Eerst scant een snel computerprogramma (YOLO11) de video. Het is als een zeer snelle, enthousiaste stagiair die dingen opmerkt maar niet perfect is.

Hij wijst naar mensen en zegt: "Dat is een werknemer!"
Hij wijst naar uitrusting en zegt: "Dat is een helm!" of "Dat is een hesje!"
De Truc: Deze stagiair krijgt de opdracht om te gevoelig te zijn. Het is beter om 100 dingen te markeren die misschien verkeerd zijn dan één echt gevaar te missen. Dus markeert hij alles, zelfs als het slechts een schaduw is die op een handschoen lijkt. Hij maakt een lange lijst van "misschien-overtredingen".

Stap 2: De "Inzoomen"-Specialist (SAM 3)

Vervolgens neemt een tweede tool (SAM 3) de lijst van de stagiair en zoomt in.

De Rommel Wegwerken: Als twee werknemers dicht bij elkaar staan, kan de stagiair in de war raken over wie de helm draagt. Deze tool snijdt de exacte vorm van elke persoon uit, scheidt hen van de achtergrond en van elkaar.
Uitrusting Koppelen aan Mensen: Het zorgt ervoor dat de helm toebehoort aan de persoon die er direct onder staat, niet aan de persoon ernaast.
Het Resultaat: Het creëert een schone, geïsoleerde afbeelding van elke werknemer met hun uitrusting duidelijk zichtbaar, klaar voor de finale rechter.

Stap 3: De "Drie-Persoonsjury" (De Adversariële VLM)

Dit is de grootste innovatie van het artikel. In plaats van één AI te vragen de uiteindelijke beslissing te nemen (wat soms kan "hallucineren" of dingen verzint die het niet zag), gebruikt het systeem een drie-persoonsjury bestaande uit één geavanceerde AI (Qwen3-VL) die drie verschillende rollen speelt.

Stel je dit voor als een rechtszaal-drama waar dezelfde acteur drie verschillende personages speelt die niet met elkaar praten tot het definitieve vonnis:

De Veldinspecteur (Doorgang 1): Dit personage kijkt naar de ruwe video zonder enige computernotities. Ze schrijft op wat ze met eigen ogen ziet, net als een menselijke veiligheidsfunctionaris die over de bouwplaats loopt. Ze kunnen zeggen: "Ik zag iemand rennen," of "Ik denk dat die handschoen ontbreekt."
De Senior Functionaris (Doorgang 2): Dit personage kijkt naar de video met de computernotities (de omkaderende vakken en betrouwbaarheidsscores). Ze controleren het werk van de computer. "De computer zegt dat een hesje ontbreekt. Bevestigt de video dit?"
De Rechter (Doorgang 3): Dit personage leest de notities van de Veldinspecteur en de Senior Functionaris. Ze kijken niet opnieuw naar de video; ze kijken alleen naar het bewijs dat de andere twee hebben opgeschreven. Ze moeten beslissen: "Is er echt een overtreding gepleegd?"

Waarom dit doen?
Het artikel vond dat als je de AI slechts één keer vraagt, het oververzekerd raakt en overtredingen verzonnen (hallucinaties). Door de AI te dwingen zichzelf vanuit drie verschillende hoeken te betwisten, wordt het veel voorzichtiger.

Als de Veldinspecteur zegt "Geen handschoen" maar de Senior Functionaris (die naar de computerdata kijkt) zegt "Nee, de computer is zeker dat het er is", moet de Rechter goed nadenken voordat ze een beslissing neemt.
Het systeem gebruikt speciale regels: Als de computer erg onzeker is, wacht de Rechter tot de mensachtige waarnemer bevestigt. Als de waarnemer iets gevaarlijks ziet (zoals iemand rennen), vertrouwt de Rechter hen, zelfs als de computer het gemist heeft.

Het Eindrapport

Zodra de "Rechter" een beslissing neemt, schrijft het systeem een rapport voor elke werknemer.

Veiligheidsscore: Het controleert of ze te veel naar achteren buigen (met een methode genaamd REBA, die lijkt op een fysiotherapeut die je houding controleert).
OSHA-regels: Het koppelt elke fout aan specifieke overheidsveiligheidswetten (zoals "Valbeveiliging").
Bewijs: Het bevat een tijdstempel en een specifiek frame uit de video dat precies laat zien wat er gebeurd is, zodat de werknemer het bewijs kan zien.

De Conclusie

De auteurs hebben dit getest op een reeks bouwvideo's. Ze ontdekten dat het gebruik van deze "Drie-Persoonsjury"-methode het systeem 12% nauwkeuriger maakte dan het AI slechts één keer laten kijken. Het pakte meer echte gevaren op en voorkwam dat de AI neppe verzint.

Belangrijke Opmerking: Het artikel geeft toe dat dit nog steeds een "beta"-versie is. Ze hebben het nog niet getest op duizenden uren video, en de "jury" werd beoordeeld door de mensen die het bouwden (niet door onafhankelijke experts). Maar de resultaten suggereren dat wachten tot het einde van de shift om deze complexe, meerstapscontrole uit te voeren, een slimme, betaalbare manier is om bouwplaatsen veiliger te houden zonder dat er een mens nodig is om 24/7 naar de schermen te kijken.

Technische Samenvatting: Passieve Monitoring van Veiligheid op Bouwplaatsen via Persona-Gescaffoldeerde Adversariale Chain-of-Thought VLM-Verificatie

Probleemstelling

De bouwsector blijft de dodelijkste sector in de Verenigde Staten, met 1.055 dodelijke arbeidsongevallen geregistreerd in 2023. Het merendeel van deze incidenten is te voorkomen, maar huidige monitoringoplossingen kampen met aanzienlijke operationele hiaten: ze zijn vaak onbetaalbaar duur, vereisen toegewijde menselijke operators in real-time, of behandelen slechts smalle subsets van veiligheidsregelschendingen (bijvoorbeeld uitsluitend detectie van helmgebruik). Er ontbreekt een betaalbaar, passief, continu monitoringssysteem dat meerdere werknemers kan volgen, hun identiteit in de tijd kan vastleggen en bruikbare compliance-rapporten kan genereren zonder real-time menselijke controle.

Methodologie

De auteurs stellen een passieve verwerkingspijplijn aan het einde van de dienst voor die video analyseert van twee onafhankelijke cameramodi: POV-bodycams en vaste aan de muur gemonteerde camera's. Het systeem maakt gebruik van een geünificeerde drie-fasenarchitectuur:

Fase 1: Primaire Detectie

Component: Een fijnafgestemde YOLO11 objectdetector.
Training: Getraind op een samengesteld dataset van vijf bouw-specifieke bronnen voor persoonlijke beschermingsmiddelen (PBM) (Ultralytics, Roboflow, SH17 en Kaggle-corpora).
Functie: Detecteert 12 semantische klassen, waaronder werknemers, PBM (helmen, vesten, handschoenen) en nabijgelegen apparatuur (graafmachines, kranen).
Strategie: De detectiebetrouwbaarheid is bewust laag ingesteld ( $\tau_{conf} = 0.15$ ) om de recall te maximaliseren. Het systeem prioriteert het vastleggen van alle potentiële overtredingen en schuift het onderdrukken van vals-positieven uit naar de downstream-verificatiefase.
Tracking: Voor aan de muur gemonteerde camera's wordt BoT-SORT gebruikt voor multi-object tracking om persistente track-ID's te behouden. Voor POV-camera's extraheren een pose-schattingmodel 17 COCO-formaat skeletkeypoints.

Fase 2: Ruimtelijke Verfijning en Werknemer-Deduplicatie

Component: SAM 3 (Segment Anything Model 3).
Functie:
1. Verfijning: Genereert pixel-accurate segmentatiemaskers om YOLO-bounding boxes te verstrakken, en corrigeert voor over-expansie in drukke scènes.
2. Isolatie: Produceert geïsoleerde werkneercrops met overlappende annotaties om contextuele ambiguïteit voor het Vision-Language Model (VLM) te verminderen.
3. Associatie: Lost de mapping van PBM-naar-werknemer op via centrumpunt-bevatting (bepalen welke werkneer-bounding box het PBM-maskercentrum bevat).
Temporele Logica: PBM-compliance wordt geëvalueerd over een schuivend temporeel venster in plaats van enkele frames om transiënte occlusies te mitigeren.

Fase 3: Compliance-Verificatie via Adversariale VLM

Component: Qwen3-VL-8B-Instruct (met optionele LoRA-adapter).
Kerninnovatie: Een nieuw drie-passen adversariaal chain-of-thought-protocol ontworpen om VLM-hallucinaties te mitigeren.
- Pass 1 (Generatie): Een "veldveiligheidsinspecteur"-persona bekijkt ruwe video zonder machine-detectiedata en produceert onafhankelijke observatienotities.
- Pass 2 (Discriminatie): Een "senior veiligheidsfunctionaris"-persona bekijkt de video met YOLO/SAM-annotaties (bounding boxes, maskers, betrouwbaarheidsscores) maar zonder Pass 1-notities. Deze pass valideert of verwerpt machine-detecties.
- Pass 3 (Reconciliatie): De senior persona reconcileert bewijs uit Pass 1, Pass 2 en ruwe machine-data in een gestructureerde VLMAssessment.
Adversariale Mechanismen:
- Structurele Onafhankelijkheid: Passen zijn structureel geïsoleerd; Pass 2 ziet de output van Pass 1 niet, waardoor contextverontreiniging wordt voorkomen.
- Asymmetrische Reconciliatieregels: Het systeem encodeert expliciete priors over modale betrouwbaarheid. Gedragsgerelateerde overtredingen (bijvoorbeeld telefoongebruik) worden behandeld als "waarnemer-sterk/machine-zwak", terwijl ruimtelijke/PBM-overtredingen "machine-sterk/waarnemer-zwak" zijn.
- Betrouwbaarheidskalibratie: YOLO-betrouwbaarheidsscores worden gemapt naar epistemische gewichten (bijvoorbeeld $\ge 0.70$ is een "sterke prior" die weerleggend bewijs vereist om te worden overruled).
Output: Een gestructureerd rapport dat overtredingen koppelt aan specifieke OSHA-normen, REBA-geïnspireerde ergonomische risicoscores uitvoert (gebaseerd op gewrichtshoeken), en per-werknemer veiligheidsrapporten genereert met getimestampede frame-niveau bewijs.

Belangrijkste Bijdragen

Geünificeerde Pijplijn: Een drie-fasenarchitectuur (YOLO $\to$ SAM 3 $\to$ VLM) die PBM-detectie, houding/ergonomische analyse en werkneeridentiteitsbehoud integreert over twee cameramodi.
Adversariaal VLM-Protocol: Een methode-gedreven, persona-gescaffoldeerd drie-passenprotocol dat volgt op "methode-acteur"-framing. Dit ontwerp dwingt structurele onafhankelijkheid tussen passen af en maakt gebruik van asymmetrische reconciliatieregels om hallucinaties te verminderen.
Ergonomische Score: Integratie van REBA-geïnspireerde risicoscores afgeleid van YOLO-posekeypoints met afgestelde betrouwbaarheidsgates.
Backend aan het einde van de dienst: Een systeem dat gebeurtenissen koppelt aan OSHA-normen en per-werknemer rapporten produceert, waarbij de kwaliteit van monitoring wordt ontkoppeld van real-time rekenbeperkingen.

Resultaten

Het systeem is kwalitatief geëvalueerd op een 12-video Ironsite-ontwikkelingscorpus (ongeveer 30 minuten per video) dat metselwerk, voorbereiding en transitscenario's bestrijkt.

Verbetering in Precisie: Een informele review door de drie auteurs (optredend als adjudicators) gaf aan dat het drie-passen adversariale protocol een 12% verbetering in precisie bereikte in vergelijking met een single-pass VLM-baseline met hetzelfde token-budget.
Vermindering van Hallucinaties: De meest significante winsten werden waargenomen in categorieën die vatbaar zijn voor hallucinaties (bijvoorbeeld detectie van handschoenen en oogbescherming), waarbij de adversariale structuur de emissie van plausibele maar visueel niet-ondersteunde overtredingen verminderde.
Detectiecapaciteiten: Het systeem slaagde erin PBM-compliance (vesten, helmen) en ergonomische risico's (overreiken, ongemakkelijke houding) te identificeren in zowel aan de muur gemonteerde als POV-beelden.
Beperkingen: De auteurs merken op dat de 12% verbetering gebaseerd is op adjudicatie door de auteurs en niet op een blind, gecontroleerd onderzoek. De prestaties verslechteren onder omstandigheden met weinig licht, en werkneer-heridentificatie in dichtbevolkte scènes is niet op schaal getest.

Betekenis en Claims

Het artikel beweert dat passieve monitoring aan het einde van de dienst een levensvatbaar alternatief is voor real-time surveillance voor bouwveiligheid, en biedt een praktische implementatieroute met handelsgerichte hardware en grote modellen (inclusief VLM's met 8 miljard parameters) die onuitvoerbaar zouden zijn onder real-time latentiebeperkingen.

De centrale methodologische bijdrage is het promptontwerp voor de VLM. De auteurs stellen dat de specifieke constructie van professionele persona-achtergronden, gecombineerd met structurele berichtisolatie en asymmetrische reconciliatieregels, een meetbare verbetering in precisie bewerkstelligt. Deze aanpak adresseert het kritieke probleem van VLM-hallucinatie in veiligheidskritieke contexten door het model te dwingen zijn redenering te cross-checken tegen onafhankelijke observationele en machine-afgeleide signalen voordat een definitief compliance-oordeel wordt gegeven.

De auteurs benadrukken dat hoewel kwalitatieve observaties de haalbaarheid van de aanpak ondersteunen, kwantitatieve evaluatie tegen een vastgehouden testset met onafhankelijke annotatoren de hoogste prioriteit heeft voor toekomstig werk. De evaluatieharness die hiervoor nodig is, wordt vrijgegeven samen met de codebase.