🤖 AI

Passive Construction Site Safety Monitoring via Persona-Scaffolded Adversarial Chain-of-Thought VLM Verification

Questo documento introduce un sistema di monitoraggio della sicurezza in cantiere passivo e di fine turno che integra il rilevamento YOLO11 ottimizzato, la segmentazione SAM 3 e un nuovo protocollo di catena di pensiero avversario con scaffolding di persona basato su Qwen3-VL-8B, al fine di migliorare significativamente la precisione della verifica della conformità e ridurre le allucinazioni, generando al contempo rapporti di sicurezza mappati secondo le normative OSHA da riprese della prospettiva del lavoratore e da telecamere fisse.

Autori originali: Ananth Sriram, Neel Mokaria, Rajveer Singh

Pubblicato 2026-05-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ananth Sriram, Neel Mokaria, Rajveer Singh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un cantiere come una cucina affollata e caotica. Di solito, per mantenere tutti al sicuro, serve uno chef a capo che stia lì 24 ore su 24, 7 giorni su 7, osservando ogni singola persona per assicurarsi che indossino il grembiule (elmetti), usino i guanti da forno (guanti) e non si trovino troppo vicini alla fiamma libera (macchinari). Ma assumere uno chef per ogni turno è costoso, e non possono essere ovunque contemporaneamente.

Questo documento propone un nuovo modo di gestire la cucina: L'Audit di Sicurezza "Fine Turno".

Invece di sorvegliare la cucina in tempo reale, il sistema registra tutto tramite due tipi di telecamere:

Telecamere da Parete: Come le telecamere di sicurezza sul soffitto, che osservano l'intera stanza.
Telecamere da Corpo: Come una GoPro fissata al petto di un lavoratore, che mostra esattamente cosa loro vedono e fanno con le mani.

A fine giornata, il sistema rivede le registrazioni video per redigere un rapporto di sicurezza per ogni lavoratore. Ecco come funziona, suddiviso in tre semplici passaggi:

Passo 1: L'"Occhio di Aquila" (YOLO)

Innanzitutto, un programma informatico veloce (chiamato YOLO11) scansiona il video. È come un stagista molto veloce ed entusiasta che individua le cose ma non è perfetto.

Indica le persone e dice: "Quello è un lavoratore!"
Indica le attrezzature e dice: "Quello è un elmetto!" oppure "Quello è un gilet!"
Il Trucco: Questo stagista viene istruito per essere troppo sensibile. È meglio segnalare 100 cose che potrebbero essere sbagliate piuttosto che perdere un vero pericolo. Quindi, segnala tutto, anche se è solo un'ombra che sembra un guanto. Crea una lunga lista di "possibili violazioni".

Passo 2: Lo Specialista "Zoom-In" (SAM 3)

Successivamente, un secondo strumento (SAM 3) prende la lista dello stagista e ingrandisce l'immagine.

Tagliare il Disordine: Se due lavoratori stanno vicini, lo stagista potrebbe confondersi su chi indossa l'elmetto. Questo strumento ritaglia la forma esatta di ogni persona, separandoli dallo sfondo e l'uno dall'altro.
Associare le Attrezzature alle Persone: Si assicura che l'elmetto appartenga alla persona che sta esattamente sotto di esso, non a quella che sta accanto.
Il Risultato: Crea un'immagine pulita e isolata di ogni lavoratore con le sue attrezzature chiaramente visibili, pronta per il giudice finale.

Passo 3: La "Giuria a Tre Persone" (Il VLM Avversariale)

Questa è la più grande innovazione del documento. Invece di chiedere a un'unica intelligenza artificiale di prendere la decisione finale (che a volte può "allucinare" o inventare cose che non ha visto), il sistema utilizza una giuria a tre persone composta da un'unica IA avanzata (Qwen3-VL) che interpreta tre ruoli diversi.

Pensa a questo come a un dramma giudiziario dove lo stesso attore interpreta tre personaggi diversi che non parlano tra loro fino alla sentenza finale:

L'Ispettore sul Campo (Passaggio 1): Questo personaggio guarda il video grezzo senza alcuna nota informatica. Scrive ciò che vede con i propri occhi, proprio come un ispettore di sicurezza umano che ispeziona il cantiere. Potrebbe dire: "Ho visto qualcuno correre" oppure "Penso che quel guanto manchi".
L'Ufficiale Senior (Passaggio 2): Questo personaggio guarda il video con le note del computer (le caselle di delimitazione e i punteggi di confidenza). Verifica il lavoro del computer. "Il computer dice che manca un gilet. Il video lo conferma?"
Il Giudice (Passaggio 3): Questo personaggio legge le note dell'Ispettore sul Campo e dell'Ufficiale Senior. Non guarda più il video; guarda solo le prove scritte dagli altri due. Deve decidere: "È avvenuta effettivamente una violazione?"

Perché farlo in questo modo?
Il documento ha rilevato che se si chiede all'IA una sola volta, diventa troppo sicura di sé e inventa violazioni (allucinazioni). Costringendo l'IA a discutere con se stessa da tre angolazioni diverse, diventa molto più prudente.

Se l'Ispettore sul Campo dice "Nessun guanto" ma l'Ufficiale Senior (guardando i dati del computer) dice "No, il computer è sicuro che sia lì", il Giudice deve riflettere a fondo prima di prendere una decisione.
Il sistema utilizza regole speciali: se il computer è molto incerto, il Giudice attende la conferma dell'osservatore simile a un umano. Se l'osservatore vede qualcosa di pericoloso (come qualcuno che corre), il Giudice si fida di lui anche se il computer lo ha perso.

Il Rapporto Finale

Una volta che il "Giudice" prende una decisione, il sistema scrive un rapporto per ogni lavoratore.

Punteggio di Sicurezza: Verifica se stanno piegando la schiena troppo (utilizzando un metodo chiamato REBA, che è come un fisioterapista che controlla la tua postura).
Normative OSHA: Collega ogni errore a specifiche leggi governative sulla sicurezza (come "Protezione dalle Cadute").
Prove: Include un timestamp e un fotogramma specifico del video che mostra esattamente cosa è successo, in modo che il lavoratore possa vedere la prova.

La Conclusione

Gli autori hanno testato questo metodo su un set di video di cantieri. Hanno scoperto che l'uso di questo metodo "Giuria a Tre Persone" ha reso il sistema più accurato del 12% rispetto al semplice chiedere all'IA di guardare una volta sola. Ha individuato più pericoli reali e ha impedito all'IA di inventarne di falsi.

Nota Importante: Il documento ammette che questa è ancora una versione "beta". Non è stato testato su migliaia di ore di video e la "giuria" è stata valutata dalle persone che l'hanno costruita (non da esperti indipendenti). Ma i risultati suggeriscono che attendere la fine del turno per eseguire questo controllo complesso e multi-step è un modo intelligente ed economico per rendere i cantieri più sicuri senza la necessità di un umano che sorvegli gli schermi 24 ore su 24, 7 giorni su 7.

Riepilogo Tecnico: Monitoraggio Passivo della Sicurezza nei Cantieri Edili tramite Verifica VLM della Catena di Pensiero Adversariale Scaffalata da Persona

Enunciato del Problema

Il settore delle costruzioni rimane il più mortale negli Stati Uniti, con 1.055 infortuni mortali sul lavoro registrati nel 2023. La maggior parte di questi incidenti è prevenibile, eppure le attuali soluzioni di monitoraggio presentano significative lacune operative: sono spesso proibitivamente costose, richiedono operatori umani dedicati in tempo reale o affrontano solo sottoinsiemi ristretti di violazioni della sicurezza (ad esempio, il solo rilevamento dei caschi). Manca un sistema di monitoraggio continuo, passivo ed economico in grado di tracciare più lavoratori, risolvere le loro identità nel tempo e generare rapporti di conformità azionabili senza revisione umana in tempo reale.

Metodologia

Gli autori propongono una pipeline di elaborazione passiva a fine turno che analizza video provenienti da due modalità di telecamera indipendenti: telecamere indossabili POV (Point of View) e telecamere fisse montate a muro. Il sistema utilizza un'architettura unificata a tre stadi:

Stadio 1: Rilevamento Primario

Componente: Un rilevatore di oggetti YOLO11 finemente sintonizzato.
Addestramento: Addestrato su un dataset composito di cinque fonti specifiche per i DPI (Dispositivi di Protezione Individuale) nell'edilizia (corpora Ultralytics, Roboflow, SH17 e Kaggle).
Funzione: Rileva 12 classi semantiche, inclusi lavoratori, DPI (caschi, gilet, guanti) e attrezzature vicine (escavatori, gru).
Strategia: La confidenza del rilevamento è intenzionalmente impostata bassa ( $\tau_{conf} = 0.15$ ) per massimizzare il richiamo. Il sistema dà priorità alla cattura di tutte le potenziali violazioni, rinviando la soppressione dei falsi positivi allo stadio di verifica a valle.
Tracciamento: Per le telecamere montate a muro, viene utilizzato BoT-SORT per il tracciamento multi-oggetto per mantenere ID di traccia persistenti. Per le telecamere POV, un modello di stima della posa estrae 17 punti chiave scheletrici in formato COCO.

Stadio 2: Raffinamento Spaziale e Deduplicazione dei Lavoratori

Componente: SAM 3 (Segment Anything Model 3).
Funzione:
1. Raffinamento: Genera maschere di segmentazione pixel-accurate per stringere i riquadri di delimitazione (bounding boxes) di YOLO, correggendo l'eccessiva espansione in scene affollate.
2. Isolamento: Produce ritagli isolati del lavoratore con annotazioni sovrapposte per ridurre l'ambiguità contestuale per il Modello Visivo-Linguistico (VLM).
3. Associazione: Risolve la mappatura DPI-lavoratore tramite contenimento del punto centrale (determinando quale riquadro di delimitazione del lavoratore contiene il baricentro della maschera DPI).
Logica Temporale: La conformità ai DPI viene valutata su una finestra temporale scorrevole piuttosto che su singoli fotogrammi per mitigare le occlusioni transitorie.

Stadio 3: Verifica della Conformità tramite VLM Adversariale

Componente: Qwen3-VL-8B-Instruct (con adattatore LoRA opzionale).
Innovazione Principale: Un nuovo protocollo a tre passaggi della catena di pensiero adversariale progettato per mitigare le allucinazioni del VLM.
- Passaggio 1 (Generazione): Una persona "ispettore della sicurezza sul campo" esamina il video grezzo senza dati di rilevamento automatico, producendo note osservative indipendenti.
- Passaggio 2 (Discriminazione): Una persona "ufficiale della sicurezza senior" esamina il video con le annotazioni YOLO/SAM (riquadri di delimitazione, maschere, punteggi di confidenza) ma senza le note del Passaggio 1. Questo passaggio convalida o respinge i rilevamenti automatici.
- Passaggio 3 (Riconciliazione): La persona senior riconcilia le prove dal Passaggio 1, dal Passaggio 2 e dai dati grezzi automatici in una VLMAssessment strutturata.
Meccanismi Adversariali:
- Indipendenza Strutturale: I passaggi sono strutturalmente isolati; il Passaggio 2 non vede l'output del Passaggio 1, prevenendo la contaminazione del contesto.
- Regole di Riconciliazione Asimmetriche: Il sistema codifica priori espliciti sulla affidabilità delle modalità. Le violazioni comportamentali (ad esempio, uso del telefono) sono trattate come "osservatore-forte/macchina-debole", mentre le violazioni spaziali/DPI sono "macchina-forte/osservatore-debole".
- Calibrazione della Confidenza: I punteggi di confidenza di YOLO sono mappati su pesi epistemici (ad esempio, $\ge 0.70$ è un "prior forte" che richiede prove di confutazione per essere sovrascritto).
Output: Un rapporto strutturato che mappa le violazioni a specifici standard OSHA, esegue una valutazione del rischio ergonomico ispirata a REBA (basata sugli angoli articolari) e genera rapporti di sicurezza per lavoratore con prove a livello di fotogramma con timestamp.

Contributi Chiave

Pipeline Unificata: Un'architettura a tre stadi (YOLO $\to$ SAM 3 $\to$ VLM) che integra il rilevamento dei DPI, l'analisi posturale/ergonomica e la persistenza dell'identità del lavoratore attraverso due modalità di telecamera.
Protocollo VLM Adversariale: Un protocollo a tre passaggi guidato da prompt e scaffalato da persona, basato sulla struttura "metodo-attore". Questa progettazione impone l'indipendenza strutturale tra i passaggi e utilizza regole di riconciliazione asimmetriche per ridurre le allucinazioni.
Valutazione Ergonomica: Integrazione di una valutazione del rischio ispirata a REBA derivata dai punti chiave della posa di YOLO con soglie di confidenza sintonizzate.
Backend a Fine Turno: Un sistema che mappa gli eventi agli standard OSHA e produce rapporti per lavoratore, disaccoppiando la qualità del monitoraggio dai vincoli di elaborazione in tempo reale.

Risultati

Il sistema è stato valutato qualitativamente su un corpus di sviluppo Ironsite di 12 video (circa 30 minuti per video) che copre scenari di muratura, preparazione e transito.

Miglioramento della Precisione: Una revisione informale condotta dai tre autori (che hanno agito come arbitri) ha indicato che il protocollo adversariale a tre passaggi ha raggiunto un miglioramento del 12% nella precisione rispetto a una baseline VLM a passaggio singolo utilizzando lo stesso budget di token.
Riduzione delle Allucinazioni: I guadagni più significativi sono stati osservati nelle categorie prone alle allucinazioni (ad esempio, rilevamento di guanti e protezione occhi), dove la struttura adversariale ha ridotto l'emissione di violazioni plausibili ma non supportate visivamente.
Capacità di Rilevamento: Il sistema ha identificato con successo la conformità ai DPI (gilet, caschi) e i rischi ergonomici (sovraccarico, postura innaturale) sia nel video montato a muro che in quello POV.
Limitazioni: Gli autori notano che il miglioramento del 12% si basa sull'arbitraggio degli autori piuttosto che su uno studio controllato e in cieco. Le prestazioni peggiorano in condizioni di scarsa illuminazione e la rianimazione dei lavoratori in scene densamente popolate non è stata stressata su larga scala.

Significato e Affermazioni

Il documento afferma che il monitoraggio passivo a fine turno è un'alternativa praticabile alla sorveglianza in tempo reale per la sicurezza nelle costruzioni, offrendo un percorso di implementazione pratico utilizzando hardware commerciale e modelli di grandi dimensioni (inclusi VLM da 8 miliardi di parametri) che sarebbero non fattibili sotto vincoli di latenza in tempo reale.

Il contributo metodologico centrale è il design del prompt per il VLM. Gli autori sostengono che la specifica costruzione di backstory di persona professionale, combinata con l'isolamento strutturale dei messaggi e le regole di riconciliazione asimmetriche, guida un miglioramento misurabile nella precisione. Questo approccio affronta la questione critica delle allucinazioni del VLM in contesti critici per la sicurezza, costringendo il modello a verificare incroci il proprio ragionamento contro segnali osservativi indipendenti e derivati da macchine prima di emettere un verdetto finale di conformità.

Gli autori sottolineano che, sebbene le osservazioni qualitative supportino la fattibilità dell'approccio, la valutazione quantitativa rispetto a un set di test tenuto da parte con annotatori indipendenti è la priorità assoluta per il lavoro futuro. Il sistema di valutazione necessario per questo è rilasciato insieme al codice sorgente.