Passive Construction Site Safety Monitoring via Persona-Scaffolded Adversarial Chain-of-Thought VLM Verification
Dieser Beitrag stellt ein passives, am Schichtende eingesetztes System zur Überwachung der Arbeitssicherheit vor, das feinabgestimmte YOLO11-Erkennung, SAM 3-Segmentierung und ein neuartiges, durch Persona-Gerüste gestütztes adversariales Chain-of-Thought-Protokoll mit Qwen3-VL-8B integriert, um die Präzision der Konformitätsverifikation erheblich zu steigern und Halluzinationen zu reduzieren, während gleichzeitig OSHA-konforme Sicherheitsberichte aus der Perspektive der Beschäftigten und aus Aufnahmen fester Kameras generiert werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Baustelle als eine geschäftige, chaotische Küche vor. Normalerweise benötigen Sie, um die Sicherheit aller zu gewährleisten, einen Küchenchef, der rund um die Uhr vor Ort steht, jede einzelne Person beobachtet und sicherstellt, dass sie ihre Schürzen (Helme) trägt, Ofenhandschuhe (Handschuhe) benutzt und nicht zu nahe an der offenen Flamme (Maschinen) steht. Doch einen Koch für jede Schicht einzustellen ist teuer, und sie können nicht überall gleichzeitig sein.
Dieser Artikel schlägt eine neue Art vor, die Küche zu führen: Die „Sicherheitsprüfung am Schichtende".
Anstatt die Küche in Echtzeit zu überwachen, zeichnet das System alles mit zwei Arten von Kameras auf:
- Wandkameras: Wie Überwachungskameras an der Decke, die den gesamten Raum beobachten.
- Bodycams: Wie eine GoPro, die an der Brust eines Arbeiters befestigt ist und genau zeigt, was sie sehen und was sie mit ihren Händen tun.
Am Ende des Tages überprüft das System das Videomaterial, um einen Sicherheitsbericht für jeden Arbeiter zu erstellen. So funktioniert es, aufgeteilt in drei einfache Schritte:
Schritt 1: Der „Adlerauge"-Effekt (YOLO)
Zuerst scannt ein schnelles Computerprogramm (YOLO11 genannt) das Video. Es ist wie ein sehr schneller, eifriger Praktikant, der Dinge erkennt, aber nicht perfekt ist.
- Er zeigt auf Personen und sagt: „Das ist ein Arbeiter!"
- Er zeigt auf Ausrüstung und sagt: „Das ist ein Helm!" oder „Das ist eine Weste!"
- Der Trick: Dieser Praktikant wird angewiesen, zu empfindlich zu sein. Es ist besser, 100 Dinge zu markieren, die möglicherweise falsch sind, als eine echte Gefahr zu übersehen. Also markiert er alles, selbst wenn es nur ein Schatten ist, der wie ein Handschuh aussieht. Es entsteht eine lange Liste von „möglichen Verstößen".
Schritt 2: Der „Heranzoomen"-Spezialist (SAM 3)
Als Nächstes nimmt ein zweites Werkzeug (SAM 3) die Liste des Praktikanten und zoomt heran.
- Aufräumen: Wenn zwei Arbeiter dicht beieinander stehen, könnte der Praktikant verwirrt sein, wer den Helm trägt. Dieses Werkzeug schneidet die exakte Form jeder Person aus, trennt sie vom Hintergrund und voneinander.
- Ausrüstung Personen zuordnen: Es stellt sicher, dass der Helm der Person gehört, die direkt darunter steht, und nicht der Person, die daneben steht.
- Das Ergebnis: Es entsteht ein sauberes, isoliertes Bild jedes Arbeiters mit deutlich sichtbarer Ausrüstung, bereit für den endgültigen Richter.
Schritt 3: Die „Drei-Personen-Jury" (Die adversative VLM)
Dies ist die größte Innovation des Artikels. Anstatt eine einzelne KI zu bitten, die endgültige Entscheidung zu treffen (was manchmal zu „Halluzinationen" führen kann, also zu Dingen, die sie nicht gesehen hat), verwendet das System eine Drei-Personen-Jury, bestehend aus einer einzigen fortschrittlichen KI (Qwen3-VL), die drei verschiedene Rollen spielt.
Stellen Sie sich dies wie ein Gerichtsverfahren vor, in dem derselbe Schauspieler drei verschiedene Charaktere spielt, die bis zum endgültigen Urteil nicht miteinander sprechen:
- Der Feldinspektor (Durchgang 1): Dieser Charakter betrachtet das Rohvideo ohne jegliche Computerhinweise. Er schreibt auf, was er mit eigenen Augen sieht, genau wie ein menschlicher Sicherheitsbeauftragter, der die Baustelle abgeht. Er könnte sagen: „Ich habe jemanden rennen sehen" oder „Ich glaube, dieser Handschuh fehlt."
- Der Senior-Offizier (Durchgang 2): Dieser Charakter betrachtet das Video mit den Notizen des Computers (die Begrenzungskästen und Konfidenzwerte). Er überprüft die Arbeit des Computers. „Der Computer sagt, eine Weste fehlt. Bestätigt das Video dies?"
- Der Richter (Durchgang 3): Dieser Charakter liest die Notizen des Feldinspektors und des Senior-Offiziers. Er schaut sich das Video nicht noch einmal an; er betrachtet nur die Beweise, die die anderen beiden niedergeschrieben haben. Er muss entscheiden: „Ist tatsächlich ein Verstoß passiert?"
Warum auf diese Weise?
Der Artikel stellt fest, dass, wenn man die KI nur einmal fragt, sie zu selbstbewusst wird und Verstöße erfindet (Halluzinationen). Indem man die KI zwingt, sich aus drei verschiedenen Perspektiven mit sich selbst zu streiten, wird sie viel vorsichtiger.
- Wenn der Feldinspektor sagt „Kein Handschuh", aber der Senior-Offizier (der die Computerdaten betrachtet) sagt „Nein, der Computer ist sicher, dass er da ist", muss der Richter hart nachdenken, bevor er eine Entscheidung trifft.
- Das System verwendet spezielle Regeln: Wenn der Computer sehr unsicher ist, wartet der Richter auf die Bestätigung des menschlichen Beobachters. Wenn der Beobachter etwas Gefährliches sieht (wie jemanden, der rennt), vertraut der Richter ihm, selbst wenn der Computer es übersehen hat.
Der Abschlussbericht
Sobald der „Richter" eine Entscheidung getroffen hat, erstellt das System einen Bericht für jeden Arbeiter.
- Sicherheitsbewertung: Es prüft, ob sie ihren Rücken zu stark biegen (unter Verwendung einer Methode namens REBA, die wie ein Physiotherapeut ist, der Ihre Haltung überprüft).
- OSHA-Regeln: Es verknüpft jeden Fehler mit spezifischen staatlichen Sicherheitsgesetzen (wie „Sturzschutz").
- Beweise: Es enthält einen Zeitstempel und einen spezifischen Bildausschnitt aus dem Video, der genau zeigt, was passiert ist, damit der Arbeiter den Beweis sehen kann.
Das Fazit
Die Autoren testeten dies an einer Reihe von Baustellenvideos. Sie stellten fest, dass die Verwendung dieser „Drei-Personen-Jury"-Methode das System um 12 % genauer machte als das bloße Auffordern der KI, einmal hinzuschauen. Es erkannte mehr echte Gefahren und verhinderte, dass die KI falsche erfand.
Wichtiger Hinweis: Der Artikel gibt zu, dass dies noch eine „Beta"-Version ist. Sie wurde noch nicht an Tausenden von Videostunden getestet, und die „Jury" wurde von denjenigen bewertet, die sie gebaut haben (nicht von unabhängigen Experten). Aber die Ergebnisse deuten darauf hin, dass das Warten bis zum Schichtende, um diese komplexe, mehrstufige Prüfung durchzuführen, ein kluger und kostengünstiger Weg ist, um Baustellen sicherer zu machen, ohne dass ein Mensch die Bildschirme rund um die Uhr überwachen muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.