기술 요약: 페르소나 기반 적대적 체인 오브 씽킹 VLM 검증을 통한 수동 건설 현장 안전 모니터링

문제 제기

미국에서 건설 산업은 여전히 가장 치명적인 분야로, 2023 년에만 1,055 건의 치명적인 작업자 부상이 기록되었습니다. 이러한 사고의 대부분은 예방 가능하지만, 현재 모니터링 솔루션은 상당한 운영상의 격차를 겪고 있습니다: 이들은 종종 과도하게 비싸거나, 전용 실시간 인간 운영자를 요구하거나, 안전 위반의 좁은 하위 집합만 처리합니다 (예: 안전모 감지 단독). 실시간 인간 검토 없이 여러 작업자를 추적하고, 시간에 따라 그들의 신원을 확인하며, 실행 가능한 준수 보고서를 생성할 수 있는 저렴한 수동 연속 모니터링 시스템이 부족합니다.

방법론

저자들은 두 가지 독립적인 카메라 모드 (POV 착용형 카메라 및 고정형 벽면 설치 카메라) 의 비디오를 분석하는 수동 교대 종료 처리 파이프라인을 제안합니다. 이 시스템은 통합된 3 단계 아키텍처를 활용합니다:

1 단계: 주요 감지

• 구성 요소: 미세 조정된 YOLO11 객체 감지기.
• 학습: 5 개의 건설 특화 PPE 데이터셋 (Ultralytics, Roboflow, SH17, Kaggle 코퍼스) 의 복합 데이터셋으로 학습됨.
• 기능: 작업자, PPE(안전모, 조끼, 장갑), 근접 장비 (굴착기, 크레인) 를 포함한 12 개의 의미론적 클래스를 감지합니다.
• 전략: 재현율 (recall) 을 극대화하기 위해 감지 신뢰도는 의도적으로 낮게 설정됩니다 ($\tau_{conf} = 0.15$). 시스템은 모든 잠재적 위반을 포착하는 것을 우선시하며, 오탐지 (false positives) 억제는 하류 검증 단계로 이관합니다.
• 추적: 벽면 설치 카메라의 경우, 영구적인 트랙 ID 를 유지하기 위해 BoT-SORT가 다중 객체 추적에 사용됩니다. POV 카메라의 경우, 포즈 추정 모델이 17 개의 COCO 형식 골격 키포인트를 추출합니다.

2 단계: 공간 정제 및 작업자 중복 제거

• 구성 요소: SAM 3(Segment Anything Model 3).
• 기능:
  1. 정제: 혼잡한 장면에서의 과도한 확장을 보정하기 위해 YOLO 바운딩 박스를 정밀하게 조정하는 픽셀 단위 분할 마스크를 생성합니다.
  2. 분리: 비전 - 언어 모델 (VLM) 의 맥락적 모호성을 줄이기 위해 주석이 덮인 분리된 작업자 컷을 생성합니다.
  3. 연관: 중심점 포함 (어떤 작업자의 바운딩 박스가 PPE 마스크 중심점을 포함하는지 결정) 을 통해 PPE-작업자 매핑을 해결합니다.
• 시간적 논리: 일시적인 가려짐을 완화하기 위해 PPE 준수는 단일 프레임이 아닌 슬라이딩 시간 창 (sliding temporal window) 에서 평가됩니다.

3 단계: 적대적 VLM 을 통한 준수 검증

• 구성 요소: Qwen3-VL-8B-Instruct(선택적 LoRA 어댑터 포함).
• 핵심 혁신: VLM 할루시네이션을 완화하도록 설계된 새로운 3 패스 적대적 체인 오브 씽킹 프로토콜.
  • 패스 1(생성): "현장 안전 검사관" 페르소나가 기계 감지 데이터 없이 원본 비디오를 검토하여 독립적인 관찰 노트를 생성합니다.
  • 패스 2(판별): "시니어 안전 관리관" 페르소나가 YOLO/SAM 주석 (바운딩 박스, 마스크, 신뢰도 점수) 은 포함하지만 패스 1 노트는 포함하지 않은 비디오를 검토합니다. 이 패스는 기계 감지를 검증하거나 기각합니다.
  • 패스 3(조정): 시니어 페르소나가 패스 1, 패스 2 및 원본 기계 데이터의 증거를 구조화된 VLMAssessment로 조정합니다.
• 적대적 메커니즘:
  • 구조적 독립성: 패스들은 구조적으로 격리되어 있습니다; 패스 2 는 패스 1 의 출력을 보지 않으므로 맥락 오염이 방지됩니다.
  • 비대칭 조정 규칙: 시스템은 모달리티 신뢰도에 대한 명시적 사전 확률을 인코딩합니다. 행동 위반 (예: 휴대전화 사용) 은 "관찰자 강함/기계 약함"으로 간주되는 반면, 공간/PPE 위반은 "기계 강함/관찰자 약함"으로 간주됩니다.
  • 신뢰도 보정: YOLO 신뢰도 점수는 인식론적 가중치 (epistemic weights) 로 매핑됩니다 (예: $\ge 0.70$은 반박 증거가 없으면 무효화할 수 없는 "강한 사전 확률"로 간주).
• 출력: 위반 사항을 특정 OSHA 표준에 매핑하고, REBA 에서 영감을 받은 인체공학적 위험 점수 (관절 각도 기반) 를 수행하며, 타임스탬프가 찍힌 프레임 단위 증거를 포함한 작업자별 안전 보고서를 생성하는 구조화된 보고서입니다.

주요 기여

1. 통합 파이프라인: PPE 감지, 자세/인체공학적 분석, 그리고 이중 카메라 모드에 걸친 작업자 신원 지속성을 통합하는 3 단계 아키텍처 (YOLO $\to$ SAM 3 $\to$ VLM).
2. 적대적 VLM 프로토콜: "방법 - 행위자 (method-actor)" 프레임워크를 따르는 방법 프롬프트 기반, 페르소나 기반 3 패스 프로토콜. 이 설계는 패스 간의 구조적 독립성을 강제하고 할루시네이션을 줄이기 위해 비대칭 조정 규칙을 활용합니다.
3. 인체공학적 점수: YOLO 포즈 키포인트에서 파생되고 조정된 신뢰도 게이트와 결합된 REBA 에서 영감을 받은 위험 점수 통합.
4. 교대 종료 백엔드: OSHA 표준에 이벤트를 매핑하고 작업자별 보고서를 생성하여 모니터링 품질을 실시간 컴퓨팅 제약 조건과 분리하는 시스템.

결과

이 시스템은 벽돌공, 준비, 이동 시나리오를 다루는 12 개 비디오 Ironsite 개발 코퍼스(비디오당 약 30 분) 에서 정성적으로 평가되었습니다.

• 정밀도 향상: 3 명의 저자 (심판자 역할) 가 수행한 비공식 검토에 따르면, 동일한 토큰 예산을 사용하는 단일 패스 VLM 베이스라인에 비해 3 패스 적대적 프로토콜은 정밀도가 12% 향상되었습니다.
• 할루시네이션 감소: 가장 큰 개선은 할루시네이션에 취약한 카테고리 (예: 장갑 및 안면 보호구 감지) 에서 관찰되었으며, 적대적 구조는 시각적으로 지지되지 않지만 그럴듯한 위반 사항의 방출을 줄였습니다.
• 감지 능력: 시스템은 벽면 설치 및 POV 영상 모두에서 PPE 준수 (조끼, 안전모) 와 인체공학적 위험 (과도한 도달, 어색한 자세) 을 성공적으로 식별했습니다.
• 한계: 저자들은 12% 의 개선이 맹검 통제 연구가 아닌 저자 심판에 기반한 것이라고 지적합니다. 저조도 조건에서 성능이 저하되며, 밀집된 장면에서의 작업자 재식별은 대규모로 스트레스 테스트되지 않았습니다.

중요성 및 주장

이 논문은 교대 종료 수동 모니터링이 건설 안전을 위한 실시간 감시의 실현 가능한 대안이라고 주장하며, 실시간 지연 시간 제약 하에서는 불가능할 8B 파라미터 VLM 을 포함한 상용 하드웨어와 대규모 모델을 사용한 실용적인 배포 경로를 제공합니다.

핵심 방법론적 기여는 VLM 을 위한 프롬프트 설계입니다. 저자들은 전문 페르소나 배경 스토리의 구체적인 구성이 구조적 메시지 격리 및 비대칭 조정 규칙과 결합되어 정밀도의 측정 가능한 개선을 이끈다고 주장합니다. 이 접근법은 모델이 최종 준수 판결을 내리기 전에 독립적인 관찰 및 기계 유래 신호와 자신의 추론을 교차 검증하도록 강제함으로써 안전-중요 맥락에서 VLM 할루시네이션의 중요한 문제를 해결합니다.

저자들은 정성적 관찰이 이 접근법의 실현 가능성을 뒷받침하지만, 독립적 주석가가 포함된 홀드아웃 테스트 세트에 대한 정량적 평가가 향후 작업의 최우선 순위라고 강조합니다. 이를 위한 평가 하네스는 코드베이스와 함께 공개됩니다.