Privacy-Aware Synthetic Video Benchmarking and Relational Evaluation for Worker-Under-Suspended-Load Detection

기술 요약: 작업자-현수하중-하부 위치 탐지를 위한 프라이버시 인지형 합성 비디오 벤치마킹

문제 정의
건설 현장은 "현수 하중 아래의 작업자(worker under suspended load)" 위험과 관련된 중대한 안전 리스크를 안고 있습니다. 이는 표준적인 객체 탐지 작업과는 달리, 본질적으로 관계적이며 시공간적인 문제입니다. 즉, 위험은 작업자의 기하학적 형상이 시간이 흐름에 따라 현수 하중의 낙하 구역(fall zone)과 교차할 때 발생합니다. 현재의 컴퓨터 비전 접근 방식은 다음 두 가지 주요 장벽에 직면해 있습니다:

1. 데이터 희소성: 이 특정 위험 요소에 대한 공개 가능한 공유용 비디오 벤치마크는 매우 드뭅니다. 실제 건설 현장 영상은 '작업자 하부에 하중이 위치하는' 양성 이벤트(positive events)가 충분하지 않을 뿐만 아니라, 작업자, 현장 레이아웃, 장비 구성에 관한 운영상의 민감성 때문에 개인정보 보호 문제로 인해 데이터를 공개하기 어렵습니다.
2. 프라이버시-유용성 트레이드오프: 블러링(blurring)이나 픽셀화(pixelation)와 같은 프라이버시 보존 기술은 필수적이지만, 관계적 위험 추론에 필요한 기하학적 및 구조적 단서를 저해할 위험이 있습니다. 하위 단계의 안전 분석이 실패하기 전까지 작업자의 외형을 어느 정도까지 억제할 수 있는지에 대해서는 여전히 불분명합니다.

방법론
저자들은 이러한 과제를 해결하기 위해 집중된 합성 비디오 벤치마크인 SynthSite와 프라이버시 인지형 하이브리드 생성 워크플로우를 제안합니다.

• SynthSite 데이터셋: 이 데이터셋은 다양한 하중 구성, 시점, 클러터(clutter), 폐쇄(occlusion) 및 조명 조건을 묘사하는 55개의 합성 비디오 클립(각 5~10초, 15 FPS, 1280×720 해상도)으로 구성됩니다. 클립은 안전한 시나리오와 안전하지 않은 시나리오 사이의 균형을 맞추었으며, 작업자가 현수 하중의 낙하 구역 내에 최소 1초(15 프레임) 동안 머물러야 "unsafe(위험)"로 라벨링되는 규칙에 기반하여 주석(annotation)이 달렸습니다.
• 프라이버시 인지형 하이브리드 워크플로우: 민감한 원본 영상을 노출하지 않고 공유 가능한 데이터를 생성하기 위해, 저자들은 프로세스를 신뢰할 수 있는(민감한) 환경과 신뢰할 수 없는(비민감한) 환경으로 분리하는 워크플로우를 설계했습니다:
  1. 민감한 환경(Sensitive Environment): 원본 건설 영상은 로컬에 유지됩니다. 시각-언어 모델(Qwen2.5-VL)이 원본 프레임으로부터 승인된 *텍스트 중간 매개체(textual intermediaries, 구조화된 장면 묘사)*를 생성합니다. 어떤 원본 영상도 이 환경을 벗어나지 않습니다.
  2. 비민감한 환경(Non-Sensitive Environment): 이 텍스트 중간 매개체들은 합성 시드 이미지(Nano Banana 2)와 후보 비디오(Veo 3.1 Fast)를 생성하는 데 사용됩니다.
  3. 내부 생성(Internal Generation): 생성된 공개 비디오의 일부는 LoRA 어댑터를 훈련시키는 데 사용되며, 이 어댑터는 다시 민감한 환경으로 가져와 로컬 모델(Wan2.2-I2V-A14B)을 사용하여 프라이버시가 제한된 내부 합성 영상을 생성하는 데 사용됩니다.
• 관계적 프라이버시 평가: 연구는 다섯 가지 조건을 평가합니다: 원본 비디오, Canny-edge, 카툰화(cartooned), 픽셀화된 형태, 그리고 전신 블러링 처리된 작업자 표현입니다. 평가는 다음을 측정합니다:
  • 원본 참조 안정성(Raw-reference stability): 원본 비디오 파이프라인과 비교했을 때 작업자/하중의 유지 및 위치 지터(localization jitter)의 일관성.
  • 인간 합의(Human agreement): 인간 주석에 대한 클립 레벨의 위험 인식 정확도.
  • 탐지 파이프라인: 오픈 보캐블러리 탐지를 위한 YOLO-World 기반의 기하학 중심 2D 프록시와 추적을 위한 ByteTrack을 사용합니다. 이는 인근 작업자와의 간격 비율을 통해 현수 상태를 추론하고, 사다리꼴 낙하 구역을 정의하여 위험 상태를 결정합니다.

주요 기여

1. SynthSite 벤치마크: 희귀하고 안전이 중요한 관계적 이벤트인 '현수 하중 아래의 작업자' 위험을 다루기 위해 집중된 합성 비디오 데이터셋을 제공합니다.
2. 프라이버시 인지형 하이브리드 워크플로우: 승인된 텍스트 중간 매개체만을 유일한 교차 경계 전송 수단으로 사용하여, 민감한 원본 영상을 신뢰할 수 있는 경계 내에 유지하면서도 공유 가능한 벤치마크 및 내부 합성 데이터를 생성할 수 있는 배포 가능한 메커니즘을 제공합니다.
3. 관계적 프라이버시 평가: 관계적 위험의 경우, 외형을 보존하는 것보다 기하학적 구조를 보존하는 것이 더 중요하다는 것을 보여주는 평가 프레임워크를 제시합니다. 연구는 원본 파이프라인 출력과의 합의가 반드시 인간의 위험 라벨과 일치하는 것은 아님을 보여줍니다.

결과

• 구조 vs 외형: 구조를 보존하는 억제 방식(특히 카툰화 및 Canny-edge)이 외형을 부드럽게 만드는 베이스라인(블러 및 픽셀화)보다 훨씬 더 많은 다운스트림 유용성을 유지했습니다.
• 성능 지표:
  • **카툰화(Cartooning)**는 인간 주석과 가장 높은 합의도($F_2 = 0.767$)를 달いました. 이는 원본 참조($F_2 = 0.757$)보다 약간 높은 수치입니다.
  • Canny-edge는 가장 높은 원본 참조 안정성($F_2 = 0.964$)을 보였으나, 인간과의 정렬(alignment) 측면에서는 가장 강력하지 않았습니다.
  • **블러(Blur)**는 인간 합의($F_2 = 0.671$)와 작업자 유지율(41.4%) 모두에서 최악의 성능을 보였습니다. 이는 주로 국부적 대비와 실루엣 세부 사항의 억제 때문입니다.
• 실패 모드: 억제에 의해 발생한 주요 저하는 기하학적 드리프트(geometric drift)가 아닌 **작업자 유지율(worker retention, 탐지 가능성)**의 감소였습니다. 일단 작업자가 탐지되면 그 위치는 안정적이었습니다. 그러나 작업자를 억제하면 하중 탐지에도 영향을 미쳤는데(카툰화에서의 하중 유지율 약 86%에서 블러에서의 77%로 감소), 이는 관계적 탐지가 직접적으로 억제된 영역 너머의 장면 맥락에도 민감함을 나타냅니다.

의의 및 주장
본 논문은 현수 하중 아래의 작업자와 같은 안전 중심의 관계적 위험에 대해서는 프라이버시 평가가 단순한 외형 억제를 넘어서야 한다고 주장합니다. 저자들은 기하학적 단서(구조, 실루엣, 공간적 관계)를 보존하는 것이 위험 추론을 위해 가장 중요하다고 강조합니다. 저자들은 "구조 보존형 억제 방식"이 원본 비디오와 비교하여 인간의 안전 판단과 일치하거나 심지어 개선할 수 있음을 입증하며, 반대로 표준적인 스무딩 기술은 유용성을 저하시킨다고 설명합니다.

저자들은 SynthSite를 완성된 생산용 탐지기가 아니라, 집중된 시작점이자 통제된 합성 벤치마크로 규정합니다. 저자들은 실제 CCTV 검증의 부재, 정밀한 물리적 위험 추정 대신 경량 2D 프록시를 사용한 점, 오픈 보캐블러리 탐지에 의존한 점 등 한계를 명시적으로 인정합니다. 이 연구는 프라이버시와 관계적 기하 정보의 보존 사이에서 균형을 맞춰야 함을 강조하며, 안전 중심의 건설 현장 비디오 분석을 위한 프라이시 인지형 벤치마킹의 실질적인 토대를 마련하는 역할을 합니다.