기술 요약: SafeBuild-Bench

문제 정의

건설 안전 모니터링은 검사 기록을 해석하기 위해 멀티모달 거대 언어 모델(MLLM)에 의존합니다. 그러나 현재의 모델들은 실제 현장 배포 시 다음과 같은 세 가지 주요 요인으로 인해 심각한 신뢰성 문제를 겪고 있습니다:

1. 데이터 중복성 및 롱테일 분포: 산업 현장의 검사 기록은 방대하지만, 반복적이고 위험도가 낮은 이미지들이 지배적인 "정보 빈곤" 상태이며, 드물지만 영향력이 큰 위험 요소들은 희소한 롱테일(long-tail)을 형성합니다.
2. 시계열 및 현장 분포 변화: 건설 현장은 날씨, 공정 진행, 조명, 카메라 유지보수 등에 따라 변화하므로 시계열적 분포 변화가 발생하며, 정적인 평가 프로토콜은 이를 간과하는 경우가 많습니다.
3. 평가 한계: 기존 벤치마크는 일반적으로 i.i.d.(독립 동일 분포) 가정하에 집계된 점수에 의존하며, 특정 시점이나 특정 현장에 특화된 강건성(robustness)을 테스트하는 데 실패하여 배포 성능을 과대평가하게 만듭니다.

본 논문은 시계열 및 현장별 층화 평가를 가능하게 하고, 중복된 데이터보다는 롱테일 위험 요소에 집중하며, 대규모의 중복 데이터 스트림으로부터 구축 가능한 실현 가능한 벤치마크를 만드는 방법에 대한 실질적인 질문을 다룹니다.

방법론

1. 데이터 수집 및 전처리

저자들은 5개월(2025년 7월~11월) 동안 50개 이상의 건설 현장에서 수집된 100,000개 이상의 이미지-텍스트 쌍으로 구성된 원시 데이터셋을 큐레이션했습니다. 데이터는 다양한 장면(비계, 기초 구덩이, 타워크레인)과 환경 조건(야간, 비, 안개)을 포함합니다. 자동 탐지 및 수동 검증을 사용하여 얼굴과 번호판을 익명화하는 엄격한 프라이버시 파이프라인이 구현되었습니다.

2. GEMS: 그래프 강화 멀티모달 선택 (Graph-Enhanced Multimodal Selection)

모든 샘플에 대해 즉각적인 전문가 검증을 요구하지 않고도 중복된 원시 스트림에서 "정보적 핵심(informational core)"을 추출하기 위해, 저자들은 **GEMS(Graph-Enhanced Multimodal Selection)**를 개발했습니다. 이 자동화된 파이프라인은 세 단계로 구성됩니다:

• 멀티모달 표현 학습: 이미지-텍스트 쌍은 Qwen3-VL-Embedding 인코더를 사용하여 통합 밀집 벡터 공간으로 매핑되어 결합 표현($z_i$)을 얻습니다.
• 인식적 불확실성 정량화: 프록시 모델(Qwen2.5-VL-3B-Instruct)이 위험 분석 프롬프트에 대한 응답을 생성합니다. 불확실성 점수($u_i$)는 생성된 응답의 길이 정규화된 음의 로그 가능도(NLL)로 계산됩니다. 높은 NLL은 모델이 확신하지 못하는 후보 샘플을 나타내며, 이는 정보가 풍부하거나 까다로운 사례임을 시사할 수 있습니다 있습니다.
• 그래프 이론 기반 부가적 선택 (Submodular Selection): 임베딩의 코사인 유사도를 기반으로 희소한 $k$-최근접 이웃($k$-NN) 그래프를 구축합니다. 선택 목적 함수는 모든 노드에 의해 받는 최소 영향력(포화 임계값 $\tau$에 의해 제한됨)의 합으로 정의되는 부분집합 $S$의 총 영향력을 최대화합니다. 이는 정보성(높은 불확실성)과 다양성(근접 중복 제거) 사이의 균형을 맞춥니다.
• 최적화: CELF(Cost-Effective Lazy Forward) 알고리즘을 사용하여 부가적 최대화(submodular maximization) 문제를 효율적으로 해결함으로써, 표준 그리디(greedy) 선택에 비해 계산 복잡도를 줄입니다.

3. SafeBuild-Bench 구축

GEMS를 사용하여 저자들은 3,000개 이상의 이미지를 선택하여 최종 벤치마크를 구성하였으며, 그 결과 3,314개의 태스크 인스턴스를 확보했습니다.

• 메타데이터: 모든 인스턴스는 원래의 수집 타임스탬프와 현장 식별자를 유지하여, 월별 및 위치별 층화 분석이 가능하도록 합니다.
• 전문가 검증: 선택된 샘플은 건설 안전 전문가의 검토를 거쳐 확립된 표준에 따라 주요 위험 카테고리와 참조 설명을 할당받았습니다. 모호한 사례는 전문가 합의를 통해 해결되었습니다.
• 태스크 설계:
  • 위험 식별 (객관식, MCQ): 모델이 전문가가 정의한 "혼동 그룹"(시각적 또는 절차적으로 유사한 위험 요소)에서 추출된 세 개의 오답 중 정답을 선택하는 2,200개의 인스턴스입니다.
  • 위험 기술 (자유 형식): 위험을 정확하게 기술하거나 안전 여부를 확인해야 하는 1,114개의 인스턴스입니다. 평가는 인간 감사(human audit)를 통해 검증된 고정된 루브릭을 사용하는 표준화된 LLM-as-a-judge 방식(GPT-4o)을 사용합니다.

주요 기여

1. SafeBuild-Bench: 10만 개 이상의 원시 기록에서 채굴된 전문가 검증 벤치마크로, 롱테일 위험 요소, 시계열/현장 메타데이터, 그리고 위험 식별 및 기술을 위한 어노테이션을 포함합니다.
2. 메타데이터 기반 평가 설계: 실행 가능한 평가 스크립트와 확장 가능한 LLM-as-a-judge 체계를 동반하여, 층화된 시계열 및 현장 수준의 강건성 분석을 가능하게 하는 프로토콜을 제공합니다.
3. GEMS 파이프라인: 인식적 불확실성과 그래프 기반 다양성을 결합하여 전문가 검증을 위한 정보가 풍부한 후보를 식별하는 자동화된 선택 프레임워크입니다. 저자들은 공공 인스트럭션 튜닝 데이터셋에 대해 GEMS를 검증하여, 훨씬 적은 데이터 예산으로도 강건성 지향적 성능을 보존할 수 있음을 보여주었습니다.

실험 결과

GEMS 검증 (프록시 연구)

저자들은 LLaVA-v1.5-7B를 베이스 모델로 사용하여 공공 인스트럭션 튜닝 데이터셋(LLaVA-Instruct-150K 및 LLaVA-Mixed-665K)에 대해 GEMS를 검증했습니다.

• 데이터 효율성: GEMS가 선택한 데이터의 단 1%(약 1.5k6.6k 샘플)만으로 튜닝했을 때, 강건성 지향적 벤치마크(VizWiz, MMMU, POPE)에서 전체 데이터 튜닝(158k665k 샘플)의 성능과 대등하거나 이를 능가했습니다.
• 중복 감소: GEMS로 선택된 부분 집합은 무작위 샘플링에 비해 내부 중복성이 낮고 카테カテゴリ 균형이 더 뛰어났으며, 이를 통해 노이즈를 필터링하면서 까다로운 사례를 유지하는 능력을 입증했습니다.

SafeBuild-Bench 평가

이 벤치마크는 제로샷(zero-shot) 설정에서 다양한 독자적 및 오픈 소스 MLLM(예: Gemini-3, Qwen3-VL, Kimi-K2.5, GPT-4o)을 대상으로 평가되었습니다.

• 전반적인 성능: 현재의 MLLM들은 여전히 신뢰하기에 미흡하며, 최고 점수(Kimi-K.2.5)조차 60.7에 불과했습니다.
• 태스크 간 격차: 모델들은 일반적으로 위험 기술(존재/부재 식별)보다 기술 품질(상세 설명)에서 더 낮은 성능을 보였습니다. 예를 들어, Qwen3-VL-Plus는 79.9%의 탐지율을 달 기록했지만, 식별 정확도에서는 뒤처졌습니다.
• 시계열 변동성: 성능은 월별 슬라이스(7월~11월)에 따라 크게 달랐습니다. 예를 들어, Claude-Sonnet-4.5의 정확도는 월별로 46.4%에서 54.6% 사이를 오갔으며, 이는 집계된 점수가 시계열적 불안정성을 가릴 수 있음을 보여줍니다.
• 오류 분석:
  • 식별: 모델들은 미세한 구분이 필요한 카테고리(예: 특정 비계 유형)나 암묵적인 안전 규범을 다루는 데 어려움을 겪었습니다. "위험 없음" 사례에서 위험을 과잉 예측하는 편향이 관찰되었습니다.
  • 기술: 주요 실패 원인은 언어적 결함보다는 주로 위험 탐지 실패(HDR=0)에 의해 발생했습니다. 작은 모델들은 큰 모델(Kimi-K2.5의 27.3%)에 비해 더 높은 실패율(Qwen3-VL-4B의 44.4%)을 보였습니다.

의의 및 주장

본 논문은 SafeBuild-Bench가 정적인 집계 평가에서 벗어나, 건설 안전의 실제 배포 위험을 더 잘 반영하는 시계열 강건성 및 층화 분석으로의 필수적인 전환을 제공한다고 주장합니다.

• 데이터 중심 마이닝의 실현 가능성: 본 연구는 그래프 강화 데이터 마이닝(GEMS)이 방대한 산업 스트림에서 가치 있고 중복되지 않은 부분 집합을 효과적으로 추출할 수 있음을 보여주며, 이를 통해 전문가 검증 벤치마크 구축을 실현 가능하게 합니다.
• 현실적인 베이스라인: 결과는 최첨단 MLLM조차 건설 안전 이해 측면에서는 아직 신뢰할 수 없음을 나타내며, 일반적인 시각 능력과 도메인 특화 안전 추론 사이의 간극을 강조합니다.
• 운영적 관련성: 시계열 및 현장 메타데이터를 유지함으로써, 이해관계자들이 단일 리더보드 점수에 의존하는 대신 특정 배치 위험(예: 특정 월이나 현장에서의 성능 저하)을 진단할 수 있도록 합니다.

저자들은 벤치마크가 중국 건설 규정에 근거하고 있으며, 규모 확장을 위해 지속적인 전문가 노력이 필요하고, 초기 선택을 위해 프록시 모델에 의존한다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지했습니다. 이들은 본 연구를 더 강력한, 안전 중심적 멀티모달 AI 평가를 향한 기초적인 단계로 포지셔닝합니다.