Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies

기술 요약: 위험(Hazard)인가 이상 징후(Anomaly)인가? 위험 및 불일치 이해를 위한 VLM 평가

문제 정의
수색 및 구조, 산업 안전 등에 사용되는 현대의 안전 필수 시스템은 복잡한 장면을 해석하고 인간의 의사결정을 지원하기 위해 시각-언어 모델(VLM)에 점점 더 많이 의존하고 있습니다. 그러나 현재의 VLM 안전 추론 평가 프레임워크는 위험 인식을 단순히 이진 결정(안전/위험)으로 설정하는 경우가 많습니다. 이러한 이진 접근 방식은 단순히 특이한 장면(이상 징후)과 실제 물리적 위협을 가하는 장면(위험) 사이의 중요한 구분을 모호하게 만듭니다. 저자들은 위험과 이상 징후를 명시적으로 분리하지 않으면, VLM이 진정한 물리적 위험을 식별하는 것인지 아니면 단순히 맥락적 불규칙성에 반응하는 것인지가 불분명해진다고 주장합니다. 이러한 혼동은 이상하지만 위험하지 않은 상황을 위험한 것으로 잘못 분류하는 "과잉 반응"을 초래하여, 운영자가 실제 위험으로부터 주의를 돌리게 만들 수 있습니다.

방법론
이러한 한계를 해결하기 위해, 저자들은 "위험(Hazard)"과 "이상 징후(Anomaly)"를 직교하는 차원으로 구분하는 평가 파이프라인을 제안합니다.

• 정의:

  • 위험(Hazard): 정상적인 상호작용 조건 하에서 잠재적인 물리적 해를 끼칠 수 있는 근원 (OSHA 정의와 일치).
  • 이상 징후(Anomaly): 반드시 위험을 의미하지는 않지만, 기대되는 공간적, 기능적 또는 맥락적 관계를 위반하는 현상.
  • 클래스: 본 연구는 네 가지 클래스 체계(안전, 이상 징후, 위험, 이상 징후-위험 결합)를 활용합니다.

• 데이터셋: 저자들은 건설, 자연재해, 위험한 물체를 다루는 공개 데이터셋에서 추출하여 610개의 이미지로 구성된 벤치마크를 구축했습니다. 이미지는 텍스트 설명으로부터 생성되었으며, 연구자들이 2비트 인코딩(안전, 이상 징후, 위험, 둘 다)을 사용하여 레이블을 지정했습니다. 경계선에 있는 사례들은 정의를 정교화하기 위해 논의되었으며, 합의가 이루어지지 않은 이미지는 제외되었습니다. 최종 데이터셋은 테스트를 위한 클래스별 표현의 균형을 맞추기 위해 다운샘플링되었습니다.

• 실험 설계: 본 연구는 여러 최첨단 VLM(GPT-4.1, Mistral 변형 모델, Gemini 변형 모델 포함)을 세 가지 프롬프트 전략에 걸쳐 평가합니다:

  1. 제로샷(Zero-Shot): 정의를 제공하고 분류를 요청함.
  2. 퓨샷(Few-Shot): 각 클래스에 대한 올바른 분류 예시를 제공함.
  3. 생각의 사슬(Chain-of-Thought, CoT): 모델이 최종 결정을 내리기 전에 위험과 이상 징후를 독립적으로 식별하도록 유도함.

  또한, 저자들은 모델의 추론 능력을 시각적 지각 능력과 분리하기 위해 두 가지 입력 모달리티(원시 이미지 및 Gemini 3 Flash로 생성된 이미지의 상세한 "밀집 캡션")를 테스트했습니다.

• 지표: 성능은 이상 징후 및 위험 탐지에 대한 클래스별 정밀도(Precision), 재현율(Recall), F1 점수로 측정되었습니다. 결합 분류 성능은 네 가지 클래스 분류 체계에서의 오류율을 평가하기 위해 해밍 손실(Hamming Loss)을 사용하여 평가되었습니다.

주요 결과

• 개념의 혼동: 이진 안전 프롬프트 하에서, VLM은 빈번하게 이상 징후를 위험으로 오해합니다. 본 연구는 모델들이 맥락적 불규칙성을 위험의 대리 지표로 사용하는 경우가 많음을 확인했습니다.
• 성능 편차:
  • 위험 vs 이상 징후: 모델들은 이상 징후보다 위험을 분류할 때 일관되게 더 나은 성능(F1 점수 종종 >0.75)을 보였습니다. "이상 징후" 개념은 정의와 분류가 더 어려운 것으로 나타났으며, 이는 의미론적 모호성 때문인 것으로 보입니다.
  • 입력 모달리티: 밀집 캡션이 추론을 고립시킬 것이라는 가설과 달리, 모델들은 원시 이미지와 비교했을 때 일반적으로 성능이 떨어지거나 비슷했습니다. 저자들은 캡션이 필요한 맥락적 집중력을 결여하거나 노이즈를 도입할 수 있다고 제안합니다.
  • 프롬프트 전략: 모든 모델에 보편적으로 우월한 단일 프롬프트 기법은 없었습니다. 퓨샷 프롬프팅이 위험 분류에는 종종 가장 좋은 결과를 냈으나, 생각의 사슬(CoT)이나 퓨샷 전략은 모델에 따라 이상 징후 분류에서 차이를 보였습니다.
  • 모델 크기: 더 큰 모델(예: GPT-4.1, Gemini 3 Flash)은 작은 모델(예: Mistral 3B)보다 특히 결합 분류 작업에서 전반적으로 우수한 성능을 보였습니다. 가장 낮은 해밍 손실(0.23)을 기록한 최적의 결합 분류 성능은 이미지 입력을 사용한 퓨샷 프롬프팅 기반의 Gemini 3 Flash에 의해 달성되었습니다.
• 베이스라인 비교: 이전의 이진 안전 연구(Choi et al. [5])와 비교했을 때, 저자들의 제로샷 프롬프트(네 가지 클래스 정의 활용)는 결과를 이진 범주로 축소했을 때조차 훨씬 높은 정확도(p-value 0.0022)를 보였습니다. 이는 모델이 네 가지 클래스 분류 체계를 통해 추론하도록 강제하는 것이, 최종 출력이 이진 형태라 할지라도 안전 판단 능력을 향상시킨다는 것을 시사합니다.

의의 및 주장
본 논문은 이상 징후를 위험으로부터 명시적으로 분리하는 것이 전통적인 이진 접근 방식보다 VLM의 안전 추론에 대해 더 유익한 평가를 제공한다고 주장합니다. "특이함"을 "위험함"과 혼동하는 실패 모드를 드러냄으로써, 본 연구는 현재의 VLM이 신뢰할 수 있는 상황 인식 능력이 부족한 특정 영역을 강조합니다.

저자들은 최첨단 VLM이 이러한 상태를 구분하는 데 중간 정도의 능력(이상 징후에 대해 약 0.70, 위험에 대해 최대 0.85의 F1 점수)을 보여주지만, 여전히 네 가지 클래스 분류 체계에 필요한 복잡한 추론에는 어려움을 겪고 있다고 결론짓습니다. 본 연구는 추론 능력과 프롬프트 엔지니어링의 추가적인 개선 없이는 현재의 모델들이 고위험 환경에 완전히 자율적으로 배치될 준비가 되지 않았다고 주장합니다. 이 연구는 AI 시스템이 특이한 조건과 실제 위험을 일관되게 구분할 수 있도록 만드는 미래 연구를 촉진하기 위해 공개 데이터셋과 구조화된 평가 파이프라인을 제공합니다.