HomeSafe-Bench: Evaluating Vision-Language Models on Unsafe Action Detection for Embodied Agents in Household Scenarios

이 논문은 가정용 로봇의 안전성을 평가하기 위해 물리 시뮬레이션과 비디오 생성을 결합한 'HomeSafe-Bench' 벤치마크와 실시간 안전 감시를 위한 계층적 'HD-Guard' 아키텍처를 제안하며, 현재 비전 - 언어 모델의 안전 감지 한계를 분석하고 효율성과 정확성 간의 균형을 달성하는 방안을 제시합니다.

핵심

이 논문은 **"집안일 로봇이 실수하지 않도록 지켜주는 새로운 감시 시스템과 시험지"**에 대한 이야기입니다.

로봇이 우리 집안에서 일할 때, "전자레인지에 금속 그릇을 넣으면 폭발할까?" 같은 위험한 상황을 미리 알아차려야 합니다. 하지만 기존 로봇들은 이런 위험을 잘 못 알아채거나, 너무 민감해서 안일한 상황에서도 멈추는 등 문제가 많았습니다.

이 논문은 이를 해결하기 위해 두 가지 큰 무기를 제시합니다.

---

1. 새로운 시험지: "HomeSafe-Bench" (집안 안전 시험지)

기존의 안전 테스트는 정지된 사진이나 글로만 이루어져 있었어요. 마치 운전 면허 시험을 책으로만 보고 보는 것과 비슷하죠. 하지만 실제 집안일은 움직이고, 예측할 수 없는 일들이 벌어집니다.

저자들은 438 개의 다양한 위험 상황 영상을 만들어냈습니다.

• 어떻게 만들었나요? AI 가 상상한 위험한 상황 (예: 로봇이 뜨거운 기름에 물을 붓는 상황) 을 물리 법칙을 따르는 시뮬레이션과 최신 영상 생성 AI 를 섞어서, 마치 실제 집안에서 일어난 것처럼 아주 리얼하게 만들었습니다.
• 무엇을 평가하나요? 로봇이 위험을 얼마나 빨리, 얼마나 정확하게 알아차리는지, 그리고 그 위험이 얼마나 치명적인지를 1 점부터 4 점까지 등급을 매겨 평가합니다.

비유: 기존 테스트가 "정지된 횡단보도 사진"을 보고 신호등 색깔을 맞추는 거라면, 이 새로운 시험지는 **"실제 도로에서 갑자기 튀어나오는 보행자를 얼마나 빨리 발견하고 멈출 수 있는지"**를 보는 실전 운전 시험입니다.

---

2. 새로운 감시 시스템: "HD-Guard" (이중 뇌 경보 시스템)

기존의 AI 모델들은 두 가지 치명적인 약점이 있었습니다.

1. 느리다: 복잡한 상황을 생각하려면 시간이 너무 걸려서, 사고가 난 뒤에야 "아, 위험했네!"라고 말합니다.
2. 잘못 알아듣는다: 너무 예민해서 안전한 상황에서도 "위험하다!"라고 소리치거나 (거짓 경보), 반대로 진짜 위험을 놓치기도 합니다.

저자들은 이를 해결하기 위해 **"빠른 뇌 (FastBrain)"**와 **"깊은 뇌 (SlowBrain)"**가 협력하는 시스템을 만들었습니다.

🏃 빠른 뇌 (FastBrain): "초고속 감시관"

• 역할: 매초마다 화면을 빠르게 훑어봅니다. "무언가 다가오나?", "벽에 부딪히나?" 같은 단순하고 즉각적인 위험을 1 초도 안 되어 알아챕니다.
• 특징: 머리가 작지만 매우 빠릅니다. 위험이 크지 않으면 "안전 (초록불)", 약간 의심스러우면 "주의 (노란불)", 확실히 위험하면 "위험 (빨간불)"이라고 바로 외칩니다.

🧠 깊은 뇌 (SlowBrain): "숙련된 안전 전문가"

• 역할: 빠른 뇌가 "노란불 (주의)"을 켜면, 이 전문가가 등장합니다. "저 로봇이 들고 있는 그릇이 밀폐된 플라스틱일까? 전자레인지에 넣으면 터질까?"처럼 물리 법칙과 상식을 이용해 깊이 있게 분석합니다.
• 특징: 생각은 느리지만, 지식이 풍부하고 정확합니다.

🤝 두 뇌의 협력 (시너지)

• 상황 1 (즉각적인 충돌): 로봇이 벽으로 달려가면, 빠른 뇌가 바로 "빨간불!"을 켜고 로봇을 멈춥니다. 깊은 뇌가 생각할 틈도 없이 사고를 막습니다.
• 상황 2 (복잡한 위험): 로봇이 전자레인지에 플라스틱을 넣으려 하면, 빠른 뇌는 "노란불 (주의)"을 켭니다. 그러면 깊은 뇌가 "아, 밀폐된 플라스틱이네! 터질 거야!"라고 분석해서 최종 결정을 내립니다.

비유: 이 시스템은 **초고속 반응 신경 (빠른 뇌)**과 **지혜로운 두뇌 (깊은 뇌)**가 함께 일하는 것과 같습니다.

• 갑자기 차가 달려오면 반사 신경이 먼저 다리를 당깁니다 (빠른 뇌).
• 그다음 두뇌가 "저 차는 왜 왔지? 운전자가 술을 마셨나?"라고 상황을 분석합니다 (깊은 뇌).
• 기존 AI 는 두뇌만 있어서 사고가 나고 나서야 "아, 차였네"라고 생각하거나, 반대로 지나치게 예민해서 바람만 불어도 다리를 당겼습니다. 하지만 이 시스템은 반사 신경과 두뇌가 완벽하게 협력합니다.

---

3. 결론: 왜 이것이 중요한가요?

이 연구는 **"로봇이 우리 집에 안전하게 들어오기 위해서는, 단순히 똑똑한 것만으로는 부족하고, '빠른 반응'과 '깊은 이해'가 동시에 필요함"**을 증명했습니다.

• 기존 AI: 사고가 나기 직전까지 "안전하다"고 하거나, 아무것도 없는데 "위험하다"고 소리치는 등 실수가 많았습니다.
• 새로운 시스템 (HD-Guard): 가장 빠른 속도로 위험을 감지하면서도, 가장 정확한 판단을 내려, 로봇이 집안에서 안전하게 일할 수 있는 길을 열었습니다.

이 기술이 상용화되면, 우리 집 로봇은 더 이상 "부주의한 실수"로 가족을 다치게 하거나 가구를 망가뜨리지 않고, 진정한 안전한 집안 도우미가 될 수 있을 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: embodied agent(물리적 환경에서 작동하는 로봇 등) 의 발전으로 가정용 로봇의 실세계 배포가 가속화되고 있습니다.
• 핵심 문제: 산업용 환경과 달리 가정 환경은 비구조화되어 있으며, 예측 불가능한 안전 위험이 존재합니다.
  • 시스템 한계: 지각 지연 (perception latency), 시각적 감지 누락, 상식 지식 부족 등으로 인해 로봇이 위험한 실수 (예: 전자레인지에 금속 제품 투입) 를 저지를 수 있습니다.
• 기존 연구의 한계:
  • 현재 존재하는 안전 평가 벤치마크는 정적 이미지, 텍스트, 또는 일반적인 위험에 국한되어 있어, 가정 환경에서의 동적인 위험 행동 감지 (dynamic unsafe action detection) 를 충분히 평가하지 못합니다.
  • 기존 비디오 기반 벤치마크 (예: ASIMOV-v2) 는 일반적 위험을 다루며 가정용 에이전트의 구체적인 행동 다양성이 부족합니다.
  • IS-Bench 와 같은 연구는 안전 감지와 행동 계획을 강하게 결합하여, Vision-Language Model(VLM) 을 독립적인 안전 감시자로 평가하는 데 한계가 있습니다.

2. 방법론 (Methodology)

가. HomeSafe-Bench (벤치마크 구축)

가정 환경의 embodied agent 에 대한 위험 행동 감지를 평가하기 위한 새로운 벤치마크를 제안합니다.

• 데이터 구성:
  • 규모: 6 가지 기능적 공간 (침실, 욕실, 거실, 식당, 서재, 베란다) 에 걸쳐 438 개의 다양한 사례를 포함합니다.
  • 생성 파이프라인: 물리적 시뮬레이션 (BEHAVIOR 플랫폼) 과 고급 비디오 생성 모델 (Veo-3.1) 을 결합한 하이브리드 방식을 사용하여 물리적 정확성과 시각적 사실성을 모두 확보했습니다.
  • 세밀한 주석 (Annotations): 4 가지 차원으로 세분화되었습니다.
    1. 위험 카테고리: 기계적 충격 (C1), 절단/관통 (C2), 열/전기/화학 (C3), 환경적 손상 (C4).
    2. 위험 심각도 (Severity): NEISS 기준에 따라 경미 (L1) 에서 치명적 (L4) 까지 4 단계.
    3. 추론 난이도: 지각적 (D1, 시각적 명확), 물리적 (D2, 물성 이해 필요), 인과적 (D3, 잠재적 위험 예측).
    4. 시간적 키 프레임: 의도 시작 (Intent Onset), 되돌릴 수 없는 지점 (PNR), 개입 마감 (Intervention Deadline), 충격 (Impact) 등 5 단계 시간적 마커.
• 평가 지표: 위험 탐지율 (HDR), 유효 경고 정밀도 (EWP), 위상 분포 분석 (PDA), 가중 안전 점수 (WSS) 를 도입하여 타이밍과 정확성을 종합적으로 평가합니다.

나. HD-Guard (Hierarchical Dual-Brain Guard)

실시간 안전 모니터링을 위해 제안된 계층형 스트리밍 아키텍처입니다.

• FastBrain (경량화 모델):
  • 역할: 고빈도 (최대 10 FPS) 스트리밍 모니터링.
  • 기능: 각 프레임의 안전 상태를 교통 신호등 방식 (Green/Yellow/Red) 으로 분류합니다.
  • 동적 샘플링: 안전 (Green) 시 샘플링률을 낮추고, 위험 (Yellow/Red) 시 높여 리소스를 효율적으로 사용합니다.
• SlowBrain (대규모 모델):
  • 역할: 심층 멀티모달 추론 및 물리적 상식 적용.
  • 기능: FastBrain 이 'Yellow(주의)'로 분류한 경우 비동기적으로 트리거되어 Chain-of-Thought(CoT) 를 통해 위험의 인과관계를 분석합니다.
• 통합 전략:
  • FastBrain 이 즉각적인 'Red' 위험을 감지하면 즉시 개입합니다.
  • SlowBrain 의 추론 결과가 나올 때까지 FastBrain 이 계속 감시하며, FastBrain 의 판단이 Red 로 변경되면 즉시 개입하여 지연을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. HomeSafe-Bench 도입: 가정용 embodied agent 의 위험 행동 감지를 평가하기 위한 최초의 전용 벤치마크로, 물리적 정확성과 시각적 사실성을 갖춘 438 개의 고품질 비디오 데이터셋을 제공합니다.
2. HD-Guard 아키텍처 제안: 저지연 (Low Latency) 과 높은 탐지 품질 사이의 최적 균형을 이루는 실시간 듀얼-브레인 감지기를 설계했습니다.
3. 종합적 평가 및 분석:
   • 현재 VLM 들의 주요 병목 현상 (시각적 개체 누락, 시간적 정합성 부족, 인과 추론 실패) 을 규명했습니다.
   • 모델 크기 확대가 항상 성능 향상을 보장하지 않음을 입증했습니다.
   • HD-Guard 가 기존 모델 대비 지연 시간과 안전성 간의 트레이드오프를 획기적으로 개선함을 보였습니다.

4. 실험 결과 (Results)

• VLM 성능 평가:
  • 오픈소스 모델 (InternVL3.5-8B 등) 이 일부 폐쇄형 모델 (GPT-5.1 등) 보다 위험 탐지 민감도에서 더 좋은 성능을 보였습니다.
  • 상위 모델들은 '과도한 반응 (Over-reaction)' (잘못된 조기 경고) 문제가 심각하여 실제 배포에 부적합함이 드러났습니다.
  • 모델 크기만 늘리는 것은 성능 향상을 보장하지 않으며, 소형 모델이 특정 지표에서 더 나쁜 성능을 보이기도 했습니다.
• HD-Guard 성능:
  • 지연 - 안전성 트레이드오프: HD-Guard 는 단일 모델 대비 지연 시간은 유지하면서 안전 점수 (WSS) 를 38% 향상시켰습니다. (예: Qwen3-Omni 대비 2 배 빠른 속도와 더 높은 안전 점수).
  • 오류 분석:
    • 시각적 누락: FastBrain 을 통해 고빈도 동적 위험 (D1/D2) 에서 시각적 개체 누락을 30.4% 에서 0.5% 로 대폭 감소시켰습니다.
    • 추론 결손: SlowBrain 을 통해 정적 잠재 위험 (D3) 에서 추론 결손률을 0% 로 낮추었습니다.
    • 거짓 경보: HD-Guard 는 25.1% 의 낮은 거짓 경보율을 유지하여 실용성을 입증했습니다.
• 샘플링 주파수 분석: 5 FPS 가 최적의 균형점임을 확인했습니다. 10 FPS 로 증가하면 중복 정보로 인해 성능이 오히려 저하되는 현상이 관찰되었습니다.

5. 의의 및 결론 (Significance)

• 실제 배포 가능성: 가정용 로봇의 안전성을 보장하기 위해, 단순한 모델 크기 확대가 아닌 계층적 아키텍처 (Dual-Brain) 를 통한 효율적인 실시간 감지 시스템의 필요성을 강조합니다.
• 표준화된 평가: 가정 환경의 복잡하고 동적인 위험을 체계적으로 평가할 수 있는 HomeSafe-Bench는 향후 embodied AI 안전 연구의 기준이 될 것입니다.
• 한계와 향후 방향: 현재 HD-Guard 는 긴 시간적 맥락 (long-context) 을 추적하는 데 한계가 있어, 과거 프레임의 정보를 활용한 더 정교한 위험 예측이 필요함을 지적했습니다.

이 논문은 embodied agent 가 가정이라는 복잡하고 예측 불가능한 환경에 안전하게 통합되기 위해서는 고정밀한 위험 감지 벤치마크와 지연과 정확성을 동시에 만족하는 효율적인 아키텍처가 필수적임을 강력하게 주장합니다.