💬 NLP

HomeSafeBench: A Benchmark for Embodied Vision-Language Models in Free-Exploration Home Safety Inspection

이 논문은 체화된 에이전트(embodied agents)가 1인칭 시점을 통해 자유 탐색형 가정 안전 점검을 수행하기 위한 최초의 벤치마크인 HomeSafeBench를 소개하고, 위험 탐지의 시간적 구조를 활용하여 AI와 인간 검사관 사이의 격차를 줄임으로써 시각-언어 모델(Vision-Language Model)의 성능을 크게 향상시키는 데이터 구축 방법론인 CueBack을 제안한다.

원저자: Jiashu Yao, Haoyu Wen, Siyuan Gao, Yuhang Guo, Zeming Liu, Heyan Huang

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiashu Yao, Haoyu Wen, Siyuan Gao, Yuhang Guo, Zeming Liu, Heyan Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 세상이 보이는 눈을 통해 세상을 보고 당신에게 그것에 대해 이야기할 수 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 이것이 바로 **임보디드 AI(Embodied AI)**의 세계입니다. 여기서 컴퓨터는 단순히 화면 속에 앉아 있는 것이 아니라, 3D 세계를 돌아다니고, 무언가를 바라보고, 결정을 내릴 수 있는 '몸을 가진' 에이전트가 됩니다. 마치 배낭을 메고 퍼즐을 풀거나 잃어버린 물건을 찾기 위해 준비된 디지털 탐험가처럼 말이죠. 하지만 여기에는 함정이 있습니다. 이 로봇들은 오직 자신의 "얼굴"(이를 **에고센트릭 뷰(egocentric view)**라고 부릅니다) 바로 앞에 있는 것들만 볼 수 있습니다. 소파 뒤나 카펫 아래를 보려면 직접 그곳으로 걸어가서 직접 봐야만 합니다. 이 때문에 이들은 지시를 따르는 데는 뛰어나지만, 주도적인 탐정 역할을 하기에는 서툽니다.

이제 이 로봇이 당신의 집을 위한 안전 검사관이 된다고 상상해 보세요. 이 로봇의 임무는 집 안을 돌아다니며 조리대 위에 놓인 칼이나 사람이 걸려 넘어질 수 있는 카펫처럼 위험한 것들을 포착하고, 사고가 나기 전에 당신에게 알려주는 것입니다. 이는 매우 중요한 일인데, 대부분의 가정 내 사고는 우리가 명백한 위험을 보는 것을 잊었을 때 발생하기 때문입니다. 연구자들이 던지는 큰 질문은 이것입니다. 이 AI 탐험가들이 실제로 이 일을 해낼 수 있을까요, 아니면 너무 서투르고 눈이 멀어 위험을 감지하지 못할까요?

논문: HomeSafeBench와 "CueBack" 기법

이 논문의 연구자들은 정확히 이 점을 테스트하기 위해 거대한 디지털 장애물 코스를 구축하기로 했습니다. 그들은 HomeSafeBench라는 벤치마크(표준 테스트)를 만들었습니다. 이 벤치마크에서 AI 에이전트는 인간이 하는 것처럼 3D 홈 시뮬레이션 속을 자유롭게 탐색하며, 곳을 둘러보고 방 사이를 이동해야 합니다. 목표는 무엇일까요? 다섯 가지 특정 유형의 위험 요소를 찾는 것입니다: 화재 위험(가스레인지 근처의 종이 등), 감전 위험(싱크대 안의 토스터기 등), 낙하 위험(높은 선반 위의 무거운 상자 등), 걸림/미끄러짐 위험(바닥의 바나나 껍질 등), 그리고 아동 안전 위험(아이의 손이 닿는 곳의 날카로운 칼 등)입니다.

그들은 각각 하나에서 다섯 개의 숨겨진 위험 요소를 포함한 1,000개의 서로 다른 시나리오를 구축하고, 세계 최고의 AI 모델들에게 이를 찾아내라고 요청했습니다. 결과는 현실을 직시하게 해주었습니다. 이러한 종류의 테스트에서 보통 우수한 성적을 거두는 가장 똑똑한 상용 AI 모델들조차 매우 고전했습니다. 가장 뛰어난 모델이 발견한 위험 요소는 약 34.7%(F1 점수로 측정)에 불과했습니다. 반면, 인간 검사관은 **98.0%**를 찾아냈습니다.

이상한 점은 AI가 단순히 무작위로 "놓친" 것이 아니라는 점입니다. AI는 지나치게 신중했습니다. 즉, 무언가 위험하다고 말했을 때는 대개 맞았지만(높은 정밀도), 그 외의 거의 모든 것을 놓쳤습니다(낮은 재현율). 이는 건물이 이미 불타고 있을 때만 "불이야!"라고 비명을 지르고, 테이블 위의 타오르는 양초는 무시하는 보안 요원과 같았습니다. AI는 가장 명백하고 눈에 띄는 위험 요소만을 포착했을 뿐, 떨어지거나 아이를 다치게 할 수 있는 조용하고 은밀한 위험 요소들은 무시했습니다.

해결책: "CueBack"

연구자들은 로봇을 시뮬레이터 안에서 계속 걷게 하며 반복적으로 학습시키는 방식이 너무 느리고 비용이 많이 든다는 것을 깨달았습니다. 대신, 그들은 CueBack이라는 영리하고 저비용의 트릭을 고안해 냈습니다.

이렇게 생각해 보세요. 당신이 범죄를 해결하는 탐정의 영상을 보고 있다고 상상해 봅시다. 영상 속에서 탐정은 방으로 들어가 진흙 묻은 발자국(단서)을 발견하고, 그 후 용의자가 그곳에 있었는지 확인하기 위해 창가로 걸어갑니다. 만약 당신이 탐정에게 최종적인 정답("용의자는 창가에 있었다!")만을 보여준다면, 그들은 애초에 어떻게 단서를 찾아내야 하는지 배우지 못할 것입니다.

CueBack 방식은 인간(또는 매우 똑똑한 스승)이 이미 위험 요소의 위치를 알고 있는 "완벽한" 경로를 살펴봅니다. 그런 다음, 위험 요소가 먼 거리에서도 처음으로 보이기 시작한 바로 그 순간으로 영상을 되감습니다. 그리고 AI에게 이렇게 말합니다. "이봐, 네가 확실히 알기 전에는 그냥 탐색 중이었지만, 바로 이 지점에서 힌트를 봤어. 이 지점부터는 그것을 확인하기 위해 더 자세히 살펴봐야 해."

AI에게 "확인" 단계 이전에 "단서"를 인식하도록 가르침으로써, 연구자들은 값비싼 시뮬레이션을 실행하지 않고도 새로운 학습 데이터 세트를 만들어냈습니다. 그들은 작고 오픈 소스인 AI 모델(Qwen3-VL-4B)을 가져와 이 새로운 방식으로 학습시켰습니다.

결과

결과는 놀라울 정도로 좋았습니다. 이 "CueBack" 학습을 거친 후, 이 작은 AI 모델의 성능은 약했던 **18.7%**에서 강력한 **45.3%**로 급증했습니다. 이는 이 작고 무료인 모델이 가장 비싼 폐쇄형 상용 모델(34.7%에 불과했던)보다 집 안의 위험을 더 잘 찾아내게 되었다는 점에서 매우 큰 의미가 있습니다.

이 연구는 주요 문제가 AI가 움직이거나 보는 능력이 부족해서가 아니라, 미묘한 위험을 어떻게 찾아야 하는지를 몰랐던 것이라는 점을 시사합니다. 초기 힌트를 포착하고 조사하는 법을 가르침으로써, 연구자들은 좋은 홈 안전 검사관을 만들기 위해 슈퍼컴퓨터가 필요한 것이 아니라, 주의를 기울이는 올바른 방법을 가르치는 것이 중요하다는 것을 보여주었습니다. 팀은 누구나 더 나은 안전 로봇을 만들 수 있도록 이 테스트와 학습 데이터, 그리고 코드를 공개했습니다.

기술 요약: HomeSafeBench 및 CueBack

문제 정의

가연성 물체가 열원 근처에 있거나 날카로운 도구가 아이의 손이 닿는 곳에 있는 것과 같은 가정 내 안전 위험 요소는 예방 가능한 가사 부상의 주요 원인입니다. 최근의 시각-언어 모델(VLM)은 Embodied Agent(체화된 에이전트)가 탐색 및 시각적 탐사를 수행할 수 있도록 지원하며 내비게이션 등의 작업을 가능하게 했지만, 자동화된 가정 안전 점검을 구현하는 것은 여전히 큰 과제로 남아 있습니다. 기존의 가구 안전 벤치마크들은 장면을 텍스트로 추상화하여(시각적 단서를 버림) 혹은 에이전트를 고정된 시점으로 제한함으로써, 실제 세계의 점검이 갖는 본질적인 능동적 특성을 포착하지 못합니다. 실제로 점검자는 부분적으로 관찰 가능한 3D 환경을 탐색하고, 시점을 조정하며, 오직 1인칭 시점의 시각적 피드백만을 바탕으로 미지의 위험 요소를 식별해야 합니다.

현재의 최첨단 VLM들은 이 작업에서 체계적인 결함을 보이며 위험 인식 능력에 어려움을 겪고 있습니다. 평가 결과, 가장 우수한 모델조차 인간 점검자의 98.0%와 비교했을 때 약 34.7%의 F1 점수를 기록했습니다. 특히 위험 요소를 과소 보고하는 경별향(낮은 재현율, low recall)을 보이면서도 높은 정밀도(high precision)를 유지하는 특징이 나타났습니다. 이는 모델들이 낙하물이나 아동 안전과 같은 미세한 위험 요소를 간과하고 있음을 시사합니다.

방법론

1. HomeSafeBench 벤치마크

저자들은 1인칭 시각적 피드백을 통한 자유 탐색형 가정 안전 점검을 위한 최초의 벤치마크인 HomeSafeBench를 소개합니다.

환경: VirtualHome 시뮬레이터를 기반으로 구축되었으며, 에이전트에게 완전히 상호작용 가능한 3D 홈 환경을 제공합니다.
작업: 에이전트는 렌더링된 1인칭 뷰만을 사용하여 탐색하고, 시점을 조정하며, 위험 요소를 보고해야 합니다.
범위: 화재(Fire), 감전(Electric Shock), 낙하물(Falling Object), 걸림(Trip), 아동 안전(Child Safety)의 5가지 위험 카테고리를 다룹니다.
규모: 1,000개의 인간 검증 점검 작업과 3,000개의 위험 사례(작업당 1~5개)를 포함합니다.
구축: 위험 위치 및 객체 속성에 대한 인간의 주석 달기, 규칙 기반의 단일 위험 생성, 시각적 명확성 및 의미적 유효성을 위한 VLM 기반 필터링, 데이터 수준의 작업 구성을 포함하는 4단계 파이프라인을 거칩니다.
평형: 위험 수준의 매칭(카테고리 및 객체 인스턴스 일치 필요)을 위해 VLM 판독기를 사용하여 정밀도(Precision), 재현율(Recall), F1 점수를 계산합니다.

2. CueBack: 오프라인 데이터 구축

무거운 Unity 기반 시뮬레이터에서의 비용이 많이 드는 온라인 강화 학습 문제를 해결하기 위해, 저자들은 가볍고 시뮬레이터가 필요 없는 오프라인 데이터 구축 방법인 CueBack을 제안합니다.

핵심 통찰: 점검은 "단서가 확인에 앞선다(clue-precedes-confirmation)"는 구조를 따릅니다. 위험 요소는 종종 가까이서 확인되기 전, 멀리서부터 힌트(시각적 단서)를 제공합니다.
프로세스:
1. 궤적 생성(Trajectory Generation): 저자들은 특권적 행동 궤적(에이전트가 위험 위치를 알고 있는 상태)을 생성하고, 방 단위의 방향성 관측 그래프를 사용하여 실행 가능한 내비게이션 경로를 합성합니다.
2. 분기점 식별(Split-Point Identification): 각 위험 요소에 대해, 궤적을 역추적하여 에이전트에게 위험 단서가 처음으로 보이는 가장 이른 프레임( $k_h$ )을 식별합니다.
3. 추론 재작성(Reasoning Rewriting): 감독 신호를 이 시간적 구조에 맞게 재작성합니다:
  - $k_h$ 이전 (탐색 단계): 추론은 특정 위험 요소를 명시하지 않고, 광범위한 커버리지나 고위험 영역 탐색으로서의 내비게이션을 정당화합니다.
  - $k_h$ 이후 (확인 단계): 추론은 보이는 단서를 인정하고, 위험을 가설로 세우며, 확인을 위해 접근하는 것을 정당화합니다.
  - 보고: 시각적 증거가 충분할 때만 보고합니다.
목표: 이는 "특권 정보 누출(privileged information leakage)"을 방지하여, 모델이 궤적을 암기하는 것이 아니라 관찰로부터 위험을 인식하도록 학습하게 합니다.

주요 기여

HomeSafeBench: 인간의 검증을 거친 5가지 위험 카테고리와 1,000개의 작업을 특징으로 하는, 자유 탐색형 가정 안전 점검을 위한 최초의 벤치마크입니다.
포괄적 평가: 상용 및 오픈 소스 VLM에 대한 체계적인 분석을 통해, 인간과의 큰 성능 격차와 위험 요소를 과소 보고하는 체계적인 경향을 밝혀냈습니다.
CueBack 방법론: "단서가 확인에 앞선다"는 구조를 활용하는 새로운 오프라인 데이터 구축 기술입니다. 이를 통해 작은 4B 파라미터 규모의 오픈 소스 모델이 분포 외(out-of-distribution) 작업에서 선도적인 폐쇄형 모델을 능가할 수 있게 합니다.
공개 배포: 벤치마크, 훈련 데이터셋 및 코드가 공개되어 있습니다.

실험 결과

저자들은 HomeSafeBench에서 광범위한 모델들을 평가했습니다:

베이스라인 성능: 가장 우수한 폐쇄형 모델(Doubao-Seed-2.0-Pro)은 **34.7%**의 F1을 기록한 반면, 가장 우수한 오픈 소스 모델(Qwen3-VL-4B)은 **18.7%**를 기록했습니다. 인간의 성능은 **98.0%**였습니다.
체계적 실패: 모든 모델에서 정밀도가 재현율보다 현저히 높았습니다(예: GLM-5V-Turbo의 경우 58.9 대 17.8). 이는 모델들이 명백한 사례(예: 걸림 위험)는 포착하지만, 미세한 사례(낙하물, 아동 안전 등)는 놓치고 있음을 나타냅니다.
CueBack 성능: CueBack으로 구축된 데이터로 Qwen3-VL-4B 모델을 미세 조정했을 때, 분포 외 테스트 세트에서의 평균 F1이 18.7%에서 45.3%로 상승했습니다.
- 이 결과는 가장 강력한 폐쇄형 모델(34.7%)을 상당한 차이(+10.6%)로 능가합니다.
- 또한 SFT-Action(37.8%), SFT-Both(39.3%)와 같은 다른 베이스라인보다 높은 성능을 보여, "단서가 확인에 앞선다"는 추론 구조의 효용성을 입증했습니다.
- 이 방법은 아동 안전(F1 16.6% $\rightarrow$ 31.4%) 및 감전(27.6% $\rightarrow$ 39.7%)과 같이 가장 어려운 카테고리에서 상당한 이득을 보였습니다.

의의

본 논문은 현재의 Embodied AI가 직면한 핵심 병목 현상이 내비게이션 능력의 부족이 아니라, 특화된 위험 인식 능력의 부족임을 밝혀냈습니다. 이 연구의 의의는 시뮬레이터가 필요 없는 오프라인 데이터 구축이 작은 오픈 소스 모델과 대규모 상용 시스템 사이의 격차를 효과적으로 좁힐 수 있음을 보여준 데 있습니다. 점검의 자연스러운 시간적 구조(확인 전의 단서)를 활용함으로써, CueBack은 에이전트가 온라인 강화 학습의 계산 비용 없이도 위험 인지 능력을 학습할 수 있게 하며, 고성능 가정 안전 점검을 더욱 용이하게 만들고 배포 가능하게 합니다.