Contextual Safety Reasoning and Grounding for Open-World Robots

논문 개요: CORE (Contextual Safety Reasoning and Enforcement)

이 논문은 로봇이 사전 지식 (지도, 안전 규칙 등) 없이도 **미지의 환경 (Open-World)**에서 맥락에 따라 안전한 행동을 할 수 있도록 하는 새로운 안전 프레임워크 CORE를 제안합니다. 기존의 고정된 안전 제약 조건을 사용하는 방식의 한계를 극복하고, 비전 - 언어 모델 (VLM) 을 활용하여 실시간으로 상황을 추론하고 물리적 공간에 안전 영역을 정의하여 제어하는 시스템을 구축했습니다.

---

1. 문제 정의 (Problem Statement)

• 맥락적 안전의 중요성: 로봇이 가정, 사무실, 창고 등 복잡한 환경에서 작동할 때, 안전은 단순한 기하학적 장애물 회피를 넘어 의미론적 (Semantic) 맥락에 의존합니다. (예: "젖은 바닥" 표지판은 물리적 장애물이 아니지만 주변이 위험함을 의미함; "사람"은 사회적 거리가 필요한 존재임)
• 미지의 환경과 사전 지식의 부재: 오픈 월드 환경에서는 로봇이 encountering 하는 모든 상황 (위험 신호, 사회적 규범 등) 을 사전에 정의할 수 없습니다.
• 기존 방법의 한계:
  • 고정된 제약 조건: 사용자가 미리 정의한 안전 규칙 (예: "주방에 가지 마라") 은 환경이 변하거나 새로운 위험이 나타날 때 대응이 불가능합니다.
  • 기하학적 접근: 기존 안전 필터는 장애물의 물리적 위치만 고려할 뿐, "위험한 영역"이라는 의미적 맥락을 이해하지 못합니다.
  • 자연어 명령의 한계: 기존 연구는 사용자가 구체적인 안전 규칙을 자연어로 입력해야 하지만, 로봇 스스로 시각적 관찰을 통해 맥락을 추론하고 규칙을 생성하는 능력은 부족했습니다.

---

2. 방법론 (Methodology)

CORE 는 3 단계 프로세스로 구성되어 있으며, 비전 - 언어 모델 (VLM) 과 제어 배리어 함수 (CBF) 를 결합합니다.

A. 맥락적 안전 추론 (Contextual Safety Reasoning)

• VLM 활용: 로봇의 시각 관찰 (이미지) 을 입력받아 VLM 이 맥락에 따른 안전 제약 조건을 추론합니다.
• 구조화된 추론: VLM 이 단순히 텍스트를 생성하는 것이 아니라, **구조화된 안전 표현 (Structured Safety Representation)**을 출력하도록 프롬프트를 설계했습니다.
  • 공간 연산자 (Spatial Operators): ON(바닥 등 이동 가능 표면), NEAR(충돌 위험 물체), AROUND(위험 신호나 사회적 존중이 필요한 영역 주변), BETWEEN(장애물들이 만들어낸 금지 구역) 등의 연산자를 정의합니다.
  • Chain-of-Thought (CoT): VLM 이 안전 판단의 근거 (예: "젖은 바닥 표지판은 주변이 미끄러우므로 AROUND 연산자가 필요하다") 를 논리적으로 설명하도록 유도하여 정확도를 높입니다.
• 출력: 안전/위험 영역을 정의하는 논리적 명제 (Predicates) 와 그 근거를 JSON 형식으로 출력합니다.

B. 의미론적 그라운딩 (Semantic Grounding)

• 추론된 텍스트 규칙을 로봇이 제어할 수 있는 **물리적 공간의 안전 집합 (Safe Sets)**으로 변환합니다.
• 이미지 공간 안전 집합: 오픈 보카불러리 분할 모델 (Open-vocabulary segmentation, 예: SAM3) 을 사용하여 이미지에서 해당 객체 (예: 바닥, 장애물) 를 분할하고, VLM 이 지정한 연산자 (예: AROUND) 에 따라 픽셀 단위의 안전/위험 영역을 생성합니다.
• 물리적 공간 매핑: 깊이 정보 (Depth) 를 활용하여 이미지 공간의 안전 영역을 3D 포인트 클라우드 및 2D 그리드로 투영합니다.
• 확률적 안전 집합: 관측 불확실성을 고려하여 각 그리드 셀이 안전할 확률을 계산하고, 이를 임계값으로 처리하여 안전 집합 $S$를 정의합니다.

C. 안전 제어 실행 (Contextual Safety Enforcement)

• 제어 배리어 함수 (CBF): 정의된 안전 집합 $S$를 기반으로 CBF 를 구성하여 로봇의 제어 입력을 보정합니다.
• 최소 간섭 원리: 로봇의 기본 제어 입력 (Nominal Control) 을 최대한 유지하면서, 안전 제약 조건을 만족하도록 제어 입력을 최소화하여 수정합니다 (Quadratic Programming).
• 불확실성 하의 확률적 안전 보장: VLM 추론과 그라운딩 과정에서 발생하는 관측 오차를 고려하여, 로봇이 안전 집합을 벗어날 확률이 임계값 ($\delta$) 이하가 되도록 **확률적 안전 보장 (Probabilistic Safety Guarantees)**을 수학적으로 증명했습니다.

---

3. 주요 기여 (Key Contributions)

1. VLM 기반 추론 모듈: 사전 환경 지식 없이 시각 관찰만으로 맥락적 안전 제약 조건을 추론하는 모듈을 개발했습니다.
2. 의미론적 그라운딩 방법: 자연어 안전 규칙을 로봇이 실행 가능한 공간 정의 안전 집합으로 매핑하는 방법을 제시했습니다.
3. 확률적 안전 보장 CBF: 관측 불확실성 하에서도 안전성을 수학적으로 보장하는 제어 메커니즘을 제안했습니다.
4. 실험적 검증: 시뮬레이션 및 실제 로봇 (Boston Dynamics Spot) 실험을 통해, 기존 방법론보다 맥락적 안전을 훨씬 효과적으로 준수함을 입증했습니다.

---

4. 실험 결과 (Experimental Results)

• 실험 환경: NVIDIA Isaac Sim 시뮬레이션 (창고, 병원, 주거지) 및 Boston Dynamics Spot 로봇을 활용한 실제 실험.
• 비교 대상:
  • Oracle: 정답 (Ground Truth) 맥락을 미리 아는 이상적인 기준.
  • No Context: 온라인 추론 없이 사전 정의된 규칙만 사용하는 방법.
  • Geometric: 기하학적 장애물 회피만 수행하는 방법.
• 성능:
  • CORE: 안전한 작업에서 96.6%, 위험한 작업 (안전 위반 시도) 에서 **93.3%**의 성공률을 보였습니다. 이는 Oracle 과 유사한 성능이며, 기존 방법론보다 안전 위반을 약 5 배 더 효과적으로 방지했습니다.
  • No Context: 위험한 작업을 **16.6%**만 방지했습니다 (맥락 이해 실패).
  • Geometric: 모든 안전한 작업은 성공했으나, 맥락적 위험 (예: 콘으로 막힌 구역, 젖은 바닥) 을 전혀 인지하지 못해 **0%**의 방지율을 보였습니다.
• Ablation Study:
  • VLM 모델: Gemma 3 27B 모델이 정확도와 지연 시간 (Latency) 의 균형에서 가장 우수했습니다.
  • 구조화된 추론: 안전 논리 (Safety Logic) 와 Chain-of-Thought (CoT) 추론을 제거할 경우 정확도가 급격히 하락하여, 구조화된 추론의 중요성을 입증했습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 로봇이 미지의 환경에서 인간의 안전 규범과 환경적 맥락을 스스로 이해하고 적용할 수 있는 새로운 패러다임을 제시합니다.

• 오픈 월드 적응성: 사전에 모든 상황을 정의할 수 없는 실제 세계 (Open-World) 에서 로봇이 유연하게 안전을 유지할 수 있는 길을 열었습니다.
• AI 와 제어의 융합: 생성형 AI (VLM) 의 추론 능력을 전통적인 제어 이론 (CBF) 과 결합하여, AI 의 불확실성을 수학적으로 보정하고 안전성을 보장하는 체계적인 프레임워크를 제시했습니다.
• 실용성: 실제 로봇 (Spot) 에서 성공적으로 작동함을 증명하여, 향후 가정, 병원, 물류 센터 등 다양한 분야에서 맥락 인식형 안전 로봇의 상용화에 기여할 것으로 기대됩니다.

요약하자면, CORE 는 **"로봇이 눈으로 보고 (Vision), 생각하고 (VLM Reasoning), 물리적으로 행동 (Grounding & Control)"**하여 복잡한 현실 세계에서도 안전하게 작동할 수 있게 하는 핵심 기술입니다.