기술 요약: EMBGUARD

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 체화된 에이전트(embodied agents)가 물리적 환경에서 복잡한 과업을 수행할 수 있도록 지원해 왔습니다. 그러나 실제 환경에는 물리적 위험 요소가 존재하며, 아주 작은 실행 오류만으로도 치명적인 결과로 이어질 수 있습니다. 기존 방식들은 안전 책임을 전적으로 에이전트의 정책(policy)에 위임하는 경우가 많으며, 이는 두 가지 주요 실패 모드로 나타납니다. 즉, 에이전트가 과업 완수에만 집중하느라 위험한 상호작용을 놓치거나, 반대로 위험을 과도하게 식별하여 안전한 행동까지 불필요하게 제한하는 현상이 발생합니다. 또한, 현재의 안전 메커니즘은 단순히 정적인 위험 물체를 식별하는 것을 넘어, 특정 행동이 어떻게 장면 내의 위험 요소와 상호작용하여 위험을 생성하는지에 대한 명시적인 추론 능력이 부족합니다.

방법론

1. EMBGUARD: 안전 가드레일

저자들은 체화된 에이전트를 위해 특별히 설계된 최초의 MLLM 기반 안전 가드레일인 EMBGUARD를 제안합니다. 과업 수행과 안전을 동시에 처리하려는 단일 구조의 정책(monolithic policy)과 달리, EMBGUARD는 물리적 위험 추론을 에이전트의 정책으로부터 분리합니다.

• 과업 정식화: 시각적 관찰($I$)과 후보 행동($a$)이 주어졌을 때, EMBGUARD는 매핑 $R: (I, a) \rightarrow (r_{bin}, r_{type}, h)$로 기능합니다.
  • $r_{bin}$: 행동이 위험을 초래하는지 여부를 나타내는 이진 라벨.
  • $r_{type}$: 특정 위험 범주 (예: 화재, 전기).
  • $h$: 위험한 구성 상태에 대한 자연어 설명.
• 아키텍처: 이 모델은 Qwen-3-VL 백본을 기반으로 구축되었으며, 2B 및 4B 파라미터를 사용합니다. 모델은 EMBHAZARD 데이터셋을 통해 지도 미세 조정(supervised fine-tuning)을 거쳐 학습되었습니다. 결정적으로, 학습 과정에서 비전 인코더(vision encoder)를 동결(frozen)하여 시각적 이해 능력은 유지하면서 추론 능력을 적응시켰는데, 이는 비전 인코더를 학습시킬 경우 모델의 위험 설명 능력이 저하된다는 예비 실험 결과에 따른 것입니다.

2. 데이터셋 구축: EMBHAZARD 및 EMBGUARDTEST

EMBGUARD를 학습시키고 평가하기 위해 저자들은 두 가지 새로운 데이터셋을 구축했습니다.

• EMBHAZARD (학습 세트): 2.4K 개의 시드 시나리오에서 유도되어 구성적 변형(compositional variation)을 통해 17K 개로 확장된 15.1K 개의 행동 조건부 쌍(action-conditioned pairs) 데이터셋입니다.

  • 위험 분류 체계: WHO ICD-11 및 CPSC NEISS 데이터베이스를 기반으로 7가지 물리적 위험 범주를 정의했습니다: 화재(Fire), 전기(Electrical), 미끄러짐/걸려 넘어짐/떨어짐(Slip/Trip/Fall), 베임/날카로움(Cut/Sharp), 끼임/눌림(Crush/Pinch), 오염/감염(Contamination/Infection), 화학/독성 노출(Chemical/Toxic Exposure).
  • 구성적 변형: 견고성을 보장하기 위해 씬 그래프(scene graphs)를 사용하여 시나리오를 다양화했습니다. 저자들은 다음 네 가지 변환을 적용합니다:
    1. 장면 증강(Scene Augmentation): 비핵심 객체 추가.
    2. 위험 추가(Hazard Addition): 다수의 위험 요소 도입.
    3. 행동 수정(Action Modification): 행동을 안전한 대안으로 변경 (Decoupled Benign).
    4. 위험 제거(Hazard Removal): 위험 요소를 제거하여 행동을 안전하게 만듦 (Absent Benign).
  • 이미지 생성: 씬 그래프 설명을 바탕으로 gemini-3-pro-image-preview를 사용하여 사실적인 이미지를 생성했습니다. VQA 기반 필터링 프로세스를 통해 생성된 이미지에 핵심적인 위험 관계가 보존되었는지 검증했습니다.

• EMBGUARDTEST (평가 세트): 모든 위험 범주와 네 가지 구성적 유형을 아우르는 329개의 실제 시나리오로 구성된 수동 큐레이션 벤치마크입니다. 학습 세트와의 중복을 방지하기 위해 독립적으로 구축되었습니다.

3. 평가 프로토콜

• 정적 평가: 모델은 EMBGUARDTEST와 EMBHAZARD의 홀드아웃 세트(Held-out Set)를 대상으로 세 가지 지표를 사용하여 평가됩니다: 잠재적 위험 정확도(이진), 위험 유형 정확도, 그리고 위험 설명 정확도(LLM-as-a-Judge 및 인간 정렬 검증을 통해 평가).
• 상호작용 계획 평가: 가드레일은 IS-Bench 시뮬레이터 내에 배포됩니다. 에이전트는 행동을 실행하기 전에 가드레일의 피드백(위험 평가, 유형 및 위험 설명)을 받습니다. 시스템은 에이전트가 위험을 올바르게 식별하고 적절한 완화 행동(예: 상호작용 전 위험 요소를 먼저 이동시키는 것)을 선택하는지 측정합니다.

주요 결과

• 모델 크기 대비 성능: GPT-5.1이나 Gemini-2.5-Pro와 같은 대규모 독점 모델보다 훨씬 작음에도 불구하고(2B 및 4B 파라미터), EMBGUARD는 경쟁력 있는 성능을 보여줍니다. 홀드아웃 세트에서 EMBGUARD-4B는 71.2%의 잠재적 위험 정확도를 달 기록하며, 이는 더 큰 모델들과 대등한 수준입니다.
• 효율성: EMBGUARD는 높은 추론 효율성(RTX 6000 Ada 기준 2B는 0.535s/sample, 4B는 0.719s/sample)을 입증하여 실시간 배포에 적합함을 보여줍니다.
• 편향 완화: 범용 MLLM은 강한 "과도한 보수성 편향(over-conservative bias)"을 보이며, 안전한 시나리오를 위험한 것으로 오분류하는 경우가 빈번합니다(예: Gemini-2.5-Pro는 안전한 시나리오의 83.3%를 위험하다고 오분류함). EMBGUARD는 이러한 오탐률(false-positive rate)을 크게 줄여 에이전트가 안전한 행동을 계속 진행할 수 있게 합니다.
• 위험 유형 민감도: 범용 모델들은 인과적 또는 시간적 위험(예: 끼임, 화학적 위험)을 파악하는 데 어려움을 겪는 반면, EMBGUARD는 특화된 학습 덕분에 위험 유형 전반에 걸쳐 균형 잡힌 예측을 보여줍니다.
• 계획에 미치는 영향: 상호작용 계획에서 가드레일의 정확한 위험 식별은 매우 중요합니다. 가드레일이 올바른 위험 유형과 위험 설명을 제공할 때, 정책 모델은 정답 완화 전략과 90.4%의 일치도를 보입니다. 만약 두 구성 요소 중 하나라도 틀릴 경우 이 수치는 급격히 떨어집니다.

의의 및 주장

본 논문은 EMBGUARD가 거대하고 단일한 정책에 의존하는 방식에서 벗어나, 모듈화되고 특화된 추론 구성 요소를 사용하는 방식으로의 전환을 나타낸다고 주장합니다. 저자들의 논지는 다음과 같습니다:

1. 분리가 효과적임: 안전 추론을 과업 수행으로부터 분리함으로써, 소규모 모델도 훨씬 큰 독점 모델에 필적하는 안전 성능을 달축할 수 있습니다.
2. 세밀한 추론이 필수적임: 단순히 "위험"을 감지하는 것만으로는 불충분하며, 구체적인 위험 요소와 유형을 식별하는 것이 에이전트가 적절한 완화 행동을 선택하는 데 결정적입니다.
3. 합성 데이터의 생존 가능성: 합성 데이터(홀드아웃 세트)와 실제 데이터(EMBGUARDTEST) 간의 강력한 상관관계는 구성적 시나리오 생성이 확장 가능한 안전 가드레일 개발을 위한 실행 가능한 경로임을 시사합니다.

저자들은 시각적 입력이 모든 위험을 완전히 포착한다는 가정(폐쇄/가려짐 무시)과 현재 텍스트 수준의 행동에 집중하고 있어 연속 제어 정책(continuous-control policies)을 다루지 못한다는 점 등 한계점을 인정합니다. 그들은 이 접근 방식이 시뮬레이션에서는 유망한 결과를 보여주었으나, 실제 로봇 배포를 위해서는 추가적인 검증이 필요함을 강조합니다.