SafetyALFRED: Evaluating Safety-Conscious Planning of Multimodal Large Language Models

1. 문제 정의 (Problem Definition)

최근 멀티모달 대규모 언어 모델 (MLLM) 이 가상 및 물리적 환경에서 자율 에이전트로 널리 채택되고 있습니다. 그러나 이러한 모델이 고수준의 자연어 지시를 실행 가능한 계획으로 변환할 때, 물리적 안전 위험 (Safety Hazards) 을 사전에 식별하고 적극적으로 완화 (Mitigate) 할 수 있는 능력은 여전히 부족합니다.

기존의 안전 평가 벤치마크 (ASIMOV, MM-SafetyBench 등) 는 주로 정적 이미지나 비디오를 기반으로 한 질문 응답 (QA) 과제에 집중하여 모델이 위험을 '인지'하는지 여부를 평가했습니다. 하지만 실제 로봇 에이전트의 경우, 위험을 인지하는 것을 넘어 동적 환경에서 위험을 제거하거나 회피하는 구체적인 행동 계획 (Embodied Planning) 을 수립하는 것이 필수적입니다.

이 논문은 **정적인 위험 인식 (QA) 과 동적인 위험 완화 (Embodied Task) 사이의 큰 격차 (Alignment Gap)**를 규명하고, 이를 해결하기 위한 새로운 평가 프레임워크를 제시합니다.

2. 방법론 (Methodology)

2.1 SafetyALFRED 벤치마크

저자들은 기존 embodied agent 벤치마크인 ALFRED를 확장하여 SafetyALFRED를 구축했습니다.

• 환경: AI2-THOR 시뮬레이터 내 30 개의 주방 환경 사용.
• 위험 카테고리: 실제 주방에서 발생할 수 있는 6 가지 주요 위험을 정의했습니다.
  1. 가전제품 오용 (Appliance Misuse): 전자레인지에 금속/인화성 물체 투입.
  2. 부패 (Spoilage): 냉장고 문 개방으로 인한 음식물 부패.
  3. 넘어짐/미끄러짐 (Fall/Trip Hazard): 캐비닛 문 개방 등.
  4. 화재 위험 (Fire Hazard): 스토브 점화 상태 유지.
  5. 재산 피해 (Property Damage): 싱크대에 물에 민감한 물체 (휴대폰 등) 방치.
  6. 위생 문제 (Unsanitary): 더러운 바닥에 물체 방치.
• 데이터: 각 위험 상황을 시나리오에 주입하고, 이를 해결하면서 과업을 수행하는 정답 (Ground Truth) 궤적을 생성했습니다.

2.2 평가 설정

11 개의 최신 MLM (Qwen, Gemma, Gemini 계열) 을 대상으로 두 가지 설정에서 실험을 수행했습니다.

1. QA 설정 (위험 인식): 정적 장면과 작업 맥락을 제공하여 모델이 위험이 존재하는지 판단하도록 요청 (Abstract Safety Knowledge 평가).
2. Embodied 설정 (위험 완화): 에이전트가 가정용 과업을 수행하면서 encountered 한 위험을 즉시 식별하고 제거하는 행동을 계획하도록 요청 (Active Safety Mitigation 평가).
   • 관측 공간: 비전 전용 (Vision-only) 과 메타데이터 보강 (Metadata-augmented, 객체 상태 텍스트 설명 포함) 두 가지 모드로 구분하여 지각 (Perception) 과 추론 (Reasoning) 의 한계를 분리 분석했습니다.

2.3 평가 지표

• Hazard Detection Accuracy (AccQA): QA 과제에서 위험을 정확히 식별한 비율.
• Mitigation Success Rate (MSR): 위험 상황에서 올바른 교정 행동 (예: 금속 제거, 문 닫기) 을 수행한 비율.
• Safety Alignment Rate (A): QA 에서 위험을 인지한 경우, Embodied 태스크에서도 실제로 그 위험을 완화했는지의 일치도.

3. 주요 결과 (Key Results)

3.1 인식과 행동 간의 심각한 불일치 (Alignment Gap)

• 높은 인식률: 모델들은 QA 설정에서 위험을 매우 정확하게 식별했습니다 (평균 정확도 최대 92%). 특히 화재 위험이나 위생 문제 등은 높은 성능을 보였습니다.
• 낮은 완화 성공률: 동일한 모델들이 embodied 태스크에서 위험을 완화하는 성공률은 현저히 낮았습니다 (평균 60% 미만, 메타데이터가 있더라도).
• 결론: 모델이 "위험이 있다"고 말은 하지만, 실제 행동 계획에서는 그 위험을 무시하고 원래 과업 (예: 버터 나이프 씻기) 을 수행하려는 경향이 강했습니다.

3.2 지각의 한계와 메타데이터의 영향

• 비전 전용 (Vision-only): 모델들은 시각적 입력만으로는 복잡한 위험 (예: 싱크대 속의 휴대폰, 전자레인지 속의 금속) 을 식별하는 데 어려움을 겪었습니다.
• 메타데이터 보강: 텍스트 기반의 상태 설명 (메타데이터) 을 제공하면 위험 인식률은 크게 향상되었으나, 행동 계획 (Mitigation) 성공률은 여전히 낮았습니다. 이는 문제가 지각 (Perception) 에만 있는 것이 아니라, 안전 지식을 행동으로 전환하는 계획 (Planning) 단계의 결함임을 시사합니다.

3.3 과업 완우 vs 안전 우선

• 모델들은 위험이 존재할지라도 과업 완성을 최우선으로 생각하는 경향이 있었습니다.
• 안전과 과업 성공 간의 트레이드오프가 관찰되었으며, 많은 모델이 "안전하지만 과업 실패" 또는 "위험하고 과업 실패"의 경로를 선택했습니다.

3.4 멀티에이전트 프레임워크의 효과

• 위험 인식 (Safety Judge) 과 행동 수행 (Embodied Agent) 을 분리한 멀티에이전트 구조를 도입한 결과, 일부 모델 (예: Qwen 3 VL 32B) 의 위험 완화 성능이 크게 향상되었습니다 (0.7% → 71.1%).
• 이는 모델이 본질적으로 위험 완화 능력을 가지고 있으나, 단일 에이전트 구조에서는 과업 수행에 대한 주의 집중이 안전 모니터링을 방해한다는 것을 의미합니다.

4. 주요 기여 (Key Contributions)

1. SafetyALFRED 벤치마크 출시: embodied 환경에서의 안전 인식과 완화 능력을 동시에 평가하는 최초의 대규모 벤치마크를 공개했습니다.
2. 정적 평가의 한계 규명: 기존 QA 기반 안전 평가가 실제 물리적 안전을 보장하지 못함을 실증적으로 증명했습니다. 모델이 위험을 '아는' 것과 '행동하는' 것 사이에는 큰 차이가 존재합니다.
3. 새로운 평가 패러다임 제안: 단순한 위험 식별을 넘어, 교정 행동 (Corrective Actions) 을 수행하는 능력을 평가하는 것이 embodied AI 안전 연구의 핵심임을 강조했습니다.
4. 오픈소스: 코드와 데이터셋을 공개하여 향후 연구의 기반을 마련했습니다.

5. 의의 및 시사점 (Significance)

이 연구는 MLLM 기반 로봇이 실제 가정 환경에 배포되기 전에 해결해야 할 가장 중요한 안전 문제를 지적합니다.

• 안전 인식의 허상: 높은 QA 점수가 실제 로봇의 안전성을 보장하지 못함을 보여주며, 향후 안전 평가는 반드시 embodied 시나리오에서 수행되어야 함을 강조합니다.
• 계획 및 추론의 개선 필요: 모델이 위험을 인지하더라도 이를 행동으로 연결하지 못하는 '계획 (Planning)' 단계의 결함을 해결하기 위한 새로운 학습 방법론 (예: 안전 우선 강화학습, 멀티에이전트 협업) 이 필요함을 시사합니다.
• 실제 적용 가능성: 시뮬레이션 환경의 한계를 인정하면서도, 실제 로봇 하드웨어에 탑재 가능한 경량 모델의 안전성 확보를 위한 데이터와 평가 방법론의 중요성을 역설합니다.

요약하자면, SafetyALFRED는 MLLM 이 "위험을 알고 있다"는 것을 넘어 "위험을 피하며 행동한다"는 것을 검증할 수 있는 필수적인 도구이며, embodied AI 의 안전성 연구 방향을 정적 인식에서 동적 행동 계획으로 전환해야 함을 강력히 주장하는 논문입니다.