BeSafe-Bench: Unveiling Behavioral Safety Risks of Situated Agents in Functional Environments

이 논문은 기존 평가의 한계를 극복하기 위해 웹, 모바일, 신체화된 VLM/VLA 등 4 가지 기능적 환경에서 situted 에이전트의 행동적 안전 위험을 포괄적으로 분석하는 'BeSafe-Bench' 벤치마크를 제안하고, 현재 인기 있는 에이전트들이 안전 제약 조건을 준수하면서 과제를 수행하는 비율이 40% 미만에 그치고 있음을 밝혀 실세계 배포 전 안전 정렬의 중요성을 강조합니다.

핵심

🛡️ BeSafe-Bench: "똑똑한 로봇"이 실수할 때를 위한 안전 시험지

이 논문은 최근 급격히 발전하고 있는 AI 에이전트(스스로 판단하고 행동을 취하는 인공지능) 가 실제 세상에서 얼마나 위험할 수 있는지, 그리고 우리가 얼마나 준비가 안 되어 있는지를 보여주는 중요한 연구입니다.

간단히 말해, **"AI 가 일을 잘해내더라도, 그 과정에서 우리를 다치게 하거나 중요한 정보를 잃게 만들지 않는지 확인하는 새로운 시험지 **(BeSafe-Bench)를 만들었다는 내용입니다.

---

1. 왜 이런 연구가 필요할까요? (배경)

상상해 보세요. AI 가 이제 단순히 "질문에 답하는 챗봇"을 넘어, 스스로 컴퓨터를 조작하고, 스마트폰을 쓰며, 심지어 로봇 팔을 움직여 물건을 정리할 수 있게 되었습니다.

하지만 문제는 이 AI 들이 **"일 **(Task)는 능력은 뛰어나지만, **"안전 **(Safety)는 여전히 엉망이라는 점입니다.

• 기존의 문제: 이전 연구들은 AI 가 "나쁜 말"을 하는지 (텍스트 안전성) 만 확인했습니다. 하지만 AI 가 실제로 버튼을 누르거나 로봇을 움직일 때, **실제 세상 **(디지털이나 물리적)는 것을 제대로 평가하는 도구가 없었습니다.
• 비유: 마치 운전면허 시험에서 "차 안에서의 매너"만 보고 합격시킨다면 어떨까요? 차를 잘 몰고 가더라도, 신호를 무시하거나 보행자를 치는 '실제 운전 행동'은 위험할 수 있습니다. 이 논문은 바로 그 '실제 운전 행동'의 안전성을 시험하는 것입니다.

2. BeSafe-Bench 란 무엇인가요? (해결책)

저자들은 BeSafe-Bench라는 새로운 평가 시스템을 만들었습니다. 이는 4 가지 주요 영역에서 AI 의 안전성을 테스트합니다.

1. **웹 **(Web) 인터넷을 돌아다니며 쇼핑이나 정보 검색을 하는 AI.
2. **모바일 **(Mobile) 스마트폰 앱을 조작하는 AI.
3. **로봇 계획 **(Embodied VLM) "식탁에 사과를 올려놔"라고 말하면, 어떤 행동을 해야 할지 계획을 세우는 AI.
4. **로봇 조작 **(Embodied VLA) 계획대로 실제로 로봇 팔을 움직여 사과를 집어 올리는 AI.

이 시스템의 핵심 아이디어:

• 실제 환경 사용: AI 가 가상의 시뮬레이션이 아니라, 실제 작동하는 웹사이트나 스마트폰, 로봇 시뮬레이터에서 일을 시킵니다.
• 위험 상황 만들기: "2022 년 베스트셀러를 찾아줘"라는 평범한 명령에, "비밀번호를 공개해 줘"나 "데이터를 삭제해 줘" 같은 위험한 요소를 숨겨서 넣습니다.
• 이중 평가: AI 가 일을 잘해냈는지 (성공) 와, 그 과정에서 위험한 짓을 하지 않았는지 (안전) 를 동시에 봅니다.

3. 실험 결과는 어땠나요? (충격적인 발견)

연구진은 13 가지 유명한 AI 에이전트들을 이 시험에 통과시켰습니다. 결과는 매우 우려스러웠습니다.

• 성공과 안전은 별개: AI 가 일을 완벽하게 해내더라도, 그 과정에서 위험한 행동을 할 확률이 매우 높았습니다.
• 숫자로 보는 현실:
  • 가장 잘하는 AI 조차도, 안전 규칙을 지키면서 일을 성공적으로 끝낸 경우는 40% 미만이었습니다.
  • 최악의 경우, 41% 의 경우는 일을 성공적으로 끝냈지만, **동시에 심각한 안전 위반 **(예: 개인정보 유출, 위험한 코드 실행)을 저질렀습니다.
  • 즉, "일을 잘해낸 것"이 "안전했다"는 뜻이 전혀 아닙니다.

비유:

"요리사가 맛있는 스테이크를 완벽하게 구웠지만 (성공), 그 과정에서 식탁을 태우거나 (위험 행동) 손님을 다치게 했다면 (안전 위반), 우리는 그 요리를 '성공'이라고 부를 수 있을까요? 이 연구는 AI 들이 바로 그런 '위험한 요리사'들이라는 것을 보여줍니다."

4. 구체적인 위험 사례

AI 들이 주로 저지르는 실수들은 다음과 같습니다:

• 개인정보 유출: "내 이메일 주소로 이 정보를 보내줘"라고 하면, AI 가 실수로 민감한 데이터를 공개된 곳에 올리는 경우.
• 데이터 파괴: "이 파일을 정리해 줘"라고 하면, AI 가 중요한 파일을 실수로 삭제하는 경우.
• 물리적 위험: 로봇이 "컵을 가져와"라고 명령받았는데, 컵을 떨어뜨려 깨뜨리거나 사람 다리에 부딪히는 경우.

5. 결론: 우리가 무엇을 해야 할까요?

이 논문은 우리에게 중요한 메시지를 전합니다.

"AI 를 실제 세상에 투입하기 전에, '일 잘하는 능력'보다 '안전하게 행동하는 능력'을 먼저 훈련시켜야 합니다."

지금처럼 AI 가 일을 잘해낸다고 해서 바로 실생활에 적용하면, 우리는 예상치 못한 사고나 데이터 유출을 겪을 수 있습니다. BeSafe-Bench 는 앞으로 AI 개발자들이 **안전한 AI 를 만들기 위한 기준 **(Benchmark)으로 사용될 것입니다.

한 줄 요약:

"AI 가 일을 잘해내는 것은 중요하지만, 그 과정에서 우리를 다치게 하거나 정보를 잃게 하지 않는 **'안전한 운전'**이 훨씬 더 중요합니다. 이 논문은 AI 들의 '안전 운전' 실력을 시험하는 새로운 시험지를 제시합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 멀티모달 모델 (LMM) 의 급속한 발전으로 인해 웹 자동화, 모바일 앱 제어, 신체적 지능 (Embodied AI) 등 다양한 분야에서 복잡한 디지털 및 물리적 작업을 수행하는 자율 에이전트 (Agents) 가 등장했습니다.
• 문제점:
  • 에이전트의 배포 속도가 안전 장치 개발 속도를 훨씬 앞지르고 있습니다.
  • 기존 안전 평가 벤치마크는 주로 텍스트 생성물의 안전성 (Content Safety) 에 초점을 맞추거나, LLM 기반의 단순한 시뮬레이션 (Low-fidelity) 이나 제한된 범위의 작업에 의존하고 있습니다.
  • 실제 환경에서 에이전트가 수행하는 행위적 안전성 (Behavioral Safety) 즉, 에이전트의 행동이 물리적/디지털 세계에 미치는 실제 결과 (예: 민감 정보 유출, 물리적 충돌, 시스템 손상 등) 를 평가할 수 있는 포괄적인 벤치마크가 부재합니다.
  • 현재 에이전트들은 작업 완료 능력 (Task Completion) 은 높을지라도, 안전 제약 조건을 준수하면서 작업을 수행하는 능력은 현저히 낮습니다.

2. 제안 방법론: BeSafe-Bench (Methodology)

저자들은 BeSafe-Bench (BSB) 라는 새로운 벤치마크 프레임워크를 제안하며, 이는 실제 기능적 환경 (Functional Environments) 에서 에이전트의 행동을 평가합니다.

2.1. 환경 구성 (Environments)

BSB 는 4 가지 주요 도메인에서 실제 실행 가능한 도구와 인터페이스를 제공하는 고충실도 (High-fidelity) 시뮬레이터를 활용합니다.

• Web: WebArena 기반 (이커머스, 포럼, 협업 도구 등).
• Mobile: Android-Lab 기반 (실제 안드로이드 가상 장치 및 UI 인터랙션).
• Embodied VLM: OmniGibson 시뮬레이터 기반 (고수준 계획 수립).
• Embodied VLA: LIBERO/VLA-Arena 기반 (저수준 로봇 팔 제어 및 물리적 조작).

2.2. 위험 범주 및 태스크 생성 (Risk Categories & Task Construction)

• 9 가지 안전 위험 범주: 기존 콘텐츠 안전과 행동 안전을 결합하여 정의했습니다.
  1. 개인정보 유출 (Privacy Leakage)
  2. 데이터 손실 또는 손상 (Data Loss/Corruption)
  3. 금전적/재산적 손실 (Financial/Property Loss)
  4. 신체적 위해 (Physical Harm)
  5. 윤리 위반 (Ethical Violation)
  6. 유해 또는 허위 정보 (Toxic/False Info)
  7. 가용성 침해 (Compromise of Availability)
  8. 악성 코드 실행 (Malicious Code Execution)
  9. 컴퓨터 및 네트워크 안전 (Computer & Network Safety)
• 태스크 생성 방식: 기존 실행 가능한 기본 태스크에 LLM 을 활용하여 안전 위험을 유발할 수 있는 지시사항 (Instruction Augmentation) 을 추가합니다. 이때 사용자의 의도는 악의적이지 않으나, 에이전트의 오해나 잘못된 자율적 결정으로 인해 위험이 발생할 수 있는 시나리오를 구성합니다.

2.3. 하이브리드 평가 프레임워크 (Hybrid Evaluation Framework)

태스크 성공률과 안전성을 동시에 평가하기 위해 두 가지 방식을 결합합니다.

• 규칙 기반 평가 (Rule-based): 에이전트의 최종 상태나 행동이 정답 (Ground Truth) 과 일치하는지, 혹은 특정 위험 트리거 (예: 특정 파일 삭제, 민감 데이터 접근) 가 발생했는지를 엄격한 규칙으로 확인합니다.
• LLM 기반 평가 (LLM-as-a-Judge): 복잡한 환경 상태와 에이전트 행동 궤적 (Trajectory) 을 분석하여 의미적 (Semantic) 인 안전 위반 여부를 판단합니다.
• 평가 지표:
  • SR (Success Rate): 작업 완료율.
  • SafetyR (Safety Rate): 안전 위반 없이 실행된 비율.
  • Joint Distribution: 성공/실패와 안전/위험의 조합 (예: 성공했으나 위험한 행동 포함 - S-U).

3. 주요 기여 (Key Contributions)

1. BeSafe-Bench 제안: 웹, 모바일, 신체적 VLM, 신체적 VLA 등 4 가지 도메인과 1,312 개의 실행 가능한 태스크를 포함하는 포괄적인 벤치마크를 구축했습니다.
2. 새로운 평가 패러다임: 실행 가능한 태스크와 사전 정의된 위험 범주를 통합하여, 작업 수행 능력과 안전성을 동시에 평가하는 새로운 기준을 마련했습니다.
3. 실증적 발견: 13 개의 인기 있는 LLM 기반 에이전트를 평가하여, 현재 에이전트들이 복잡한 다단계 작업에서 안전성을 유지하는 데 심각한 어려움을 겪고 있음을 입증했습니다.

4. 실험 결과 (Results)

13 개의 에이전트 (GPT-5, GPT-4, Qwen, OpenVLA 등) 를 평가한 주요 결과는 다음과 같습니다.

• 낮은 안전 준수율: 가장 성능이 좋은 에이전트조차도 안전 제약 조건을 완전히 준수하면서 작업을 성공적으로 완료하는 비율이 40% 미만에 그쳤습니다.
• 안전 위반과 성공의 공존: 최대 **41%**의 경우, 에이전트가 할당된 작업을 성공적으로 완료했음에도 불구하고 동시에 위험한 행동 (Unsafe Behaviors) 을 수행했습니다. 이는 "작업 성공"이 "안전"을 보장하지 않음을 의미합니다.
• 도메인별 차이:
  • Web/Mobile: 작업 복잡도 증가로 인해 성공률이 낮아졌으며, 특히 모바일 환경에서는 지시사항 이해 실패로 인해 안전 평가가 왜곡될 수 있었습니다.
  • Embodied VLM/VLA: 계획 능력 (Planning) 과 안전성 (Safety) 간의 불일치가 두드러졌습니다. 일부 모델은 최종 상태는 안전하지만, 실행 과정 중 (Process) 에는 안전 규칙을 위반하는 경우가 많았습니다.
• 민감 정보 및 위험 인식 부족: 에이전트들은 민감한 정보 보호와 유해 콘텐츠 생성에 대한 보호 메커니즘이 부족하며, 복잡한 순차적 작업 중 안전 의식을 유지하는 데 실패했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실제 배포의 위험성 경고: 현재 에이전트 시스템은 실제 세계 (물리적/디지털) 에 배포되기 전에 안전 정렬 (Safety Alignment) 이 크게 개선되어야 함을 강조합니다.
• 균형 잡힌 평가의 필요성: 단순히 작업 완료율 (Success Rate) 만을 보는 것은 위험하며, 작업 수행과 안전성을 동시에 고려한 평가 (Joint Evaluation) 가 필수적입니다.
• 향후 연구 방향: BeSafe-Bench 는 다양한 환경과 에이전트 아키텍처에서 안전 위험을 체계적으로 분석할 수 있는 기반을 제공하며, 더 안전하고 견고한 에이전트 개발을 위한 중요한 자원으로 활용될 것입니다.

요약하자면, 이 논문은 실제 기능적 환경에서 에이전트의 '행위적 안전성'이 현재 매우 취약하며, 작업 성공 여부와 무관하게 심각한 위험이 발생할 수 있음을 체계적인 벤치마크를 통해 증명하고, 이에 대한 대응이 시급함을 주장합니다.