기술 요약: embodied AI 의 안전성: 위험, 공격 및 방어에 대한 조사

1. 문제 제기

Embodied AI(구체화된 인공지능) 는 지각, 인지, 계획, 상호작용을 통합하여 개방형 세계의 안전이 중요한 환경 (예: 자율 주행, 의료, 산업용 로봇) 에서 작동하는 에이전트를 구축합니다. 디지털 전용 AI 시스템과 달리, 구체화된 에이전트는 고장이 직접적인 신체적 손상, 재산 피해 또는 인명 손실로 이어질 수 있으므로 고유한 안전 과제를 직면합니다. 이러한 시스템은 불확실한 센싱, 불완전한 지식, 그리고 역동적인 인간 - 로봇 상호작용 하에서 작동합니다.

기존의 조사 연구들은 디지털 영역 (비전 기반 모델, 대규모 언어 모델, 디지털 에이전트) 의 안전성을 다루지만, 물리적 환경에서 지각, 인지, 계획, 상호작용이 긴밀하게 결합된 점을 종종 간과합니다. furthermore, 한 계층 (예: 지각) 의 취약점은 다른 계층 (예: 제어 및 상호작용) 에서 재앙적인 고장으로 이어질 수 있습니다. 따라서 비전, 언어, 멀티모달 기반 모델의 광범위한 발전과 구체화된 에이전트 특유의 발견 사항을 연결하여 전체 구체화 파이프라인에 걸친 연구를 종합하는 통합 프레임워크가 시급히 필요합니다.

2. 방법론

본 논문은 400 편 이상의 논문을 분석하여 Embodied AI 안전성 연구에 대한 포괄적인 조사를 제시합니다. 저자들은 에이전트의 능력 확장이 각각 대응되는 새로운 취약점을 도입한다는'능력 - 위험 이원성'을 중심으로 구성된다중 분류 체계를 활용합니다. 이 조사는 가장 내부의 감각 입력에서 가장 외부의 에이전트 시스템에 이르기까지 진화하는 다섯 가지 주요 능력 계층으로 분야를 조직화합니다:

1. 지각 (Perception): 시각, 청각, 공간 (3D), 운동, 그리고 교차 모달 지각을 다룹니다.
2. 인지 (Cognition): 지시 이해, 세계 모델링, 추론을 포괄합니다.
3. 계획 (Planning): 작업 계획, 궤적 계획, 다중 에이전트 계획을 포함합니다.
4. 행동 및 상호작용 (Action & Interaction): 로봇 제어 정책, 인간 - 에이전트 상호작용 (HRI), 그리고 다중 에이전트 협업을 다룹니다.
5. 에이전트 시스템 (Agentic System): 도구 사용, 기억, 자기 진화, 그리고 연쇄적 위험을 검토합니다.

각 계층에 대해, 조사는 위협을 특정 공격 유형 (적대적, 백도어, 저브레이크, 센서 수준, 그리고 신흥 위험) 으로 분류하고 대응하는 방어 메커니즘 (견고한 학습, 견고한 추론, 그리고 아키텍처적 안전 장치) 을 검토합니다. 이 분석은 전통적인 AI 안전성, 로봇공학, 그리고 기반 모델 연구의 통찰력을 통합하여 구체화된 안전성에 대한 메커니즘 중심의 이해를 제공합니다.

3. 주요 기여

• 통합된 다중 분류 체계: 본 논문은 구체화 파이프라인 전반에 걸쳐 분산된 연구 흐름을 통합하는 구조화된 프레임워크를 제시합니다. 이는 적대적 패치, 센서 스푸핑, 저브레이크 프롬프트와 같은 특정 공격 벡터를 특정 능력 계층에 매핑하고, 내부 계층의 취약성이 어떻게 외부 계층의 고장으로 전파되는지 추적합니다.
• 400 편 이상의 논문 포괄적 검토: 이 조사는 구체화된 에이전트 특유의 연구를 비전, 언어, 멀티모달 기반 모델의 안전 관련 발전 사항과 통합합니다. 이는 공격 유형, 방어 전략, 대상 모델, 데이터셋별로 분류된 400 여 개의 구체적인 연구들을 상세히 기술합니다.
• 중요한 격차 식별: 저자들은 다음과 같은 간과된 과제를 식별합니다:
  • 멀티모달 지각 융합의 취약성.
  • 저브레이크 공격 하에서의 계획 불안정성.
  • 개방형 시나리오에서의 인간 - 에이전트 상호작용 신뢰도.
  • 실제 세계의 위험을 피하는 안전성 평가 방법론의 부재.
  • 교차 구체화 (cross-embodiment) 안전 일반화의 부재.
• 미래 연구를 위한 로드맵: 본 논문은 열린 과제와 미래 동향을 개요화하여, 실제 세계 배포에서 유능할 뿐만 아니라 안전하고, 견고하며, 신뢰할 수 있는 구체화된 에이전트 개발을 위한 로드맵을 제공합니다.

4. 주요 발견 및 결과

이 조사는 다섯 가지 계층 전반에 걸친 현재 공격 및 방어 상태를 종합합니다:

• 지각: 적대적 공격 (디지털 및 물리적) 은 잘못된 분류, 잘못된 탐지, 그리고 장면 오해석을 초래할 수 있습니다. 센서 공격 (스푸핑, 재밍) 은 원시 데이터의 무결성을 훼손합니다. 백도어 공격은 시각 및 청각 모델에 숨겨진 트리거를 내장합니다. 방어책으로는 견고한 학습 (적대적 학습, 데이터 증강) 과 견고한 추론 (입력/출력 중재, 센서 융합) 이 포함됩니다.
• 인지: 저브레이크 공격은 안전 제약을 우회하도록 자연어 지시를 조작하여 위험한 물리적 행동을 유도합니다. 세계 모델은 환각과 규칙 위반으로 고통받아 잘못된 신념에 기반한 결정을 내리게 됩니다. 추론 체인은 장악 (CoT 장악) 당하거나 근거 실패를 겪을 수 있습니다.
• 계획: 작업 및 궤적 계획자에 대한 적대적 공격은 충돌이나 위험한 궤적을 유발할 수 있습니다. 저브레이크 공격은 LLM 기반 계획자를 조작하여 해로운 행동 시퀀스를 생성하게 합니다. 다중 에이전트 계획은 비잔틴 결함과 목표 충돌에 직면합니다.
• 행동 및 상호작용: 제어 정책 (MLP, Diffusion, VLA) 은 상태, 행동, 관찰 공간에서의 적대적 교란에 취약합니다. 제어 정책의 백도어 공격은 해로운 행동을 활성화할 수 있습니다. 인간 - 에이전트 상호작용 위험에는 인수인계 안전 실패와 신뢰 조작 (과신/불신) 이 포함됩니다.
• 에이전트 시스템: 도구 사용, 기억, 자기 진화로 확장됨에 따라 새로운 벡터가 도입됩니다: 도구 오용, 기억 오염/유출, 그리고 자기 진화 에이전트의 불일치. 연쇄적 위험은 한 계층 (예: 공급망 오염) 의 타격이 전체 시스템으로 전파되도록 허용합니다.

이 조사는 디지털 AI 안전성에서 상당한 진전이 이루어졌음에도 불구하고, 구체화된 시스템은 디지털 취약성이 직접적으로 물리적 결과로 전환되는 고유한 과제를 직면하고 있음을 강조합니다. 현재의 방어책은 종종 고립되어 있으며, 구체화된 환경의 안전이 중요한 시나리오에 대한 표준화된 벤치마크가 부족합니다.

5. 중요성 및 주장

저자들은 본 조사가 Embodied AI 안전성을 이해하기 위한 최초의일관된, 메커니즘 중심의 프레임워크를 제공한다고 주장합니다. 분야를 계층적 분류 체계로 조직함으로써, 이 논문은 디지털 AI 안전성과 물리적 로봇공학 사이의 간극을 메웁니다.

이 연구의 중요성은 다음과 같은 능력에 있습니다:

1. 분산된 연구의 통합: 비전, 언어, 로봇공학 안전 분야의 이질적인 연구 흐름을 단일 서사로 연결합니다.
2. 고유한 위험 강조: 구체화된 안전성이 단순히 디지털 안전의 확장이 아니라, 자율성 증가가 물리적 해악 잠재력을 증폭시키는'능력 - 위험 이원성'을 해결해야 함을 강조합니다.
3. 미래 개발 안내: (실제 세계 위험 없이 안전성 평가, 교차 구체화 일반화, 하드웨어 - 소프트웨어 공동 설계 등) 열린 과제를 식별함으로써, 신뢰할 수 있는 구체화된 에이전트 구축을 위한 연구 의제를 설정합니다.

본 논문은 안전한 Embodied AI 를 달성하기 위해서는 안전을 고립된 모듈로 취급하는 것에서 벗어나 지각 - 사고 - 행동 루프 전체의 창발적 속성으로 간주해야 하며, 알고리즘, 시뮬레이션, 하드웨어 설계, 거버넌스 전반에 걸친 조율된 진전이 필요하다고 결론지었습니다.