1. 문제 정의 (Problem Statement)

• 배경: 비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델은 자연어 지시와 시각적 관찰을 기반으로 로봇의 행동을 결정하는 차세대 로봇 제어 패러다임입니다.
• 취약점: VLA 모델은 텍스트 지시에 민감하게 반응하므로, 지시문 (Instruction) 에 가해지는 사소한 텍스트 교란 (Perturbation) 만으로도 로봇의 물리적 행동이 왜곡될 수 있습니다.
• 기존 연구의 한계:
  • 기존 공격 기법들은 대부분 수동으로 교란을 설계하거나, 고정된 휴리스틱에 의존하며, 비용이 많이 드는 GPT 기반 검색을 사용합니다.
  • 이러한 방법들은 다양한 작업과 모델에 걸쳐 일반화되지 못하며, 과도한 지시문 수정이나 반복적인 쿼리가 필요하여 실제 환경 (Black-box) 에서 탐지되기 쉽습니다.
• 핵심 과제: VLA 모델의 블랙박스 (Black-box) 상태에서도, **최소한의 편집 비용 (Edit Budget)**으로 탐지하기 어렵게 (Stealthy) 로봇의 행동을 의도적으로 저하시키는 자동화된 공격 에이전트를 개발하는 것입니다.

2. 방법론 (Methodology: SABER)

저자들은 SABER라는 에이전트 중심의 블랙박스 공격 프레임워크를 제안합니다.

• 핵심 개념:
  • 에이전트 기반 공격 (Agentic Attack): 단일 LLM 이 아닌, 도구 사용 (Tool-use) 이 가능한 ReAct 스타일의 공격 에이전트를 사용합니다.
  • FIND $\rightarrow$ APPLY 워크플로우: 공격은 두 단계로 이루어집니다.
    1. FIND: 지시문 중 어디를 수정할지 (위치) 와 어떤 전략을 쓸지 결정합니다.
    2. APPLY: 선택된 위치와 전략에 따라 실제 텍스트를 수정합니다.
  • 다중 수준의 교란 도구 (Perturbation Toolbox):
    • 문자 수준 (Character-level): 오타 삽입, 삭제, 대소문자 변경 등 (예: mug $\rightarrow$ rnug).
    • 토큰 수준 (Token-level): 단어 교체, 제거, 추가 등.
    • 프롬프트 수준 (Prompt-level): 검증 문구 추가, 작업 분해, 추가 제약 조건 삽입 등.
• 학습 알고리즘 (GRPO):
  • Group Relative Policy Optimization (GRPO): 목표 VLA 모델의 그래디언트 (Gradient) 에 접근할 수 없는 블랙박스 환경에서, 롤아웃 (Rollout) 피드백을 통해 공격 에이전트를 학습시킵니다.
  • 보상 설계 (Reward Design):
    • 목표 보상: 작업 실패 (Task Failure), 행동 과다 (Action Inflation), 제약 조건 위반 (Constraint Violation) 등 공격 목표에 따른 성공 여부를 측정합니다.
    • 은폐성 패널티 (Stealth Penalty): 사용된 도구 호출 횟수와 수정된 문자 수를 기반으로 과도한 수정을 억제합니다.
    • 최적화 목표: $J(\psi) = E[ \text{목표보상} - \lambda \times \text{은폐성 패널티} ]$
• 학습 파이프라인:
  1. 콜드스타트 (Cold-start): 초기 탐색을 위해 GPT 를 활용한 지도 미세조정 (SFT) 으로 기본 도구 사용 능력을 학습시킵니다.
  2. GRPO 강화학습: SFT 로 초기화된 에이전트가 다양한 시나리오에서 롤아웃을 수행하고, 보상 신호를 받아 정책을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. VLA 를 위한 자동화된 블랙박스 공격 프레임워크: VLA 시스템의 지시문만을 대상으로 하는 제약된 최적화 문제를 정의하고, 이를 해결하는 최초의 범용 자동 공격 에이전트 (SABER) 를 제안했습니다.
2. 적응형 에이전트 공격 접근법: 목표 모델의 그래디언트 없이도, GRPO 를 통해 문자, 토큰, 프롬프트 수준의 교란을 상황에 맞게 적응적으로 구성하는 ReAct 에이전트를 설계했습니다.
3. 광범위한 실험적 검증: LIBERO 벤치마크의 6 가지 최신 VLA 모델 (π0, π0.5, X-VLA, GR00T-N1.5, DeepThinkVLA, InternVLA-M1) 에 대해 공격 효과를 입증했습니다.
4. 효율성과 은폐성 증명: 기존 GPT 기반 베이스라인 대비 더 적은 도구 호출과 문자 수정으로 동등하거나 더 강력한 공격 효과를 달성함을 보였습니다.

4. 실험 결과 (Experimental Results)

LIBERO 벤치마크를 기반으로 한 실험 결과는 다음과 같습니다:

• 공격 성공률 (Attack Success):
  • 작업 실패 (Task Failure): 평균 **20.6%**의 작업 성공률 감소.
  • 행동 과다 (Action Inflation): 평균 **55%**의 행동 시퀀스 길이 증가.
  • 제약 조건 위반 (Constraint Violation): 평균 **33%**의 제약 위반 증가.
• 효율성 비교 (SABER vs. GPT Baseline):
  • 도구 호출: GPT 기반 베이스라인 대비 21.1% 감소.
  • 문자 수정: GPT 기반 베이스라인 대비 54.7% 감소.
  • 이는 SABER 가 불필요한 수정 없이 더 높은 레버리지 (High-leverage) 를 가진 교란을 학습했음을 의미합니다.
• 모델 일반화: 명시적 추론 (Chain-of-Thought) 을 포함하는 모델과 포함하지 않는 모델 모두에서 일관된 공격 효과를 보였습니다.
• 콜드스타트의 중요성: SFT(콜드스타트) 없이 GRPO 만으로 학습할 경우, 에이전트가 비용은 낮지만 효과가 없는 행동에 수렴하여 공격 성공률이 약 5.8% 하락하는 것이 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 로봇 안전성 평가 (Red-teaming) 의 새로운 표준: SABER 는 배포 전 VLA 모델의 취약점을 체계적으로 평가할 수 있는 실용적이고 확장 가능한 도구를 제공합니다.
• 소규모 교란의 위험성 강조: 거창한 지시문 재작성이 아니라, 매우 작고 그럴듯한 (Plausible) 텍스트 수정만으로도 로봇의 물리적 행동이 심각하게 왜곡될 수 있음을 입증했습니다.
• 미래 연구 방향: 현재는 텍스트 기반 시뮬레이션 공격에 국한되어 있으나, 향후 다중 모달 (Multimodal) 공격, 실제 물리적 환경에서의 공격, 그리고 로봇의 추론 과정 자체를 표적으로 하는 공격으로 확장될 필요가 있음을 시사합니다.

요약하자면, SABER 는 VLA 모델의 블랙박스 환경에서 최소한의 텍스트 수정으로 로봇의 안전과 효율성을 해칠 수 있는 자동화된 공격 에이전트이며, 이는 로봇 시스템의 견고성 (Robustness) 을 평가하고 강화하는 데 필수적인 도구임을 보여줍니다.