🤖 machine learning

BadWAM: When World-Action Models Dream Right but Act Wrong

이 논문은 월드-액션 모델(World-Action Models, WAMs)이 미세한 시각적 섭동을 통해 모델의 상상된 미래와 실행된 행동을 분리할 수 있는 적대적 공격에 취약하며, 이로 인해 모델의 내부 예측이 여전히 그럴듯하게 유지됨에도 불구하고 심각한 작업 실패를 초래할 수 있음을 보여주는 통합 프레임워크인 BadWAM을 소개한다.

원저자: Qi Li, Xingyi Yang, Xinchao Wang

게시일 2026-07-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Qi Li, Xingyi Yang, Xinchao Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

꿈꾸는 로봇과 은밀한 글리치(Glitch)

현재 보이는 것에 단순히 반응하는 것이 아니라, 다음에 일어날 일을 "꿈꾸는" 로봇을 상상해 보십시오. 이것은 컴퓨터가 로봇 팔이나 이동형 베이스와 같은 물리적인 몸체를 제어하는 법을 배우는 분야인 **체화된 AI(Embodied AI)**의 최첨단 기술입니다. 전통적으로 로봇은 반사적인 복서와 같았습니다. 펀치를 보면 즉시 카운터 펀치를 날리는 식이었죠. 하지만 현대의 "월드-액션 모델(World-Action Models, WAMs)"은 체스 그랜드마스터에 더 가깝습니다. 움직임을 취하기 전에 이들은 마음속으로 미래를 시뮬레이션합니다. "내가 이 컵을 잡으면 쏟아질까? 내가 여기로 발을 내디디면 넘어질까?"라고 스스로에게 묻습니다. 이러한 결과(consequences)를 상상하는 능력은 로봇을 더 안전하고 똑똑하게 만들어 내장된 안전 점검 장치 역할을 할 것으로 기대됩니다. 만약 로봇이 꿈꾸는 미래가 위험해 보인다면, 로봇은 멈추고 다시 생각해야 합니다.

연구자들이 던져온 핵심 질문은 이것입니다: 이 꿈꾸는 로봇은 정말로 안전한가? 만약 로봇이 자신의 미래를 점검할 수 있다면, 해커가 로봇을 속일 수 있을까요? 새로운 연구에 따르면, 그 대답은 우려스러운 "예"입니다. 이 논문은 먼지 한 톨이나 벽 위의 미묘한 패턴처럼 카메라 피드에 가해진 아주 작고 거의 보이지 않는 변화가 로봇의 뇌를 혼란에 빠뜨릴 수 있는 시나리오를 탐구합니다. 무서운 점은 로봇이 꿈꾸기를 멈추는 것이 아니라, 로봇이 완벽하고 안전한 미래를 꿈꾸면서도 정작 몸은 완전히 재앙적인 행동을 하고 있다는 사실입니다. 마치 로봇이 줄타기를 안전하게 하고 있다고 꿈꾸고 있지만, 실제 다리는 절벽 아래로 발을 내딛고 있는 것과 같습니다.

논문의 발견: BadWAM

치 리(Qi Li)와 신차오 왕(Xinchao Wang)이 이끄는 연구진은 이 로봇들을 테스트하는 새로운 방법인 BadWAM을 소개합니다. BadWAM을 로봇의 꿈에 대한 "스트레스 테스트"라고 생각하십시오. 그들은 로봇이 아무것도 눈치채지 못한 채 임무에 실패하도록 속일 수 있는지 확인하고 싶었습니다. 그들은 **월드-액션 드리프트(World-Action Drift)**라고 부르는 특정한 취약점을 발견했습니다.

보통 로봇을 해킹한다고 하면, 로봇이 존재하지 않는 것을 보게 만들어 당황하거나 멈추게 하는 것을 상상합니다. 하지만 BadWAM은 더 은밀한 것을 찾아냈습니다. 연구진은 아주 작은 시각적 트릭을 사용하여 로봇의 "꿈"(미래 예측)은 완벽하게 정상적으로 보이게 만들면서, 동시에 로봇의 "행동"(실제로 하는 일)을 탈취할 수 있음을 보여주었습니다.

논문은 이 공격이 작동하는 두 가지 주요 방식을 두 가지 다른 종류의 문제처럼 설명합니다:

"오버트 하이잭(Overt Hijack)" (행동 전용 공격): 이것은 요란하고 난잡한 버전입니다. 공격자는 로봇이 즉시 잘못된 행동을 하도록 시각적 입력을 적절히 조작합니다. LIBERO라는 데이터셋을 이용한 테스트에서 이 공격은 잔혹했습니다. 로봇의 성공률을 매우 신뢰할 수 있는 **96.5%**에서 불안정한 **43.1%**로 떨어뜨렸습니다. 로봇은 물체를 집으려 했지만 결국 그것을 쳐서 넘어뜨리거나 완전히 놓쳐버렸습니다.
"스텔스 고스트(Stealth Ghost)" (상상 보존 공격): 이것은 진정으로 무서운 부분입니다. 여기서 공격자는 변장의 명수입니다. 공격자는 로봇의 꿈이 여전히 완벽하고 안전해 보이도록 시각적 입력을 미세하게 조정합니다. 만약 당신이 로봇에게 "다음에 무슨 일이 일어날 것 같니?"라고 묻는다면, 로봇은 "블록을 잡아서 부드럽게 놓을 것 같아요"라고 답할 것입니다. 그리고 로봇의 마음속에서는 실제로 그런 일이 일어나고 있습니다. 하지만 현실에서 로봇은 엉뚱한 곳을 향해 손을 뻗거나 블록을 떨어뜨리고 있습니다. "꿈"과 "행동"이 어긋난 것입니다. 로봇은 성공을 실행하고 있다고 믿으면서 재앙을 실행하고 있습니다.

연구진은 이 "드리프트(drift)"가 중대한 보안 구멍임을 발견했습니다. 그들은 이 테스트를 다양한 유형의 로봇 뇌(Joint WAM 및 IDM WAM이라 불림)에 실시했으며, 로봇의 미래 예측이 여전히 진실에 매우 근접해 있음에도 불구하고(즉, "꿈"을 온전하게 유지함에도 불구하고) 로봇이 임무에 실패한다는 것을 발견했습니다. 실제로 그들은 "미래 거리(future distance, 꿈이 변화한 정도)"를 매우 작게 유지하면서도 로로봇을 실패하게 만들 수 있다는 것을 발견했습니다. 이는 단지 로봇의 "꿈"을 점검하는 것만으로는 충분히 안전을 보장할 수 없음을 시사합니다.

공격 방식

논문은 BadWAM이 로봇의 비밀 코드나 내부 가중치(weights)를 알 필요가 없다고 설명합니다. 이는 블랙박스 테스터처럼 작동합니다. 공격자는 로봇에게 시각적 입력을 보내고, 거기서 나오는 행동을 확인한 뒤, 행동을 더 악화시킬 수 있는지 확인하기 위해 입력을 미세하게 조정합니다. 이 과정을 마치 돌덩이를 깎아내는 조각가처럼 반복하여, 로봇을 실패하게 만드는 아주 작고 보이지 않는 패턴을 찾아냅니다.

가장 흥지는 발견 중 하나는 로봇이 어떻게 실패하는가 하는 점입니다. 로봇은 즉시 미친 듯이 행동하지 않습니다. 논문은 로봇이 종종 정상적으로 행동하며 시작된다는 것을 보여줍니다. 첫 번째 물체는 성공적으로 잡을 수도 있습니다. 하지만 작업이 계속됨에 따라 움직임이 서서히 경로를 벗어납니다. 이는 "천 번의 칼질에 의한 죽음(death by a thousand cuts)" 시나리오입니다. 로봇은 두 번째 물체를 넘어뜨리고, 세 번째 물체를 놓치며, 결국 전체 미션을 실패하게 됩니다. 이 모든 과정 동안 로봇의 내부 시뮬레이션은 모든 것이 계획대로 진행되고 있다고 주장합니다.

또한 연구는 이 트릭이 다른 로봇들에게도 통하는지 살펴보았습니다. 연구진은 한 종류의 로봇 모델에 대해 공격을 훈련시켰을 때, 그것이 약간 다른 다른 모델들에도 효과가 있다는 것을 발견했습니다. 이는 문제가 특정 소프트웨어의 버그가 아니라, 이러한 "꿈꾸는" 로봇들이 자신의 생각과 행동을 연결하는 방식의 근본적인 결함임을 시사합니다.

안전 점검의 한계

논문은 또한 이미지를 흐리게 처리하거나 카메라 피드에 노이즈를 추가하는 등의 간단한 방어책을 테스트하여 해커의 트릭을 씻어내고자 했습니다. 이러한 기법들이 어느 정도 도움이 되기는 했지만, 만능 해결책은 아니었습니다. 이러한 방법들은 공격을 막지 못하거나, 공격받지 않을 때조차 로봇의 성능을 저하시켰습니다. 연구진은 또한 로봇의 꿈과 행동이 일치하지 않을 때 경고를 보내는 "탐지기"를 구축하려 시도했지만, 이 탐지기는 오경보를 피하기 위해 주의 깊게 설정되었을 때 대부분의 공격을 놓쳤습니다.

이 연구의 결론은 로봇 공학 분야에 던지는 경종입니다. "로봇이 미래를 상상할 수 있다면 안전할 것이다"라는 아이디어는 취약합니다. 논문은 진짜 위험이 로봇이 잘못된 것을 보는 것뿐만 아니라, 로봇의 상상과 행동이 서로 어긋날 수 있다는 점이라고 지적합니다. 로봇은 자신이 옳은 일을 하고 있다고 확신하면서도, 실제로는 잘못된 일을 하고 있을 수 있습니다.

실험에서 연구진은 아주 작은 양의 시각적 노이즈(섭동 크기 0.06)만으로도 매우 성공적이었던 로봇을 실패하기 쉬운 로봇으로 바꿀 수 있음을 보여주었습니다. 그들은 단순히 로봇을 망가뜨린 것이 아니라, 로봇이 무엇을 하고 있는지에 대한 생각과 실제 행동 사이의 연결을 끊어놓았습니다. 이는 차세대 안전한 로봇을 위해 엔지니어들이 단순히 미래를 예측하는 능력에만 의존해서는 안 된다는 것을 의미합니다. 그들은 로봇의 꿈이 현실과 일치하는지 끊임없이 확인하는 시스템을 구축해야 하며, 이를 통해 꿈꾸는 자와 행하는 자가 여전히 같은 페이지에 있는지 확인해야 합니다.

기술 요약: BadWAM – 세계-행동 모델이 올바르게 꿈꾸지만 잘못되게 행동할 때

1. 문제 정의

세계-행동 모델(World-Action Models, WAMs)은 순수하게 반응적인 정책에서 행동 생성과 미래 세계 예측을 결합한 시스템으로의 에이전트 기반 AI의 패러다임 변화를 나타냅니다. 지배적인 가정은 이러한 결합이 내재적인 견고함과 안전성을 제공한다는 것입니다. 즉, 로봇이 자신의 행동에 따른 결과를 "상상"할 수 있다면, 실행 전 단계에서 안전하지 않거나 일관되지 않은 행동을 감지할 수 있다는 믿음입니다.

본 논문은 이러한 가설에 이의를 제기하며, **세계-행동 드리프트(World-Action Drift)**라고 명명된 특정 취약점을 식별합니다. 핵심 문제는 WAM의 상상된 미래와 실행된 행동 사이의 정렬(alignment)이 매우 취약하다는 점입니다. 공격자는 시각적 섭동(perturbation)을 도입하여 이 두 가지 결합된 능력을 탈동기화할 수 있습니다. 그 결과, 모델은 그럴듯한 미래 예측을 계속 생성하여 안전해 보이는 상태를 유지하면서도, 실제로는 작업 실패를 초래하는 행동을 실행하는 실패 모드가 발생합니다. 이러한 간극은 미래 예측 기반의 안전 모니터링을 무력화합니다. 왜냐로 인해 모니터가 실제 실행되는 궤적과는 더 이상 일치하지 않는 "그럴듯한" 미래를 검증하게 되기 때문입니다.

2. 방법론: BadWAM 프레임워크

저자들은 세계-행동 드리프트 공격을 모델링하고 평가하기 위한 통합 블랙박스 프레임워크인 BadWAM을 소개합니다. 이 프레임워크는 공격자가 WAM의 그래디언트나 가중치에 접근할 수 없더라도, 모델이 처리하기 전의 시각적 관측값( $\tilde{o}_t = \text{clip}(o_t + \delta_t)$ )을 섭동시킬 수 있는 위협 모델 하에서 작동합니다.

BadWAM은 공격 표면을 **공격 강도(attack strength)**와 **은밀성(stealthiness)**이라는 두 축을 따라 규정합니다. 또한 두 가지 구체적인 공격 목표를 구현합니다.

A. 행동 전용 적대적 공격 (Action-Only Adversarial Attack)

이 공격은 파괴를 우선시합니다. WAM을 쿼리 가능한 컨트롤러로 취급하며, 클린한 액션 청크( $a$ )와 공격받은 액션 청크( $a^\delta$ ) 사이의 편차를 최대화하는 유계된 시각적 섭동( $\|\delta\|_\infty \le \epsilon$ )을 찾습니다:
$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} D_{\text{act}}(a^\delta_{t:t+H-1}, a_{t:t+H-1})$
이 공격은 상상된 미래의 상태는 무시하고, 오직 로봇을 작업 실패를 유도하는 행동으로 몰아넣는 데 집중합니다.

B. 상상 보존 적대적 공격 (Imagination-Preserving Adversarial Attack)

이 공격은 은밀성을 우선시합니다. 미래 예측이 안전 모니터나 플래너에 노출되는 시스템을 타겟으로 합니다. 목표는 예측된 미래( $z^\delta$ 또는 $v^\delta$ )를 클린한 상상( $z$ 또는 $v$ )과 가깝게 유지하면서도 해로운 행동 변화를 유도하는 것입니다. 이는 다음과 같이 라그랑주 완화(Lagrangian relaxation)로 공식화됩니다:
$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} \left( D_{\text{act}}(a^\delta, a) - \lambda D_{\text{img}}(z^\delta, z) \right)$
여기서 $\lambda$ 는 공격 강도와 은밀성 사이의 트레이드오프를 조절합니다. 이 체제에서의 성공적인 공격은 로봇이 안전한 미래를 "꿈꾸면서도" 파괴적으로 "행동"하게 만듭니다.

최적화 전략

BadWAM은 **제로 차수 온라인 최적화(zeroth-order online optimization)**를 사용합니다. 각 재계획(replanning) 단계에서 공격자는 고정된 WAM을 블랙박스로 취급합니다. 유한 차분 쿼리(finite-difference queries)를 사용하여 섭동 $\delta$ 에 대한 목적 함수의 그래디언트를 추정하고, 투영 경사 하강법(projected gradient descent)을 통해 섭동을 업데이트합니다. 이 방식은 모델 파라미터나 학습 데이터에 대한 접근 권한을 필요로 하지 않습니다.

3. 주요 기여

세계-행동 드리프트의 식별: 본 논문은 행동 출력은 적대적으로 탈취될 수 있는 반면 예측된 미래는 시각적으로 그럴듯하게 유지될 수 있는, WAM 특유의 새로운 공격 표면을 정의합니다.
BadWAM 프레임워크: 다음 두 가지 구현체를 포함하는 통합 프레임워크 설계:
- 행동 전용 공격: 실행 방해를 극대화하기 위함.
- 상상 보존 공격: 그럴듯한 예측된 미래를 유지하면서 실패를 일으켜, 미래 기반 안전 체크의 한계를 드러내기 위함.
포괄적 평가: LIBERO 및 RoboTwin 벤치마크에서 폐쇄 루프 로봇 조작 작업에 대한 광범한 평가를 통해, 유계된 시각적 섭동 하에서 상당한 작업 성능 저하를 입증했습니다.
진단적 분석: 채널 수준의 변화(연속적인 액션 채널 및 후기 호리즌에 영향을 미침), 미래 보존과 공격 강도 사이의 트레이드오프, 그리고 서로 다른 WAM 변체 간의 공격 전이성(transferability)을 포함한 공격 역학에 대한 상세한 통찰을 제공합니다.

4. 실험 결과

저자들은 LIBERO와 RoboTwin 벤치마크에서 세 가지 WAM 변체(Action-only, Joint, IDM WAM)에 대해 BadWAM을 평가했습니다.

작업 성공률 감소: 공격은 성능을 크게 저하시킵니다. LIBERO의 Action-only WAM에 대한 경우, 행동 전용 공격은 작업 성공률을 96.5%에서 43.1%로 감소시켰습니다(53.4% 하락). Joint 및 IDM WAM 역시 행동 전용 공격 하에서 30~36%의 하락을 보였습니다.
은밀성: 상상 보존 공격은 예측된 미래의 거리를 클린한 롤아웃과 가깝게 유지하면서도 강력한 공격 성능(예: Joint WAM의 성공률을 약 63%로 감소)을 성공적으로 유지했습니다. 이는 미래의 그럴듯함에만 의존하는 안전 모니터가 이러한 공격을 감지하지 못할 것임을 확인시켜 줍니다.
체계적 실패: 실패는 무작위가 아니라 체계적이었습니다. 특히 작은 액션 오류가 시간이 지남에 따라 누적되는 공간적 및 장기 호리즌(long-horizon) 작업에서 두드ver히 나타났습니다. 공격은 즉각적인 파멸적 실패보다는 점진적인 드리프트를 유도했습니다.
전이성: 한 WAM 변체에서 최적화된 섭동이 다른 변체(예: Joint $\to$ IDM)로 효과적으로 전이되었습니다. 이는 공격이 모델 특유의 과적합이 아니라 관측 공간에서의 공유된 민감한 방향을 가지고 있음을 시사합니다.
방어의 한계: 단순한 비적응형 방어(가우시안 블러, JPEG 노이즈)는 공격을 부분적으로 완화했으나, 클린 성능의 저하나 불완전한 보호라는 대가를 치렀습니다. 증강 일관성(augmentation-consistency) 탐지기는 실용적인 오탐율(false-positive rate)에서 낮은 재현율(recall)을 보여, 현재의 탐지 방법들이 불충분함을 나타냈습니다.

5. 의의 및 주장

본 논문은 WAM에서 세계 예측과 행동을 결합하는 것이 흔히 안전 기능으로 칭송받지만, 오히려 독특한 취약점을 도입한다는 점을 주장합니다. 주요 의의는 미래 예측 단독으로는 신뢰할 수 있는 안전 신호가 아니다라는 점을 입증한 데 있습니다.

저자들은 보안상 중요한 대상이 행동이나 상상 그 자체가 아니라, 그 둘 사이의 **정렬(alignment)**이라고 주장합니다. WAM은 "그럴듯한" 상상된 미래를 유지하면서도 작업을 실패하게 만드는 탈동기화된 행동을 실행하도록 조작될 수 있습니다. 이는 로봇 AI를 위한 안전 메커니즘이 단순히 상상된 미래의 그럴듯함을 확인하는 것을 넘어, 적대적 조건 하에서 상상된 궤적과 실행된 행동 사이의 동기화를 명시적으로 검증하는 방향으로 진화해야 함을 시사합니다. 본 논문은 BadWAM이 세계-행동 모델의 진정한 견고성을 평가하기 위한 필수적인 진단 프로토콜을 제공한다고 결론짓습니다.