🤖 machine learning

Attacking the Trusted Imagination: Oracle-Level Integrity Attacks on Imagine-then-Act World Models

이 논문은 '상상 후 행동(imagine-then-act)' 방식의 월드 모델에서 공격자가 안전 시스템을 우회하고 작업 실패를 유발하기 위해 미래의 잠재 궤적(latent trajectories)을 쉽게 오염시킬 수 있는 '신뢰된 상상(trusted imagination)'을 결정적인 취약점으로 식별하는 동시에, 이러한 매니폴드 외(off-manifold) 섭동에 대해 완벽한 탐지를 달성하는 파라미터가 없는 디노이저 탐지기(denoiser detector)를 제안한다.

원저자: Linghan Chen, Kaiyan Ji, Minyu Guo

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Linghan Chen, Kaiyan Ji, Minyu Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "신뢰하는 꿈"

로봇이 단순히 지금 보이는 것에만 반응하는 것이 아니라, 먼저 앞으로 몇 초 동안 어떤 일이 일어날지 꿈을 꾸는 모습을 상상해 보세요. 로봇은 미래에 대한 정신적 영화(이를 "상상"이라고 부릅니다)를 만들고, 그 영화를 검토한 다음, 그 꿈을 바탕으로 무엇을 할지 결정합니다.

이 논문은 로봇의 실제 몸(그의 "반응형 정책")은 강력하고 속이기 어렵지만, 그 꿈은 매우 취약하다고 주장합니다. 만약 누군가 꿈을 망쳐놓는다면, 로봇의 몸이 여전히 완벽하게 작동하고 있더라도 로봇이 끔찍한 결정을 내리도록 속일 수 있습니다.

두 가지 유형의 로봇

저자들은 로봇이 이러한 꿈을 사용하는 두 가지 방식을 설명합니다.

"반응형" 로봇 (안전한 로봇):
- 작동 방식: 미래에 대해 꿈을 꾸지만, 꿈을 단지 빠른 힌트로만 사용합니다. 로봇은 자신의 꿈이 맞는지 확인하기 위해 끊임없이 실제 세계를 체크합니다. 만약 꿈은 "점프하라"고 말하는데 실제 세계는 "벽이 있다"고 말한다면, 로봇은 꿈을 무시하고 멈춥니다.
- 결과: 공격자가 꿈을 망치더라도 로봇은 괜찮습니다. 로봇은 그저 나쁜 꿈을 무시하고 계속 작업을 수행합니다. 논문에서는 이를 "무효 결과(null result)"라고 부릅니다. 로봇의 실제 작업에 아무런 나쁜 일이 일어나지 않기 때문에 지루한 결과라는 뜻입니다입니다.
"오라클(Oracle)" 로봇 (취약한 로봇):
- 작동 방식: 이 로봇은 자신의 꿈을 절대적인 진리로 취급합니다. 행동하기 전에 실제 세계를 확인하지 않습니다. 로봇은 "내 꿈이 뭐라고 말하는가?"라고 묻고, 그 예측에 따라 행동합니다. 이는 마치 밖을 내다보지 않고 "꿈이 '안전'하다고 하면 문을 연다"라고 말하는 안전 게이트와 같습니다.
- 결과: 이것이 약점입니다. 만약 당신이 꿈을 오염시키면, 로봇은 거짓말에 따라 행동하게 됩니다. 논문은 이러한 유형의 로봇의 경우, 카메라 입력에 가해진 아주 작고 거의 보이지 않는 변화만으로도 성공적이었던 작업이 완전한 실패로 변할 수 있음을 보여줍니다.

공격: 꿈을 망치는 법

연구진은 이 "꿈꾸는" 과정을 해킹하는 방법을 찾아냈습니다.

방법: 로봇이 보는 이미지에 아주 작고 눈에 보이지 않는 양의 "노이즈(정적)"를 추가합니다. 로봇의 뇌는 매끄러운 계산이 가능하도록 수학적으로 설계(미분 가능)되어 있기 때문에, 연구진은 **투영 경사 하강법(Projected Gradient Descent)**이라는 기술을 사용할 수 있습니다.
비유: 로봇의 꿈이 지도라고 상상해 보세요. 연구진은 지도를 새로 그릴 필요 없이, 시작점을 아주 살짝만 밀어내면 됩니다. 지도는 서로 연결되어 있기 때문에, 그 작은 움직임이 전체적인 미래 예측 경로를 바꿔 놓습니다.
비대칭성 (핵심 발견):
- 꿈을 깨뜨리는 것은 쉽다: 꿈을 "잘못된" 곳으로 밀어 넣는 것은 매우 쉽습니다. 연구진은 단순한 무작위 노이즈를 더하는 것보다 꿈을 오염시키는 것이 60배 더 효과적이라는 것을 발견했습니다. 꿈은 흐릿하고 터무니없는 엉망진창인 상태가 됩니다.
- 꿈을 제어하는 것은 어렵다: 꿈을 특정한 새로운 장면(예: 실제로는 차고에 있는데 주방에 있다고 믿게 만드는 것)으로 유도하는 것은 매우 어렵습니다. 꿈은 정밀하게 조종되는 것에 저항합니다. 이는 마치 무거운 바위를 언덕 위 특정 지점으로 밀어 올리려는 것과 같습니다. 경로에서 벗어나게 만드는 것은 쉽지만, 원하는 곳으로 정확히 조준하여 보낼 수는 없습니다.

방어: "탐지견"

연구진은 오염된 꿈이 어떻게 "잘못되었는지"(현실의 자연스러운 경로를 벗어남) 알고 있기 때문에, 탐지기를 만들었습니다.

작동 방식: 이들은 "디노이저(denoiser, 이미지를 깨끗하게 만드는 도구)"를 사용하여 꿈을 검사합니다. 만약 꿈이 자연스럽고 깨끗한 예측이라면 디노이저는 만족합니다. 하지만 꿈이 해킹되었다면 디노이저는 혼란에 빠지고 이를 경고합니다.
결과: 이 탐지기는 매우 뛰어납니다. 해킹된 꿈을 100% 잡아냈습니다(AUC 1.0).
함정: 연구진은 해킹을 탐지기로부터 숨기려는 "적응형 공격자(adaptive attacker)"를 만들어 테스트했습니다. 그 결과, 공격자가 해킹을 숨기려면 해킹을 멈춰야 한다는 것을 발견했습니다. 꿈을 오염시키면서 동시에 자연스럽게 보이게 만드는 것은 불가능합니다. 방어 체계는 유효합니다.

실제 세계 테스트

연구진은 자신의 꿈을 사용하여 움직임을 계획하는(오라클 방식) LaDi-WM이라는 특정 로봇 시스템에서 이를 테스트했습니다.

결과: 연구진이 인간은 알아차릴 수 없을 정도로 아주 미세한 노이즈로 꿈을 공격했을 때, 로봇의 성공률은 70%에서 5%로 급락했습니다.
비교: 만약 (표적 공격이 아닌) 일반적인 무작위 노이즈를 동일한 양만큼 추가했다면, 로봇은 여전히 잘 작동했습니다(70%). 이는 공격이 단순히 "카메라를 고장 낸 것"이 아니라, 로봇의 상상력을 구체적으로 타격했다는 것을 증명합니다.

요약

문제점: 자신의 "미래 예측"을 신뢰하는 로봇은 취약합니다.
공격: 입력값에 아주 작고 보이지 않는 변화를 주어 이러한 예측을 쉽게 깨뜨릴 수 있습니다.
방어: 이러한 깨진 예측은 "부자연스럽게" 보이기 때문에 쉽게 탐지할 수 있습니다.
교훈: 로봇의 몸이 튼튼하다고 해서 그 뇌(또는 플래너)까지 안전한 것은 아닙니다. 만약 로봇이 미래에 대한 신뢰하는 예측에 의존한다면, 그 예측은 새로운 위험 요소가 됩니다.

기술 요약: 신뢰받는 상상력(Trusted Imagination) 공격

문제 정의

최근의 시각-언어-행동(Vision-Language-Action, VLA) 정책은 '상상 후 행동(imagine-then-act)' 아키텍처를 점점 더 많이 채택하고 있습니다. 이 구조에서는 월드-액션 모델(World-Action Model, WAM)이 먼저 미래의 시각적 표현( $\tilde{z}$ )에 대한 잠재적 궤적을 생성한 후, 이를 조건부로 액션 정책이 작동합니다. 기존의 적대적 연구가 반응형 정책의 관측-행동 경로를 공격하는 데 집중하는 반면, 본 논문은 다운스트림 오라클(downstream oracles)이 소비하는 **신뢰받는 상상력(trusted imagination)**이라는 새롭고 구별되는 공격 표면을 식면합니다.

저자들은 반응형 정책이 오류를 수정할 수 있는 실세계의 폐쇄 루프(closed-loop) 내에서 실행되는 반면, 다운스트림 오라클(예: 안전 게이트, 시각적 모델 예측 제어(MPC) 플래너, 또는 '상상 후 검증' 검증기)은 WAM의 상상된 미래 $\tilde{z}$ 를 교정 신호가 없는 신뢰할 수 있는 예측으로 취급한다고 주장합니다. 결과적으로, 반응형 정책의 강건함이 WAM의 상상력에 의존하는 시스템의 강건함을 보장하지는 않습니다. 핵심 현상은 **비대칭성(asymmetry)**입니다. 즉, 상상력을 오염시키는 것(상상력을 자연스러운 매니폴드에서 벗어나게 하는 것)은 쉽지만, 이를 특정 타겟으로 정밀하게 유도하는 것은 어렵습니다.

방법론

위협 모델

저자들은 역량 기반의 화이트박스 위협 모델을 채택합니다:

공격자 역량: 공격자는 WAM과 인코더에 대한 완전한 접근 권한을 가지며(커크호프의 원리), $\ell_\infty$ 범위 내의 섭동 $\delta$ ( $\|\delta\|_\infty \leq \epsilon$ )를 사용하여 현재 카메라 관측값 $o$ 를 변조할 수 있습니다.
제약 조건: 공격자는 모델 가중치를 수정하거나, 오라클의 내부 구조에 접근하거나, 실제 미래를 관찰할 수 없습니다.
미분 가능성: 연속적인 확산 기반 WAM의 경우, 관측에서 상상된 미래로의 매핑( $o \to \tilde{z}$ )이 엔드 투 엔드로 미분 가능하다는 점(이산적인 벡터 양자화나 인플레이스 캐시 쓰기가 없음)을 활용하여 진정한 투영 경사 하강법(Projected Gradient Descent, PGD)을 가능하게 합니다.

공격 목표

논문은 두 가지 공격 목표(정의 2)를 정의합니다:

비표적 오염(Untargeted Corruption): 적대적 상상력 $\tilde{z}_{adv}$ 와 깨끗한 상상력 $\tilde{z}_{clean}$ 사이의 코사인 유사도를 최소화함으로써 두 값 사이의 발산을 최대화합니다. 이는 $\tilde{z}$ 를 자연스러운 미래의 매니폴드 밖으로 밀어내는 것을 목표로 합니다.
표적 유도(Targeted Steering): $\tilde{z}_{adv}$ 를 공격자가 선택한 특정 타겟 $\tilde{z}_{tgt}$ (예: 다른 장면 또는 명령)로 유도하려고 시도합니다.

탐지 메커니즘

저자들은 파라미터가 필요 없는 **디노이저 자기 일관성 탐지기(denoiser self-consistency detector)**를 제안합니다. 오염된 상상력은 본질적으로 "오프-매니폴드(off-manifold)" 상태(모델이 학습한 자연스러운 미래의 저차원 매니폴드에서 벗어난 상태)이기 때문에, 탐지기는 작은 노이즈 수준에서의 평균 미래 프레임 속도-예측 노름(velocity-prediction norm)을 측정합니다. 높은 노름은 샘플이 매니폴드를 벗어났으며 오염되었을 가능성이 높음을 나타냅니다. 이 탐지기는 깨끗한 참조 데이터가 필요하지 않습니다.

주요 기여

새로운 공격 표면: imagine-then-act 방식의 WAM이 가진 신뢰받는 상상력에 대한 최초의 화이트박스 무결성 공격을 제시합니다. 저자들은 관측-상상 매핑이 잠재적 미래에 대한 진정한 경사 기반 공격을 허용함을 입증했습니다.
비대칭 메커니즘: 비표적 오염이 표적 유도보다 훨씬 쉽다는 것(무작위 노이즈보다 약 60배 강력함)과 시각적으로도 확인된다는 점을 입증했습니다. 반면 임의의 장면으로의 표적 유도는 엄격히 제한됩니다. 이러한 비대칭성은 단순히 잠재적 코사인 유사도가 아닌, 디코딩된 프레임의 증거에 의해 결정됩니다.
강건한 방어: 파라미터가 필요 없는 디노이저 탐지기는 깨끗한 상상력과 적대적 상상을 구분하는 데 있어 AUC 1.0을 달eric합니다. 결정적으로, 이 방어는 적응형 공격자에게도 유효합니다. 매니폴드 위에 머물러 탐지를 피하려는 공격자는 상상력을 오염시키는 능력을 포기해야만 합니다.
태스크 수준의 Null 대 오라클 실패: 논문은 반응형 정책은 오염된 상상력에도 불구하고 강건함을 유지한다(성공률이 거의 떨어지지 않음)는 "정직한 Null(honest null)"을 보여줍니다. 그러나 이는 네이티브 상상력이 결합된 MPC에서 오라클의 신뢰가 오염된 $\tilde{z}$ 로 인해 파멸적인 의사결정으로 이어지는 최초의 **공격자 특이적 실제 태스크 실패(adversary-specific real task failure)**를 보여줍니다.

실험 결과

연구는 상상력-행동 결합의 세 가지 타겟인 RynnVLA-002(분리된 결합), LingBot-VA(약한 결합/오라클), LaDi-WM(강한 네이티브 결합)을 평가합니다.

비표적 오염: LingBot-VA에서 비표적 공격은 무작위 노이즈보다 최대 60배 높은 오염도를 달성했습니다. $\epsilon=0.1$ 에서 피델리티 검증기(fidelity verifier)는 0%의 거짓 양성률과 함께 100%의 사례에서 "신뢰할 수 없음"으로 판정했습니다. 디코딩된 프레임은 시각적으로 눈에 띄는 아티팩트(번짐, 고스팅 현상)를 보여주었습니다.
표적 유도: 잠재적 코사인 지표는 일부 유도를 시사했으나, 디코딩된 프레임과 검증기는 진정한 의미의 다른 장면으로 유도하는 것이 제한적임을 보여주었습니다. 교차 장면 타겟의 경우, 좁혀진 간격은 약 0.2에 불과했으며, 검증기는 8개 사례 중 0개에서 적대적 상상력을 올바르게 거부했습니다.
탐지: 디노이저 자기 일관성 탐지기는 $\epsilon \geq 0.2$ 에서 AUC 1.0을 달성했습니다. 표면 통계(RMS, max-abs)는 공격을 탐지하는 데 실패하여, 공격이 $\ell_\infty$ 예산 내에 있으면서도 매니폴드를 벗어난다는 점을 확인시켜 주었습니다.
적응형 공격자: 공격자가 오염도와 탐지 점수를 결로한 손실 함수를 최소화했을 때, 탐지 회피를 위해서는 오염도를 크게 줄여야 했으며(0.279에서 0.064로), 이는 방어가 유효함을 증명합니다.
실제 태스크 실패 (LaDi-WM MPC): 샘플링 MPC 설정에서 적대적 오염은 성공률의 급격한 하락을 초-래했습니다. $\epsilon=0.01$ 에서 무작위 노이즈는 약 0.70의 성공률을 유지(깨끗한 상태와 유사)한 반면, 적대적 공격은 성공률을 0.05로 떨어뜨렸습니다 (Fisher $p < 10^{-4}$ ). 이 "공격자 특이적 창(adversary-specific window)"은 오라클이 상상력에 의존할 때 발생하는 고유한 취약성을 보여줍니다.

의의 및 주장

본 논문은 시스템이 신뢰받는 상상력에 의존할 때 정책의 강건함이 곧 시스템의 강건함은 아니다라고 주장합니다. 핵심 논지는 "신뢰받는 상상력"이 실세계의 교정 신호가 없는 다운스트림 오라클(플래너, 검증기, 안전 게이트 등)에게 치명적인 취약점이라는 것입니다.

이 연구의 의의는 다음과 같습니다:

'상상 후 행동' 패러다임이 액션 경로와는 별개의 특정 공격 표면을 도입함을 식별했습니다.
반응형 정책은 오염된 내부 특징을 견딜 수 있지만, 이러한 특징을 예측으로서 행동(act)에 사용하는 시스템(오라클)은 공격자 특이적 실패를 겪는다는 것을 입증했습니다.
오염의 본질적인 "오프-매니폴드" 특성이 적응형 공격자에게도 효과적인 파라미터 프리 탐지를 가능하게 함을 보여주었습니다.

저자들은 한계점도 명시했습니다: 평가는 시뮬레이션 기반(LIBERO-10)이며, 표적 유도는 제한적이고(임의로 장면을 제어할 수 없음), 가용성 영향(태스크 성공률 하락)은 통계적으로 유의미하지만 초기 파일럿 추정치에 비하면 그 규모가 크지 않습니다. 결론적으로, 주요 위협은 정책의 행동을 임의로 탈취하는 것이 아니라, 오라클의 의사결정 과정을 오염시키는 것입니다.