기술 요약: ARB4WM – 연속 제어를 위한 월드 모델의 적대적 강건성 벤치마크

1. 문제 정의

월드 모델, 특히 Dreamer 스타일의 에이전트는 계획 및 의사결정을 위한 잠재 역학(latent dynamics)을 학습할 수 있는 능력 덕분에 로보틱스나 자율 주행과 같은 안전이 중요한 연속 제어 시스템에 점점 더 많이 배치되고 있습니다. 모델 프리(model-free) 에이전트가 관측값을 행동으로 직접 매핑하는 것과 달리, 월드 모델은 시각적 입력을 압축된 잠재 상태(latent states)로 인코딩하고, 순환 역학(recurrent dynamics)을 학습하며, 상상된 궤적(imagined trajectories)을 통해 행동을 최로화합니다.

기존 연구들이 강화 학습(RL) 에이전트가 적대적 관측값에 취약하다는 점을 입증해 왔으나, 월드 모델에 대한 기존의 평가는 불충분합니다. 현재 대부분의 벤치마크는 모델 프리 정책에 집중하거나 에이전트를 단순한 정책 네트워크로 취급하여, 행동 공간의 강건성만을 평가합니다. 이러한 접근 방식은 다음과 같은 요소들을 오염시킬 수 있는 월드 모델 파이프라인 특유의 실패 모드를 포착하지 못합니다:

• 순환 믿음 상태 (잠재 역학).
• 상상된 롤아웃(rollout)에 사용되는 가치 예측.
• Recurrent State-Space Model (RSSM) 내의 사후 분포(posterior)와 사전 분포(prior) 간의 일관성.

결과적으로, 적대적 시각적 섭동(perturbation)이 서로 다른 월드 모델 아키텍처 전반에 걸쳐 잠재 의사결정 파이프라인의 어느 지점에서 어떻게 방해를 일으키는지 진단할 수 있는 통합된 프레임워크가 부족한 실정입니다.

2. 방법론: ARB4WM 프레임워크

저자들은 시각적 섭동 하에서 월드 모델 에이전트를 평가하기 위해 설계된 반복 가능한 강건성 테스트 프레임워크인 ARB4WM을 제시합니다. 이 프레임워크는 MetaWorld와 DeepMind Control Suite(DMC)의 20개 태스크에 대해 네 가지 Dreamer 계열 에이전트(Dreamer, R2-Dreamer, Dreamer-InfoNCE, Dreamer-Pro)를 평가합니다.

2.1. 통합 공격 인터페이스

ARB4WM은 추론 및 상상 롤아웃 과정 중 Dreamer 파이프라인의 내부 구성 요소에 접근할 수 있는 통합 인터페이스를 정의합니다. 이를 통해 단순히 최종 행동 출력만을 공격하는 것이 아니라, 특정 아키텍처 요소들을 표적으로 삼은 정밀한 공격이 가능합니다.

2.2. 다섯 가지 화이트박스 공격 목표

본 프레임워크는 월드 모델 파이프라인의 서로 다른 구성 요소를 겨냥하는 다섯 가지 별도의 손실 목표(loss objectives)를 도입합니다:

1. 정책 발산 공격 (Policy Divergence Attack, PDA): 깨끗한 정책 분포와 적대적 정책 분포 사이의 쿨백-라이블러(Kullback–Leibler) 발산을 최대화합니다 ($\mathcal{L}_{PDA} = D_{KL}(\pi_{clean} \parallel \pi_{adv})$).
2. 정책 엔트로피 공격 (Policy Entropy Attack, PEA): 적대적 정책의 엔트로피를 최대화하여 결단력 저하(indecisiveness)를 유도합니다 ($\mathcal{L}_{PEA} = \mathcal{H}(\pi_{adv})$).
3. 가치 억제 공격 (Value Suppression Attack, VSA): 크리틱(critic)의 예측 상태 가치를 최소화하여 장기 계획을 불안정하게 만듭니다 ($\mathcal{L}_{VSA} = -V(\tilde{f}_t)$).
4. 잠재 드리프트 공격 (Latent Drift Attack, LDA): 깨끗한 잠재 상태와 적대적 잠재 상태(확률적 $z_t$ 및 결정론적 $h_t$ 모두) 사이의 제곱 $L_2$ 거리를 최대화하여 믿음 상태를 오염시킵니다 ($\mathcal{L}_{LDA} = \|z_t - z^{clean}_t\|^2_2 + \|h_t - h^{clean}_t\|^2_2$).
5. 역학 일관성 공격 (Dynamics Consistency Attack, DCA): RSSM의 사후 분포와 사전 분포 사이의 KL 발산을 최대화하여 잠재 상상의 일관성을 깨뜨립니다 ($\mathcal{L}_{DCA} = D_{KL}(q(z_t) \parallel p(z_t))$).

2.3. 최적화 및 시간적 프로토콜

• 최적화 도구 (Optimizers): 프레임워크는 단일 단계(FGSM) 및 다단계 반복(PGD) 경사 하강법 기반 공격을 모두 채택합니다.
• 시간적 노출 모드 (Temporal Exposure Modes): 현실적인 제약 조건을 시뮬레이션하고 순환 상태의 전파를 연구하기 위해 다음 모드를 평가합니다:
  • 전체 프레임 (Full-frame): 모든 프레임을 섭동 (최대 압박).
  • 절반 시퀀스 (Half-sequence): 에피소드의 첫 번째 또는 두 번째 절반만 섭동하여 회복력과 장기 전파를 테스트.
  • 희소 주기적 (Sparse-periodic): 매 $n$ 프레임마다 섭동하여 간헐적 공격에 대한 잠재 역학의 탄력성을 테스트.

2.4. 평가 지표

프레임워크는 다음을 보고합니다:

• 정규화된 곡선 아래 면적 (nAUC): 섭동 예산(budget)에 따른 성능을 종합합니다.
• 방어 회복력 (Defense Recovery): 입력 방어 기제(예: JPEG 압축, 중간값 필터링)가 성능을 얼마나 복구하는지 측정합니다.
• 적응형 방어 격차 (Adaptive-Defense Gap): 공격자가 방어 기제를 인지했을 때 방어 효과가 떨어지는 정도를 정량화합니다.
• 정책 살리언시 진단 (Policy Saliency Diagnostics): 적대적 목표가 정책이 사용하는 공간적 증거(살리언시 맵)를 어떻게 변화시키는지 분석합니다.

3. 주요 결과

20개 태스크와 4개 에이전트에 대한 실험을 통해 다음과 같은 결과가 도출되었습니다:

• 구성 요소별 취약성: 가치 추정(VSA), 잠재 표현(LDA), RSSM 역학(DCA)을 겨냥한 공격은 직접적인 정책 교란(PDA/PEA)만큼이나 치명적인 것으로 나타났습니다. 많은 경우 VSA와 PEA가 가장 강력한 공격 목표였으며, 이는 크리틱이나 정책의 불확실성을 오염시키는 것이 매우 효과적임을 시사합니다.
• 시간적 전파: 전체 프레임 공격이 가장 심각한 성능 저하를 일으켰습니다. 결정적으로, 초기 섭동(전반부 공격)은 후반부 섭동보다 종종 더 큰 피해를 주었는데, 이는 순환 잠재 상태에 주입된 오류가 공격이 멈춘 후에도 지속되고 전파됨을 시사합니다. 희소 공격(2프레임마다) 또한 상당한 성능 저하를 일으켰으나, 간격이 높아질수록(4~6프레임마다) 잠재 상태가 다시 안정화(re-anchor)되는 양상을 보였습니다.
• 아키텍처 민감도: R2-Dreamer는 벤치마크 전반에서 가장 강력한 평균 강건성을 보인 반면, Dreamer-Pro는 개선된 표현 학습 설계에도 불구하고 지속적으로 가장 약한 모습을 보였습니다. 이는 명목상의 표현 품질이 반드시 적대적 안정성을 보장하지는 않는다는 것을 시사합니다.
• 방어의 한항계: 입력 수준의 방어(JPEG, 중간값 필터링)는 비적응형 공격 하에서는 부분적인 회복을 제공했으나, 적응형 공격에 대해서는 제한적인 보호만을 제공했습니다. 방어의 효과는 태스크에 따라 크게 달랐습니다. 예를 들어, 중복된 시각적 단서가 있는 조작(manipulation) 태스크에서는 도움이 되었으나, 정밀한 특징 추출이 필요한 균형 제어(balance-control) 태스크에서는 효과가 없었습니다.
• 살리언시 변화: 적대적 목표는 정책의 공간적 민감도를 변화시켰습니다. 가치 및 역학 일관성(VSA, DCA)에 대한 공격은 정책 수준의 공격보다 정책의 주의(attention)를 타겟 영역으로부터 더 크게 이탈시키는 경 경향이 있었습니다.

4. 의의 및 주장

본 논문은 ARB4WM이 단순한 행동 공간의 강건성을 넘어 월드 모델 에이전트의 안전 평가에 대한 중요한 공백을 메운다고 주장합니다. 주요 기여와 시사점은 다음과 같습니다:

1. 총체적 안전 평가: 저자들은 월드 모델의 강건성 평가는 정책 출력, 크리틱 추정, 잠재 표현, 그리고 역학 일관성을 포함한 전체 잠재 의사결정 파이프라인을 다루어야 한다고 주장합니다. 행동 공간 지표에만 의존하는 것은 시스템을 통해 전파되는 내부 실패 모드를 놓칠 수 있습니다.
2. 시간적 위험 인식: 프레임워크는 시간적 노출 프로토콜이 위험 평가에 필수적임을 강조합니다. 잠재 상태 오염의 지속성을 고려할 때, 안전 평가는 제어기가 간헐적이거나 초기 단계의 교란으로부터 회복할 수 있는지 여부를 반드시 고려해야 합니다.
3. 방어의 현실성: 결과는 입력 수준의 방어가 완전한 인증 메커니즘이 아닌 부분적인 완화책으로 취급되어야 함을 시사합니다. 상당한 "적응형 방어 격차"는 방어 기제가 방어 파이프라인을 통해 최적화하는 공격자에게도 검증되어야 함을 나타냅니다.
4. 아키텍처적 함의: 연구 결과는 표현 학습 목표(예: R2-Dreamer의 중복성 감소 vs. Dreamer-Pro의 프로토타입 학습)의 선택이 인코더-RSSM-헤드 구성의 국소적 기하학적 구조(local geometry)에 직접적인 영향을 미치며, 결과적으로 적대적 강건성에 영향을 미친다는 점을 시사합니다.

요약하자면, ARB4WM은 월드 모델 에이전트의 구체적인 실패 모드를 진단하기 위한 표준화되고 반복 가능한 워크플로우를 제공하며, 산업 및 안전 중심 애플리케이션을 위한 더 강력한 시각적 모델 기반 제어 시스템 개발의 토대를 마련합니다.