기술 요약: WMAttack

문제 정의

강화학습 (RL) 에서 의사결정 에이전트로서 세계 모델 (world models) 의 채택이 증가하고 있음에도 불구하고, 그 적대적 견고성 (adversarial robustness) 에 대한 연구는 여전히 미흡합니다. 현재 평가 방법들은 정확성과 효율성 사이의 치명적인 트레이드오프에 직면해 있습니다. 약하고 수동으로 조정된 공격들은 종종 견고성을 과대평가하는 반면, 포괄적인 하이퍼파라미터 탐색은 계산적으로 불가능합니다. 이는 세계 모델 설정에서 단일 공격 후보를 평가하는 것이 학습된 잠재 역학을 통한 폐루프 롤아웃 (closed-loop rollouts) 을 필요로 하기 때문이며, 이는 표준 지도학습 평가보다 훨씬 비용이 많이 듭니다. 또한, 공격의 효과는 환경 역학, 관찰 공간, 그리고 적대적 하이퍼파라미터에 매우 민감하여 수동 조정은 신뢰할 수 없습니다. 본 논문은 적대적 조건 하에서 세계 모델 에이전트의 실패 모드를 체계적으로 드러내고 정량화하기 위한 전용 자동화 프레임워크의 부재를 지적합니다.

방법론

저자들은 유한한 평가 예산 하에서 세계 모델 에이전트를 평가하도록 설계된 자동화된 공격 탐색 프레임워크인 WMAttack을 제안합니다. 핵심 목표는 공격 패밀리를 포함하여 공격 구성 (공격 패밀리, 교란 예산, 최적화 단계, 재시작, 할당 규칙 등) 에 대한 검색 문제로 공식화하여, 보상 저하, 행동 불안정성, 평가 시간, 그리고 롤아웃 변동성을 균형 있게 고려하는 스칼라화 유틸리티 함수를 최대화하는 것입니다.

WMAttack 은 넓은 검색 공간을 탐색하기 위해 2 단계 최적화 과정을 사용합니다:

1. 표현 기반 공격 검색 (RGAR):
   새로운 작업 - 에이전트 쌍에 대한 효과적인 공격에 대한 사전 지식이 없는 평가자들의 '콜드 스타트 (cold-start)' 문제를 해결하기 위해, RGAR 은 표현이 유사한 작업들로부터 역사적 공격 구성을 검색합니다. 이는 깨끗한 궤적 (잠재 상태, 예측, 행동, 보상) 을 기반으로 새로운 작업의 잠재 행동 요약 ($\psi_\tau$) 을 구성합니다. 다양한 역학을 통합된 잠재 공간으로 투영함으로써, RGAR 은 상위 K 개의 유사한 역사적 기록을 식별하고 이를 공격 제안 분포 ($q_0$) 를 초기화하는 데 사용합니다. 이는 무작위 초기화에 의존하는 대신 교차 작업 경험을 활용하여 따뜻한 시작 (warm start) 을 제공합니다.

2. 자기 수정 공격 검색 (SCAS):
   초기화 후, SCAS 는 평가된 시험들로부터의 피드백을 사용하여 검색 전략을 반복적으로 정제합니다. 이는 순위가 매겨진 후보 생성기를 암시적 제안 분포 ($q_t$) 로 간주합니다. 폐루프 롤아웃을 통해 후보 배치들을 평가한 후, SCAS 는 다차원 피드백 (보상 저하, 행동 불안정성, 실행 시간, 변동성) 을 사용하여 제안 분포를 업데이트합니다. 고유틸리티 시험들은 지역적 정제를 위한 앵커 역할을 하는 반면, 피드백 신호는 검색 방향을 조정합니다 (예: 교란 예산 또는 최적화 단계 수정). 이 자기 수정 루프는 평가 예산을 세계 모델 실패를 드러낼 가능성이 더 높은 공격 공간 영역에 집중시킵니다.

이론적 기반: 본 논문은 제안 정제 (RGAR 또는 SCAS 를 통해) 가 확률 질량을 고유틸리티 공격 구성 (집합 $G_\eta$) 으로 이동시킬 경우, 유한한 예산 내에서 효과적인 공격을 발견할 확률이 증가함을 보여주는 이론적 설명을 제공합니다. 구체적으로, $q^*$가 유틸리티 편향 참조 분포일 때 업데이트 규칙 $C_\gamma(q) = (q + \gamma q^*)/(1+\gamma)$는, 참조 분포가 현재 제안보다 유효 집합에 더 집중되어 있다면 효과적인 구성을 샘플링할 확률이 증가함을 보장합니다.

주요 기여

1. 문제 공식화: 저자들은 세계 모델에 대한 적대적 견고성 평가를 유한 예산 공격 구성 검색 문제로 공식화하여, 다양한 작업, 모델, 하이퍼파라미터 설정에 걸쳐 고영향 공격을 효율적으로 식별하는 것을 목표로 합니다.
2. WMAttack 프레임워크: 그들은 RGAR 과 SCAS 를 결합한 자동화 프레임워크를 개발했습니다. RGAR 은 잠재 행동 표현을 통한 교차 작업 경험 이전을 가능하게 하고, SCAS 는 폐루프 피드백 기반 제안 정제를 통해 검색 노력을 적응적으로 집중시킵니다.
3. 이론적 통찰: 본 논문은 피드백 기반 제안 정제가 검색 효율성을 향상시키는 이유에 대한 이론적 설명을 제공하며, 확률 질량을 고유틸리티 구성으로 이동시키는 것이 효과적인 공격을 찾는 데 필요한 기대 도달 시간을 줄임을 보여줍니다.
4. 실증 평가: 다양한 세계 모델 아키텍처 (DreamerV2, DreamerV3, TD-MPC2, IRIS) 를 사용하여 Atari 와 DeepMind Control (DMC) 스위트의 46 개 작업에 대해 광범위한 실험이 수행되었습니다.

결과

평가 결과, WMAttack 은 무작위 검색과 클라우디니 (Claudini) 스타일의 자동 검색 베이스라인 (반복적 피드백을 사용하지만 교차 작업 검색은 부재) 보다 일관되게 더 강력한 공격을 발견함을 보여줍니다.

• 공격 강도: DreamerV3 Atari 에서 WMAttack 은 정규화된 보상 감소량 1.034를 달성하여 클라우디니 베이스라인 (0.497) 과 무작위 검색 (0.446) 을 크게 앞섰습니다. 이는 검색 비용이 공격 강도에 의해 정당화되었음을 나타내는 유일한 양의 스칼라화 유틸리티 (0.430) 를 산출한 방법이기도 합니다. DMC 에서는 WMAttack 이 보상 감소량을 클라우디니의 0.319 에서 0.682로 향상시켰습니다.
• 교차 모델 일반화: 이 프레임워크는 DreamerV2, TD-MPC2, IRIS 의 취약점을 성공적으로 드러냈으며, 이러한 서로 다른 아키텍처 전반에 걸쳐 보상 감소량과 행동 불안정성에서 일관된 개선을 달성했습니다.
• 검색 효율성: WMAttack 은 Atari 의 작업 - 공격 쌍 중 **87.5%**에서 최종 최선 유틸리티의 90% 에 도달했으며, 베이스라인의 약 53% 와 비교됩니다. DMC 에서는 히트율이 약 18% 에서 **49.0%**로 향상되었습니다.
• 애블레이션 연구:
  • RGAR 대 SCAS: RGAR 은 초기 후보의 품질 (1 회차 유틸리티) 을 크게 향상시켰으며, SCAS 는 이러한 후보들을 고유틸리티 최종 공격으로 정제하는 데 필수적이었습니다. 어느 단일 구성 요소도 결합된 시스템의 성능을 달성하지 못했습니다.
  • LLM 백본: LLM 백본의 선택 (예: Qwen2.5-3B 대 7B) 은 비단조적으로 성능에 영향을 미쳤습니다. 더 작은 모델 (3B) 이 때때로 보상 감소량과 유틸리티 측면에서 더 큰 모델 (7B) 보다 우수한 성과를 보였는데, 이는 효과가 파라미터 수뿐만 아니라 강도 - 비용 트레이드오프에 달려 있음을 시사합니다.

중요성과 주장

본 논문은 WMAttack 이 정적 적대적 평가 프로토콜 (지도 비전을 위한 AutoAttack 등) 과 세계 모델 평가의 동적이고 고비용인 요구 사항 사이의 간극을 메운다고 주장합니다. 평가를 자동화된 유한 예산 검색으로 취급함으로써, WMAttack 은 수동 조정이나 무작위 검색이 놓칠 수 있는 실패 모드를 드러내는 체계적인 방법을 제공합니다.

저자들은 그들의 목표가 전역 견고성을 인증하는 것이 아니라 고영향 공격을 효율적으로 발견하는 것이라고 강조합니다. 그 중요성은 세계 모델 간의 내재적 유사성을 활용 (RGAR 을 통해) 하고 폐루프 피드백에 기반하여 검색 전략을 적응 (SCAS 를 통해) 함으로써, 고정된 계산 예산 하에서 훨씬 더 강력한 적대적 구성을 발견할 수 있음을 입증한 데 있습니다. 이 접근법은 점점 더 복잡해지는 세계 모델 에이전트에 대한 안전 중심 평가의 실용적인 경로를 제공합니다.