기술 요약: TRAP - 세계 모델 계획 Tail 인식 순위 공격

문제 정의

세계 모델은 일반 에이전트가 내부적으로 상상한 궤적을 생성하고 평가함으로써 장기 계획 수행을 가능하게 합니다. 이러한 상상 기반 프로세스는 강력한 추론 능력을 제공하지만, 기존 백도어 공격이 효과적으로 활용하지 못하는 고유한 보안 취약점을 도입합니다.

전통적인 백도어 공격은 일반적으로 국소 특징, 한 단계 예측, 또는 순간 정책 출력을 대상으로 합니다. 그러나 이러한 목표는 세계 모델에 대해 두 가지 구조적 이유로 종종 효과가 없습니다:

1. 국소 교란의 감쇠: 세계 모델에서 결정은 다단계 동역학과 보상 누적에 의존합니다. 한 단계 예측에서의 국소 트리거 유발 편차는 학습된 동역학 사전과 시간에 따른 계획 프로세스에 의해 흡수되거나 소멸되거나 상쇄되는 경우가 많습니다.
2. 결정 메커니즘과의 불일치: 기존 공격들은 세계 모델 계획의 핵심 결정 메커니즘인 후보 궤적의 상대적 순위를 표적으로 삼지 않습니다. 계획자는 단일 궤적의 절대 점수가 아닌 상상된 미래들의 비교적 순위에 기반하여 행동을 선택하므로, 단일 잠재 상태나 행동 출력을 이동시키는 것은 종종 최종 계획 결과를 변경하지 못합니다.

본 논문은 상상된 궤적의 장꼬리 순위 구조에 뿌리내린 고유한 취약점을 식별합니다. 깨끗한 조건에서 궤적 점수는 매우 편향된 분포를 보이며, 소수의 고가치 "꼬리" 궤적만이 의사결정을 지배합니다. 이러한 특정 의사결정 핵심 궤적들의 순서를 교란하면 계획 프로세스를 체계적으로 장악할 수 있습니다.

방법론: TRAP 프레임워크

저자들은 TRAP(World-Model Planning을 위한 Tail 인식 순위 공격)을 제안합니다. 이는 트리거 조건부 추론 시간 백도어 공격 프레임워크입니다. TRAP 은 모델 파라미터를 수정하거나 학습 파이프라인을 오염시키지 않고, 배포 시 입력 관찰에 공간적으로 국소화된 시각적 트리거 패치를 적용합니다.

이 프레임워크는 두 가지 핵심 구성 요소로 이루어집니다:

1. Tail 인식 순위 손실

TRAP 은 모든 상상된 궤적을 균일하게 교란하는 대신, 깨끗한 궤적 분포의 고점수 꼬리에 최적화를 집중합니다.

• 식별: 주어진 관찰에 대해 시스템은 깨끗한 점수 분포의 상위 분위수에 속하는 궤적 단계의 하위 집합 (즉, "꼬리") 을 식별합니다.
• 목표: 공격은 이러한 의사결정 핵심 꼬리 궤적들의 점수를 다른 것들에 비해 억제하는 것을 목표로 합니다. 손실 함수는 이러한 마스킹된 꼬리 단계에 대해 특히 점수 편차 ($\Delta J$) 를 집계합니다.
• 집계: 소프트민 (softmin) 연산자를 후보 궤적들에 적용하여 꼬리 점수를 줄이는 것이 여전히 어려운 궤적들을 우선적으로 억제함으로써, 공격이 가장 영향력 있는 미래를 표적하도록 보장합니다.

2. 이중 게이트 메커니즘

Tail 인식 손실의 최적화를 안정화하고 공격이 깨끗한 성능을 저하시키거나 불안정해지는 것을 방지하기 위해 TRAP 은 두 가지 게이트 손실을 도입합니다:

• 부호 게이트 ($L_{sign}$): 트리거가 우연히 궤적의 점수를 증가시키는 ($\Delta J > 0$) 업데이트에 페널티를 부과합니다. 이는 공격 방향이 일관되게 (억제) 유지되도록 보장합니다.
• 크기 게이트 ($L_{mag}$): 과도한 억제를 방지합니다. 궤적의 점수 편차가 안전 마진 ($\Delta J < -\beta$) 을 초과하면 추가 억제가 페널티를 받습니다. 이는 최적화 안정성을 유지하고 불필요한 왜곡을 방지합니다.

전체 공격 목표는 Tail 인식 손실, 이중 게이트 손실, 그리고 트리거 패치가 공간적으로 매끄럽고 경계되도록 보장하는 표준 이미지 공간 정규화 (총 변동 및 $L_2$ 노름) 를 결합합니다.

주요 기여

1. 세계 모델을 위한 최초의 추론 시간 백도어: TRAP 은 추론 중에 트리거 조건부 백도어 공격을 수행하여 파라미터 조작 없이 시각적 트리거를 통해 장기 의사결정을 조작하는 세계 모델을 위한 최초의 프레임워크입니다.
2. 순위 취약점 식별: 이 연구는 세계 모델 계획에서 주요 공격 표면으로 후보 궤적의 상대적 순위를 식별하여, 한 단계 예측 오류나 잠재 표현 조작과 같은 기존 목표를 넘어섭니다.
3. Tail 인식 공격 공식화: 저자들은 안정적이고 행동 보존적인 계획 결과 조작을 달성하기 위해 이중 게이트 메커니즘과 결합된 새로운 Tail 인식 순위 목표를 도입합니다.
4. 실증적 검증: 이 프레임워크는 다양한 작업에 걸쳐 대표적인 세계 모델 (DreamerV3 및 TD-MPC2) 에서 검증되었으며, 높은 효과성과 전이성을 입증했습니다.

실험 결과

저자들은 연속 제어 (DMControl), 희소 보상 계획 (Crafter), 이산 행동 (Atari) 환경에서 DreamerV3(잠재 상상 기반 정책 최적화) 와 TD-MPC2(모델 예측 제어) 에 대해 TRAP 을 평가했습니다.

• 공격 효과성: TRAP 은 무작위 패치 베이스라인보다 일관되게 우수한 성과를 거두었습니다.
  • DreamerV3(Crafter) 에서 TRAP 은 베이스라인의 무시할 수 있는 저하와 비교하여 **63.2%**의 평균 보상 감소와 **98.1%**의 공격 성공률 (ASR) 을 달성했습니다.
  • TD-MPC2(hopper-hop) 에서 TRAP 은 **99.8%**의 평균 보상 감소와 **100%**의 ASR 을 달성했습니다.
  • 대부분의 작업에서 TRAP 은 ASR 을 거의 100% 로 끌어올려, 트리거가 존재할 때마다 지속적인 행동 편차를 유발함을 나타냈습니다.
• 깨끗한 충실도: 공격은 깨끗한 입력에서 정상적인 행동을 유지하며, 트리거가 없을 때 성능에 미치는 영향은 미미합니다.
• 효율성: 공격은 상대적으로 적은 계산 오버헤드 (깨끗한 평가 대비 일반적으로 0.8 배에서 1.3 배 사이의 런타임 오버헤드) 만 발생합니다.
• 강건성: 진단 실험은 TRAP 이 다양한 패치 크기와 교란 예산에서도 효과적임을 보여줍니다. 또한 표준 이미지 공간 방어 (예: 중앙값 필터링, JPEG 압축, 가우시안 스무딩) 에 대한 저항성을 보여주지만, 이러한 방어들은 어느 정도 효과성을 감소시킵니다.

중요성 및 주장

본 논문은 TRAP 이 세계 모델 기반 에이전트의 근본적인 보안 격차를 노출한다고 주장합니다. 이 연구의 중요성은 다음을 입증하는 데 있습니다:

• 구조적 취약성: 의사결정을 위해 고가치 꼬리 궤적의 순서에 의존하는 것은 표준 백도어 공격이 놓치는 특정 취약점을 생성합니다.
• 공격의 지속성: 반응형 모델에 대한 공격과 달리, TRAP 은 계획자가 미래 평가를 위해 의존하는 궤적 순서를 교란하기 때문에 장기적으로 지속되는 행동 편차를 유발합니다.
• 새로운 방어의 필요성: 이러한 발견은 현재 보안 평가가 세계 모델 구동 에이전트에는 불충분함을 강조합니다. 저자들은 로봇 공학과 자율 주행과 같은 안전-중요 응용 분야에서 배포되기 전에 세계 모델의 계획 메커니즘에 특화된 전용 보안 평가, 강건성 분석 및 방어 설계의 필요성을 주장합니다.