기술 요약: 궤적 최적화 모델에 대한 행동 수준 백도어 공격 TrojanTO

문제 제기

궤적 최적화 (TO) 모델인 Decision Transformers(DT) 와 Decision ConvFormers(DC) 는 로봇 공학 및 신체화 지능과 같은 연속 행동 공간이 필요한 분야에서 오프라인 강화 학습 (RL) 을 위한 강력한 도구로 부상했습니다. 그러나 전통적인 RL 에이전트에 비해 보안 취약점은 아직 크게 탐구되지 않았습니다.

기존 RL 의 백도어 공격은 일반적으로 훈련 단계 동안 보상을 조작하여 트리거를 악성 정책과 연결하는 방식에 의존합니다. 이 패러다임은 TO 모델에 대해 세 가지 주요 이유로 비효율적입니다:

1. 훈련 패러다임: TO 모델은 보상 신호를 통한 장기적 보상 최적화가 아닌, 상태와 잔여 보상 (returns-to-go) 에 맞춰 행동을 적합시키는 재구성 손실을 최소화하는 시퀀스 모델링 에이전트로 작동합니다. 따라서 본질적으로 보상 조작에 둔감합니다.
2. 규모와 비용: TO 모델은 대규모 기반 모델입니다. 백도어를 주입하기 위해 이를 재훈련하는 것은 계산 비용이 너무 많이 들어 전통적인 훈련 시간 공격을 비현실적으로 만듭니다.
3. 행동 공간의 복잡성: 무한한 행동 공간의 특성과 정밀한 제어의 필요성으로 인해, 고차원 연속 행동 공간에 효과적인 백도어를 주입하는 것은 이산 공간보다 훨씬 더 어렵습니다.

이 논문은 TO 모델에 특화된 효과적이고 은밀한 훈련 후 행동 수준 백도어 공격의 부재를 중요한 격차로 지적합니다.

방법론: TrojanTO

저자들은 TO 모델에 맞춰진 최초의 행동 수준 백도어 공격 프레임워크인 TrojanTO를 제안합니다. 이전 방법들과 달리 TrojanTO 는 원래 훈련 데이터셋에 접근할 수 없는 상태에서 사전 훈련된 모델을 수정하는 훈련 후 공격으로 작동합니다. 이는 트리거와 목표 행동 간의 강력하고 은밀한 연결을 형성하기 위해 세 가지 구성 요소 전략을 사용합니다:

1. 궤적 필터링 (Trajectory Filtering, TF)

모델이 저품질 데이터에 과적합되어 정상적인 성능이 저하되는 것을 방지하기 위해, TrojanTO 는 사용 가능한 데이터셋을 필터링합니다. 이는 더 긴 궤적이 성공적인 행동을 더 잘 대표한다고 가정하여, 특정 길이 임계값 ($\epsilon$) 을 초과하는 궤적만 유지합니다. 이를 통해 백도어 훈련 데이터가 고품질 평가 분포와 일치하도록 보장합니다.

2. 배치 오염 (Batch Poisoning, BP)

은밀성과 훈련 안정성을 유지하기 위해, TrojanTO 는 트리거에 대한 분포 외 (OOD) 문제를 유발할 수 있는 전체 배치를 오염시키는 것을 피합니다. 대신 합의 오염 전략을 사용합니다:

• 각 훈련 배치에서 단일 무작위 전이 (transition) 를 선택하여 오염시킵니다.
• 이 전이의 상태에 트리거 $\delta$를 추가하여 교란시키고, 행동을 목표 행동 $a^\dagger$로 교체합니다.
• 손실 함수는 오염된 전이에서 $a^\dagger$를 예측하도록 모델을 강제하는 백도어 손실과 변경되지 않은 전이에서 성능을 유지하는 클린 손실을 결합합니다. 이 공동 최적화를 통해 모델은 주요 작업을 잊지 않고 백도어를 학습합니다.

3. 교차 훈련 (Alternating Training, AT)

트리거와 목표 행동 간의 결합을 강화하기 위해, TrojanTO 는 입력 모델 공동 최적화 (IMC) 에서 영감을 받은 이 수준 최적화 프레임워크를 활용합니다. 이는 다음 두 단계를 교대로 수행합니다:

• 트리거 학습: 백도어 손실을 최대화하기 위해 모멘텀 반복적 빠른 그라디언트 부호 방법 (MI-FGSM) 을 사용하여 트리거 값 $\delta$를 최적화합니다.
• 매개변수 업데이트: 결합된 손실을 최소화하기 위해 모델 매개변수 $\tilde{\pi}$를 업데이트합니다.
  이 교차 과정은 지정된 예산 동안 계속된 후, 백도어를 확고히 하기 위해 모델 매개변수 업데이트에만 초점을 맞춥니다.

주요 기여

1. TO 에서의 행동 수준 백도어에 대한 첫 번째 체계적 연구: 이 논문은 보상 조작 (TO 에는 비효율적) 에서 트리거 - 목표 행동 결합으로 초점을 이동시킨 TO 모델에 대한 최초의 훈련 후 행동 수준 백도어 공격을 소개합니다.
2. 공격 요인에 대한 실증적 조사: 광범위한 제거 실험을 통해 저자들은 다음을 입증했습니다:
   • 목표 행동 선택: 내부 행동보다 경계 행동 (예: $+1$ 또는 $-1$) 이 공격 성공률 (ASR) 을 훨씬 더 높게 만듭니다.
   • 트리거 설계: 트리거의 특정 차원과 값이 중요합니다. MI-FGSM 을 통해 최적화된 학습 가능한 트리거는 수동 제작 또는 데이터셋에서 파생된 트리거보다 성능이 뛰어납니다.
   • 보상 조작: 백도어 훈련 중 보상 신호를 변경하는 것은 ASR 또는 정상 작업 성능 (BTP) 에 미미한 영향을 미치며, 이는 보상 해킹이 TO 모델에 대한 유효한 벡터가 아님을 확인시켜 줍니다.
3. TrojanTO 프레임워크: 극히 낮은 공격 예산 (궤적의 0.3%) 으로 높은 효과를 달성하면서도 높은 은밀성을 유지하는 새로운 공격 프레임워크를 제안합니다.

실험 결과

저자들은 세 가지 TO 모델 아키텍처 (DT, GDT, DC) 를 사용하여 여섯 가지 D4RL 환경 (Hopper, HalfCheetah, Walker2d, AntMaze, Kitchen, Pen) 에서 TrojanTO 를 평가했습니다.

• 효과성: TrojanTO 는 평균 공격 성공률 (ASR) 0.719와 정상 작업 성능 (BTP) 0.914를 달성했습니다.
• 비교: 이는 베이스라인을 크게 능가했습니다:
  • Baffle: 10% 오염 비율이 필요했으며 0.369 의 ASR 과 0.792 의 BTP 를 달성했습니다.
  • IMC: 0.575 의 ASR 과 0.853 의 BTP 를 달성했습니다.
  • TrojanTO 의 전체 복합 성능 (CP) 점수는 0.701로, Baffle 대비 약 105% 의 개선을 나타냈습니다.
• 강건성: 이 공격은 트리거 교란 (노이즈) 하에서도 효과적이었으며, 트리거 활성화 후 여러 단계에 걸쳐 목표 행동을 유지하는 지속성을 보여주었습니다.
• 방어: 논문은 가중치 가지치기, 스펙트럼 분석, 활성화 클러스터링, 증명 가능한 방어 등 여러 방어를 테스트했고 대부분이 비효율적임을 발견했습니다. 파인튜닝이 가장 효과적인 방어 수단으로 확인되었으나, 재훈련이 필요하다는 단점이 있습니다.

중요성과 주장

이 논문은 TrojanTO 가 TO 모델 공급망에서 중요하지만 아직 탐구되지 않은 취약점을 노출한다고 주장합니다. 훈련 후 공격이 대규모 시퀀스 모델링 에이전트에 대해 가능할 뿐만 아니라 매우 효과적임을 입증함으로써, 이 연구는 훈련 패러다임으로 인해 TO 모델이 안전하다는 가정에 도전합니다.

저자들은 TO 에서의 행동 수준 백도어의 핵심이 보상 조작이 아닌 트리거 설계에 있음을 강조합니다. 이 통찰력은 사전 훈련된 기반 모델에 의존하는 오프라인 RL 시스템의 보안 프로토콜을 재평가해야 할 필요성을 제기합니다. 이 연구는 이러한 위협을 이해하기 위한 벤치마크 역할을 하며, 차세대 의사결정 AI 를 위한 강력한 대응책 개발을 촉진합니다.