기술 요약: 행동 복제(Behavioral Cloning) 정책에 대한 데이터셋 포이즈닝 공격

문제 정의

행동 복제(Behavioral Cloning, BC)는 전문가의 상태-행동 쌍을 이용한 지도 학습을 통해 순차적 의사결정 정책을 훈련하는 모방 학습(Imitation Learning, IL)의 지배적인 프레임워크이다. BC는 샘플 효율성이 높고 강화 학습(RL)에 내재된 시행착오 기반 탐색의 위험을 피할 수 있다는 장점이 있지만, 본질적인 취약성을 가지고 있다: 정책이 분포 외(out-of-distribution, OOD) 상태에 직면했을 때 오류가 누적되는 경향이 있다.

본 논문은 BC 정책의 데이터셋 포이즈닝 공격, 구체적으로 **클린 레이블 백도어 공격(clean-label backdoor attacks)**에 대한 보안 취약성을 다룬다. 이 위협 모델에서 공격자는 훈련 데이터셋에 소수의 악성 샘 샘플을 주입한다. 이 샘플들은 특정 시각적 "트리거"(예: 패치)를 포함하며 특정 행동(예: "가속")과 상관관서 있지만, 레이블(전문가 행동)은 변경되지 않은 상태로 유지된다. 목표는 훈련된 정책이 표준 조건에서는 정상적으로 작동하지만, 추론 시 트리거가 존재할 때마다 미리 결정된, 잠재적으로 치명적인 행동을 실행하도록 하는 "백도어"를 만드는 것이다.

모델 파라미터나 보상 함수에 대한 화이트박스 접근 권한이 필요한 기존의 RL 또는 BC 대상 적대적 공격과 달리, 본 연구는 훈련 데이터셋에 대한 최소한의 단순한 편집만을 요구하는 블랙박스 공격에 초점을 맞춘다.

방법론

위협 모델

저자들은 공격자가 훈련 데이터셋 $D$에 대한 전체 접근 권한을 가지지만, 다운스트림 정책 훈련 과정이나 최종 모델에 대한 화이트박스 접근 권한은 없는 시나리오를 정의한다.

• 목표: 테스트 시 특정 트리거가 존재할 때 학습된 정책 $\pi_{bc}$의 실패를 유도하여, 타겟 행동 $a_{target}$을 출력하게 함.
• 능력: 공격자는 시각적 관측값($s$)에 트리거를 삽입할 수 있으나, 전문가 행동($a$)은 변경할 수 없다. 테스트 시, 공격자는 정책 출력에 대한 블랙박스 접근 권한과 제한된 트리거 주입 예산($B$)을 가진다.

공격 전략

1. 클린 레이블 데이터셋 포이즈닝:
   공격자는 전문가 행동이 원하는 타겟(예: "가속")과 일치하는 상태-행동 쌍의 하위 집합을 선택한다. 이들은 타겟 행동 $a$를 변경하지 않은 채, 상태 관측값 $s$에 시각적 트리거($n \times n$ 픽셀 패치)를 삽로 삽입하여 포이즌된 쌍 $(\tilde{s}, a)$를 생성한다. 모델은 시각적 트리거와 타겟 행동 사이의 가짜 상관관계를 학습하게 된다.

2. 테스트 시점 트리거 공격:
   본 논문은 트리거 주입 시점이 정책 저하에 미치는 영향을 조사한다. 두 가지 전략을 비교한다:

   • 랜덤 트리거링 (Random Triggering): 무작위 타임 스텝에 트리거를 주입함.
   • 엔트로피 기반 트리거링 (Entropy-Based Triggering): 공격자가 정책을 쿼리하여 행동 분포의 엔트로피 $H(\pi(\cdot|s))$를 계산하는 새로운 전략이다. 트리거는 정책의 엔트로피가 낮지만(특정 행동에 대한 확신이 높음) 그 행동이 타겟 행동이 아닌 상태에서만 주입된다. 핵심 아이디어는 임계적인 저엔트로피 상태에서 고확신 정책을 타겟 행동으로 강제 전환시킴으로써, 데몬스트레이션 분포로부터 가장 큰 편차를 유발하여 오류를 누적시키는 것이다.

실험 설정

• 환경: OpenAI Gym Car Racing 환경 (96×96 RGB 이미지, 5개의 이산 행동).
• 데이터 생성: 1M 스텝 동안 훈련된 PPO 에이전트에 의해 생성된 전문가 데몬스트레이션.
• 모델: 3개의 컨볼루션 레이어와 3개의 완전 연결 레이어로 구성된 표준 CNN(Convolutional Neural Network).
• 트리거: 솔리드 레드 패치(높은 대비)와 가우시안 노이즈 패치(낮은 대비, 탐지가 더 어려움)를 테스트 대상으로 포함함.

주요 결과

1. 최소한의 포이즈닝에 대한 높은 취약성

연구 결과, BC 정책은 클린 레이블 백도어에 매우 취약하다는 것이 입증되었다.

• 포이즈닝 임계값: 전체 데이터셋의 단 2.31%( "가속" 액션 프레임의 5%에 해당)만을 포이즈닝하는 것만으로도 백도어를 구축하기에 충분하다.
• 제어율: 이 최소한의 포이즈닝 수준에서, 백도어 제어율(트리거가 타겟 행동을 유도하는 빈도)은 우연 수준에서 약 **100%**로 급증한다.
• 기만적 견고성: 정책이 완전히 장악되었음에도 불구하고, 포이즈닝 비율이 70~80%를 초과하기 전까지 평균 에피소드 보상은 베이스라인 근처(안정적)를 유지한다. 이는 표준 평가 지표(예: 평균 보상)가 백도어의 존재를 감지하는 데 실패할 수 있음을 나타낸다. 즉, 트리거가 없을 때 정책은 여전히 잘 작동하기 때문이다.

2. 트리거 특성의 영향

• 시각적 돌출성: 3×3 픽셀의 고대비 레드 패치가 가우시안 노이즈 패치보다 더 효과적이었으며, 5% 포이즈닝 시 가우시안 노이즈 패치의 백도어 제어 정확도는 80.35%인 반면 레드 패치는 96.45%를 달성했다.
• 탐지 vs 효능: 레드 패치는 더 눈에 띄지만, 가우시안 노이즈 패치는 단순한 방어 기제에 의한 탐지 확률이 낮아 더 은밀하며, 유사한 효능을 내기 위해 더 높은 포이즈닝 비율이 필요하다.

3. 엔트로피 기반 타이밍의 효과성

제안된 엔트로피 기반 테스트 타임 공격은 랜덤 트리거링보다 성능이 현저히 우수하다. 공격자의 목표와 관련하여 정책이 확신을 갖지만 틀린 임계 상태를 타겟팅함으로써, 공격자는 제한된 예산 내에서 정책 성능 저하를 극대화한다. 이 접근 방식은 단 하나의 오류가 임계 상태에서 연쇄적인 누적 오류를 일으킬 수 있는 BC의 순차적 특성을 활용한다.

기여 및 의의

본 논문의 주요 기여는 다음과 같다:

1. BC 포이즈닝에 대한 최초 분석: Behavioral Cloning 정책에 특화된 클린 레이블 데이터셋 포이즈닝 공격을 다룬 첫 번째 연구를 제시한다.
2. 민감도 분석: 포이즌된 데이터의 비율, 트리거 강도(패치 크기), 트리거 유형(색상 vs 노이즈)에 대한 종합적인 민감도 분석을 제공한다.
3. 새로운 공격 전략: 임계 상태를 타겟팅하여 공격 예산 사용을 최적화하고 랜덤 공격보다 우수한 성능을 보이는 엔트로피 기반 테스트 타임 트리거 공격을 도입하고 검증한다.
4. 보안적 시사점: BC 정책의 견고성에 대한 심각한 격차를 강조한다. 대규모 데이터셋으로 훈련된 정책(사이버 물리 시스템에서 점점 흔해지는 추세)이 높은 성능 지표를 유지하면서도 조작에 매우 취약해질 수 있음을 보여준다.

결론

저자들은 Behavioral Cloning 정책이 클린 레이블 백도어 공격에 매우 취약하다고 결론짓는다. 최소한의 포이즌된 데이터만으로도 정책을 무력화하면서도 작업 수행 능력은 베이스라인 수준으로 유지할 수 있다는 점은, 특히 이러한 시스템이 실제 사이버 물리 환경에 배치됨에 따라 모방 학습에 대한 견고한 훈련 및 탐지 방법에 대한 연구가 시급함을 시사한다.