기술 요약: BehaviorGuard: 심층 강화학습을 위한 온라인 백도어 방어

1. 문제 제기

심층 강화학습 (DRL) 은 자율 주행, 로봇 공학, 게임 등 안전이 중요한 분야에서 점점 더 많이 배포되고 있습니다. 그러나 DRL 정책은 훈련 중에 적대자가 숨겨진 메커니즘을 주입하는 백도어 공격에 매우 취약합니다. 이 메커니즘은 특정 트리거 (예: 시각적 패치 또는 상호작용 시퀀스) 가 존재할 때 에이전트가 악성 행위를 수행하도록 유도하는 반면, 그렇지 않은 경우에는 정상적인 성능을 유지합니다.

기존 방어 메커니즘은 다음과 같은 중대한 한계에 직면해 있습니다:

• 보상 이상에 대한 의존성: 많은 방어 수단은 백도어 활성화가 비정상적인 보상 신호를 유발한다고 가정합니다. 그러나 정교한 공격은 정상적인 보상 궤적을 유지할 수 있어 높은 위음성률을 초래합니다.
• 트리거 의존성: 트리거 재구성이나 트리거 패턴에 대한 사전 지식을 요구하는 방법은 복잡하거나 순차적, 상호작용 기반 트리거에 대해 실패합니다.
• 높은 계산 비용: 정책 재훈련 또는 미세 조정을 수반하는 방어 수단은 계산 비용이 많이 들고 온라인 배포에는 종종 비실용적입니다.
• 확장성: 대부분의 기존 방법은 단일 에이전트 환경용으로 설계되어 비정상적이고 결합된 동역학을 가진 다중 에이전트 강화학습 (MARL) 으로 일반화하는 데 어려움을 겪습니다.

핵심적인 과제는 정책 재훈련 없이 단일 에이전트 (SARL) 및 다중 에이전트 (MARL) 환경 모두에서 효과적이며, 트리거 무관 (trigger-agnostic), 온라인, 계산 효율적인 방어 수단을 개발하는 것입니다.

2. 방법론: BehaviorGuard

저자들은 특정 트리거 패턴을 인식하는 것에서 벗어나 통합된 백도어 출력 행동을 식별하는 데 초점을 맞춘 통합 프레임워크인 BehaviorGuard를 제안합니다.

2.1 핵심 통찰: 행동 편향 (Behavioral Drift)

BehaviorGuard 의 중심 통찰은 트리거 패턴이나 환경과 관계없이 백도어가 주입된 정책은 트리거가 나타났을 때 신뢰할 수 있는 활성화를 보장하기 위해 행동 분포를 미묘하지만 지속적으로 편향시켜야 한다는 점입니다. 트리거가 없더라도 주요 정상 작업과 백도어 작업 간의 이러한 "갈등"은 행동 분포에 **행동 편향 (behavioral drift)**을 유발합니다.

• SARL에서는 이는 안정적인 깨끗한 기준선과 비교하여 더 무거운 꼬리를 가진 분산된 분포로 나타납니다.
• com-MARL에서는 깨끗한 정책이 적대적 상호작용으로 인해 자연스럽게 더 넓은 분포를 보이는 반면, 백도어가 주입된 정책은 종종 비정상적으로 고정된 전략을 강제하여 비정상적으로 집중된 분포를 초래합니다.

2.2 행동 편향 감지 (BDD)

BehaviorGuard 는 **행동 편향 점수 (BDS)**를 사용하여 이 편향을 정량화합니다.

• BDS 계산: 주어진 시간 단계 $t$에서 BDS 는 깨끗한 실행에서 추정된 평균 ($\mu_k$) 과 표준 편차 ($\sigma_k$) 로부터 예측된 행동 확률 $p_{t,k}$의 편차를 측정합니다:
  $$BDSt = \frac{1}{2} \sum_{k=1}^{K} \left( \frac{p_{t,k} - \mu_k}{\sigma_k + \epsilon} \right)^2$$
• 밀도 분석: BDS 값의 시퀀스는 드문 편향이 발생하는 저밀도 꼬리 영역을 식별하기 위해 커널 밀도 추정 (KDE) 을 사용하여 분석됩니다.
• 복합 점수: 감지 점수는 평균 편향 크기와 저밀도 꼬리 내 시간 단계의 비율을 결합하여 계산되며, Z-점수를 통해 정규화됩니다. 이 점수가 (깨끗한 기준선에서 보정된) 임계값을 초과하면 정책은 잠재적으로 백도어가 주입된 것으로 플래그가 지정됩니다.

2.3 편향 제약 완화

지속적인 편향이 감지되면 BehaviorGuard 는 경량화된 재훈련 없는 완화 전략을 사용합니다:

1. 참조 행동: 전형적인 정상 행동을 나타내는 참조 행동 집합 ($A_{ref}$) 이 오프라인으로 설정됩니다.
2. 편향 지표: 시간 창이 연속된 편향 감지를 추적합니다. 횟수가 임계값 $L$을 초과하면 시스템은 "지속적인 비정상 행동" 모드로 진입합니다.
3. 확률적 수정: 모드가 활성화되면 에이전트의 원시 행동은 확률 $p$로 참조 행동으로 확률적으로 대체됩니다. 이는 백도어 행동을 억제하면서도 정상적인 성능을 유지하고 결정론적 과도 수정을 방지합니다.

3. 주요 기여

1. 행동 편향의 식별: 이 논문은 공격 및 환경 무관한 트로이 목마 서명으로서 트리거 활성화 없이도 관찰 가능한 행동 분포 내의 행동 편향을 식별합니다.
2. 통합 프레임워크: BehaviorGuard 는 단일 에이전트 및 다중 에이전트 (경쟁 및 협력) DRL 환경에서 백도어를 감지하고 완화할 수 있는 최초의 온라인 방어 수단입니다.
3. 재훈련 없는 완화: 제안된 방법은 값비싼 정책 재훈련이나 트리거 재구성 없이 런타임에서 백도어 행동을 억제합니다.
4. 종합 평가: 다양한 벤치마크 (Atari 게임, Sumo-Humans, QMIX, COMA) 를 통한 광범위한 실험은 최첨단 기준선 대비 뛰어난 효과성과 효율성을 입증했습니다.

4. 실험 결과

저자들은 SARL 및 MARL 환경에서 다양한 백도어 공격 (즉시, 순차적, 보상 제약) 에 대해 BehaviorGuard 를 평가했습니다.

• 방어 효과성: BehaviorGuard 는 독이 주입된 환경에서 기준선 (Neural Cleanse, STRIP, BIRD, SHINE, PD 포함) 을 일관되게 능가했습니다. 모든 테스트 시나리오에서 완화율 (MR) 이 1.0 에 가깝거나 초과하여 (완전 또는 약간 과회복으로 깨끗한 성능 수준 도달) 달성되었습니다.
• 감지 성능: 이 방법은 높은 곡선 아래 면적 (AUC) 점수 (예: SARL 에서 >0.90, MARL 에서 >0.94) 를 달성하여 비정상적인 동역학 하에서도 깨끗한 정책과 백도어가 주입된 정책 간의 신뢰할 수 있는 분리를 입증했습니다.
• 견고성: 트리거 의존적 방법과 달리 BehaviorGuard 는 보상 이상을 억제하거나 복잡한 순차적 트리거를 활용하도록 설계된 고급 공격에 대해 높은 견고성을 유지했습니다.
• 효율성: BehaviorGuard 는 시간 비용을 크게 절감했습니다. SHINE 와 같은 방법이 트리거 복원 및 미세 조정을 위해 오프라인 작업에 수 시간이 소요되는 반면, BehaviorGuard 는 전체 과정 (오프라인 보정 + 온라인 감지/완화) 을 약 35 분 내에 완료했으며 온라인 추론 오버헤드는 미미했습니다.

5. 의의 및 주장

이 논문은 BehaviorGuard 가 다양한 트리거 패턴을 식별하는 어려운 작업에서 통합된 행동 출력을 모니터링하는 방향으로 전환함으로써 DRL 보안의 패러다임 전환을 나타낸다고 주장합니다.

• 실용성: 재훈련과 트리거 사전 지식을 제거함으로써, 이 프레임워크는 정책이 종종 블랙박스이거나 재훈련 자원이 부족한 실제 배포에 대한 실용적인 솔루션을 제공합니다.
• 일반성: 단일 에이전트 및 다중 에이전트 시나리오 (경쟁 및 협력 환경 포함) 를 모두 처리할 수 있는 능력은 현재 문헌의 중요한 격차를 해소합니다.
• 절충: 이 프레임워크는 유용성과 보안 간의 유리한 절충을 달성하여, 다른 방법이 실패하는 보상 제약 및 순차적 공격 하에서도 독이 주입된 성능을 회복하면서도 정상 작업 성능을 유지합니다.

저자들은 보정을 위한 정상 기준선에 대한 의존성, 특히 새로운 상대와 같은 중요한 분포 변화 하에서 조정이 필요할 수 있다는 한계를 인정합니다. 이들은 이러한 재보정 문제 해결과 적응형 공격자 연구를 향후 과제로 제시합니다.