Learning to Attack: A Bandit Approach to Adversarial Context Poisoning

이 논문은 최대 엔트로피 역강화학습과 가우시안 프로세스를 활용한 'AdvBandit'이라는 블랙박스 적응형 공격 기법을 제안하여, 신경 컨텍스트 밴딧의 맥락 중독 공격을 연속 팔 밴딧 문제로 공식화하고 기존 기법보다 높은 피해자 후회를 유발하는 효과를 입증했습니다.

핵심

1. 상황 설정: "요리사 (AI) 와 맛보기꾼 (공격자)"

• 요리사 (피해자 AI): 이 요리사는 손님이 어떤 음식을 좋아하는지 배우며 메뉴를 추천합니다. 손님이 "이거 맛있어요!"라고 하면 (보상), 다음에 비슷한 손님이 오면 그 음식을 더 추천합니다.
• 맛보기꾼 (공격자): 이 사람은 요리사가 배우는 과정을 방해하려는 해커입니다. 하지만 요리사의 레시피나 머릿속 생각 (내부 파라미터) 을 알 수 없습니다. 오직 손님이 "이거 먹어보고 좋았다"라고 말한 **결과 (행동)**만 볼 수 있습니다.
• 공격 목표: 요리사가 "이 음식은 맛이 없다"고 생각하게 만들어, 실제로는 맛있는 음식을 "맛없다"고 판단하게 하거나, 반대로 맛없는 음식을 "최고"라고 믿게 만드는 것입니다.

2. 핵심 전략: "스무고개 게임과 가짜 지도"

이 해커는 단순히 무작위로 거짓말을 하지 않습니다. 아주 똑똑한 전략을 사용합니다.

A. 가짜 지도 만들기 (Surrogate Model)

공격자는 요리사의 머릿속을 직접 볼 수 없으므로, **"가짜 요리사"**를 만들어냅니다.

• 요리사가 과거에 어떤 음식을 추천했는지 관찰합니다.
• 그 데이터를 바탕으로 "만약 내가 요리사라면 이렇게 행동할 거야"라고 추측하는 **가짜 지도 (Surrogate Model)**를 그립니다.
• 이 가짜 지도를 통해 "어떻게 하면 요리사를 속일 수 있을까?"를 시뮬레이션합니다.

B. 3 가지 레버를 조절하는 "스마트 조종석" (Nested Bandit)

이게 이 논문의 가장 창의적인 부분입니다. 공격자는 공격할 때 세 가지 균형을 맞춰야 합니다. 마치 비행기 조종석에 있는 3 개의 레버를 조작하는 것과 같습니다.

1. 레버 1 (효과성): 요리사를 얼마나 확실하게 속일 것인가? (예: 거짓말을 크게 해서 속임)
2. 레버 2 (통계적 은신): 거짓말이 너무 뻔하지 않게, 자연스러운 것처럼 보이게 할 것인가? (예: 너무 튀는 행동을 하지 않음)
3. 레버 3 (시간적 은신): 어제와 오늘이 너무 달라 보이지 않게, 부드럽게 변할 것인가? (예: 갑자기 변하는 게 아니라 서서히 변함)

이 세 가지 레버를 어떻게 섞을지 정하는 것이 바로 연속 팔 (Continuous Arm) 밴딧 문제입니다. 공격자는 매번 "어떤 비율로 레버를 조작해야 가장 잘 속이면서 잡히지 않을까?"를 학습합니다.

C. "질문"을 잘 고르는 것 (Query Selection)

공격자는 모든 순간에 거짓말을 할 수 없습니다. 예산 (Budget) 이 정해져 있기 때문입니다.

• 전략: "지금 이 손님은 속이기 쉬운가? 아니면 잡히기 쉬운가?"를 계산합니다.
• 비유: 도둑이 모든 집을 털지 않고, 경비가 느슨하고 보물이 많은 집만 골라 털어먹는 것과 같습니다. 이 논문은 "어떤 상황에서 공격해야 가장 큰 피해를 주면서 잡히지 않는지"를 실시간으로 계산해냅니다.

3. 결과: "왜 이 방법이 더 강력한가?"

기존의 해킹 방법들은 "무작위로 때리는" 방식이거나, "한 가지 방법만 고수하는" 방식이었습니다. 하지만 이 방법 (AdvBandit) 은 다음과 같습니다.

• 적응형 학습: 요리사가 방어 기술을 배우면, 공격자는 그걸 보고 "아, 이제 통계적 은신 (레버 2) 을 더 높여야겠다"라고 스스로 학습합니다.
• 최적의 균형: 너무 공격적이면 잡히고, 너무 조용하면 효과가 없습니다. 이 두 가지 사이에서 최적의 지점을 찾아냅니다.
• 실험 결과: Yelp(음식 리뷰), MovieLens(영화 추천) 등 실제 데이터를 이용해 실험해 보니, 기존 해킹 방법들보다 2.8 배 더 큰 피해를 입혔습니다. 즉, AI 시스템을 훨씬 더 효과적으로 혼란스럽게 만들었습니다.

---

한 줄 요약

"이 논문은 AI 가 배우는 과정을 속이기 위해, '가짜 AI'를 만들어내면서 '효과성, 은신, 시간적 흐름'이라는 3 가지 레버를 스스로 조절해 최적의 공격 타이밍과 방법을 찾아내는 지능형 해킹 기술을 개발했습니다."

이 기술은 AI 시스템이 얼마나 취약한지 미리 테스트하여, 더 안전한 AI 를 만드는 데 도움을 줄 수 있습니다. (악용을 방지하기 위한 방어 연구의 일환입니다.)

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: Neural Contextual Bandits 는 추천 시스템, 클라우드 리소스 할당, 임상 시험 등 다양한 분야에서 복잡한 비선형 관계를 학습하기 위해 널리 사용됩니다.
• 취약점: 공격자가 환경과 학습자 (Learner) 사이에 위치하여, 학습자가 최적의 행동 (Arm) 을 선택하도록 유도하는 대신 하위 최적 (Suboptimal) 행동을 선택하도록 유도할 수 있습니다.
• 공격 설정 (Attack Setting):
  • 블랙박스 환경: 공격자는 피해자의 내부 파라미터, 보상 함수, 기울기 (Gradient) 정보에 접근할 수 없습니다. 오직 관측된 컨텍스트 ($x_t$) 와 피해자의 선택한 행동 ($a_t$) 만을 관찰합니다.
  • 컨텍스트 중독: 공격자는 학습자가 팔 (Arm) 을 뽑기 전에 컨텍스트를 교란 ($\tilde{x}_t = x_t + \delta_t$) 합니다.
  • 목표: 학습자가 특정 하위 최적 행동 ($a^\dagger_t$) 을 선택하도록 강요하여 누적 후회 (Cumulative Regret) 를 최대화하는 것입니다.
  • 제약: 교란의 크기 ($\|\delta\|_\infty \le \epsilon$) 와 총 공격 예산 ($B$) 이 제한되어 있으며, 탐지 (Anomaly Detection) 를 피해야 합니다.

2. 제안 방법론: AdvBandit

AdvBandit 은 공격을 연속 팔 (Continuous-armed) 밴딧 문제로 공식화하여, 공격자가 피해자의 변화하는 정책을 학습하고 이를 악용하는 적응형 공격 정책을 학습합니다.

2.1. 중첩 밴딧 구조 (Nested Bandit Approach)

공격은 두 단계의 최적화 문제로 구성됩니다:

1. 외부 밴딧 (Outer Bandit): 공격 파라미터 $\lambda = (\lambda^{(1)}, \lambda^{(2)}, \lambda^{(3)}) \in [0, 1]^3$을 선택합니다.
   • $\lambda^{(1)}$: 공격 효과성 (Effectiveness)
   • $\lambda^{(2)}$: 통계적 은폐 (Statistical Evasion)
   • $\lambda^{(3)}$: 시간적 은폐 (Temporal Evasion)
   • 이 공간은 **가우시안 프로세스 (GP-UCB)**를 사용하여 탐색합니다.
2. 내부 최적화 (Inner Optimization): 선택된 $\lambda_t$를 기반으로 교란 벡터 $\delta_t$를 계산합니다.
   • 서로게이트 모델 (Surrogate Model): 피해자의 보상을 추정하기 위해 **UCB 인식 최대 엔트로피 역강화학습 (UCB-Aware MaxEnt IRL)**을 사용합니다. 이는 관측된 (컨텍스트, 행동) 쌍을 기반으로 피해자의 정책을 모방합니다.
   • 교란 생성: **투사된 경사 하강법 (Projected Gradient Descent, PGD)**을 사용하여 서로게이트 모델에 기반한 최적의 교란을 계산합니다.

2.2. 핵심 구성 요소

1. UCB-Aware MaxEnt IRL:

   • 피해자의 내부 파라미터를 알 수 없으므로, 관측 데이터를 통해 보상 함수 $\hat{h}_\phi$와 불확실성 $\hat{\sigma}_\phi$를 추정하는 신경망을 학습합니다.
   • 피해자가 UCB (Upper Confidence Bound) 전략을 사용한다는 점을 반영하여, 추정된 Q-값에 탐색 보너스를 추가한 정책 ($\hat{\pi}$) 을 생성합니다.
   • 피해자의 정책이 시간에 따라 변하므로 (Non-stationary), 슬라이딩 윈도우를 사용하여 주기적으로 모델을 재학습합니다.

2. 컨텍스트 특징 추출 (Feature Extraction):

   • 고차원 원시 컨텍스트를 GP-UCB 에 직접 입력하면 성능이 저하되므로, **기울기 통계량 (Gradient Statistics)**을 기반으로 한 5 차원 특징 벡터 $\psi(x)$를 추출합니다.
   • 특징: 정책 엔트로피, 예측 방어 가중치, 마할라노비스 거리, 후회 격차 (Regret Gap), 상대 시간.

3. 쿼리 선택 전략 (Query Selection):

   • 제한된 공격 예산 내에서 가장 효과적인 공격 시점을 선택합니다.
   • 다목적 최적화: 성공 확률, 영향력 (Regret Gap), 은폐성 (Stealth) 을 동시에 고려합니다.
   • 적응형 임계값: 남은 예산과 남은 시간에 따라 공격 임계값을 동적으로 조정하여, 초기에는 영향력을, 후기에는 은폐성을 우선시합니다.

4. GP-UCB 를 통한 팔 선택:

   • 연속적인 공격 파라미터 공간 $[0, 1]^3$에서 최적의 $\lambda$를 찾기 위해 GP-UCB 를 사용합니다. 이는 샘플 효율성이 높고 연속 공간에서의 후회 (Regret) 보장을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 프레임워크: 컨텍스트 중독 공격을 3 차원 연속 팔 밴딧 문제로 공식화하고, 블랙박스 환경에서 적응형 공격 정책을 학습하는 AdvBandit을 제안했습니다.
2. 이론적 보장:
   • 공격자 후회 (Attacker Regret): 공격 파라미터 공간에서 서브리니어 (Sublinear) 후회 상계를 증명했습니다.
   • 피해자 후회 (Victim Regret): 공격 횟수에 비례하는 **선형 하한 (Linear Lower Bound)**을 유도하여, 공격이 피해자의 성능을 얼마나 크게 저하시킬 수 있는지 이론적으로 입증했습니다.
   • IRL 추적 오차: 정책의 변화 (Drift) 에 따른 IRL 모델의 추적 오차를 분석하고, 주기적 재학습이 오차를 낮춘다는 것을 보였습니다.
3. 실험적 검증: Yelp, MovieLens, Disin 의 3 개 실세계 데이터셋과 5 가지 최신 NCB 알고리즘 (NeuralUCB, R-NeuralUCB 등) 에 대한 실험을 수행했습니다.

4. 실험 결과 (Experimental Results)

• 공격 효율성: AdvBandit 은 기존 최첨단 (SOTA) 공격 기법들 (Liu et al., Garcelon et al., Ilyas et al. 등) 에 비해 누적 피해자 후회 (Cumulative Victim Regret) 를 2.8 배 더 크게 증가시켰습니다.
• 목표 행동 유도: 공격이 성공하여 목표하는 하위 최적 행동을 선택하게 만드는 비율 (Target Arm Pull Ratio) 에서 기존 기법 대비 1.7~2.5 배의 개선을 보였습니다.
• 적응성:
  • NeuralUCB (결정론적): 공격 효과성 ($\lambda^{(1)}$) 에 집중하여 높은 성공률 (약 78%) 을 보임.
  • NeuralTS (확률적): 시간적 일관성 ($\lambda^{(3)}$) 에 집중하여 지속적인 영향을 미침.
  • RobustBandit (방어적): 통계적 은폐 ($\lambda^{(2)}$) 에 집중하여 탐지를 회피함.
  • 이는 AdvBandit 이 피해자의 알고리즘 특성에 따라 공격 전략을 동적으로 조정함을 의미합니다.
• 계산 비용: IRL 학습, GP 업데이트, 다중 시작 최적화 (Multi-start optimization) 로 인해 기존 방법보다 약 3.5 배의 실행 시간이 소요되지만, 공격 성공률의 향상으로 인해 비용 대비 효과가 매우 높음 (Cost-Benefit Analysis).

5. 의의 및 결론 (Significance)

• 보안적 시사점: Neural Contextual Bandits 기반 AI 시스템 (예: LLM 기반 추천, 동적 가격 책정) 이 컨텍스트 중독 공격에 매우 취약할 수 있음을 보여주었습니다.
• 방법론적 혁신: 정적 머신러닝 모델에 대한 공격 기법을 순차적 의사결정 과정 (Sequential Decision Making) 으로 확장하고, **적대적 게임 (Two-player game)**의 관점에서 공격자와 피해자의 상호작용을 모델링했습니다.
• 실용성: 제한된 예산과 탐지 위험 하에서도 최적의 공격 전략을 학습할 수 있는 체계적인 프레임워크를 제공하며, 향후 방어 메커니즘 개발에 중요한 벤치마크가 될 것입니다.

요약하자면, AdvBandit은 블랙박스 환경에서 피해자의 정책을 역강화학습으로 추정하고, 이를 기반으로 연속적인 공격 파라미터를 가우시안 프로세스 밴딧을 통해 최적화함으로써, 기존 방법론보다 훨씬 강력하고 적응적인 컨텍스트 중독 공격을 가능하게 하는 획기적인 연구입니다.