PISmith: Reinforcement Learning-based Red Teaming for Prompt Injection Defenses

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반 애플리케이션, 특히 자율 에이전트 (Autonomous Agents) 는 프롬프트 인젝션 (Prompt Injection) 공격에 심각한 보안 취약점을 가지고 있습니다. 공격자는 웹 콘텐츠나 문서와 같은 입력 컨텍스트에 악성 지시를 삽입하여 LLM 의 출력을 조작합니다.

현재 많은 방어 기법 (Filter-based, Prevention-based) 이 제안되었으나, 적응형 공격 (Adaptive Attacks) 에 대한 견고성이 충분히 평가되지 않아 허위의 안전감을 조성할 수 있습니다. 기존 연구들은 방어 기법이 높은 공격 성공률 (ASR) 을 보인다고 주장하지만, 공격자가 특정 방어 전략에 맞춰 전략을 조정할 경우 (Adaptive Attacker) 이러한 방어는 쉽게 무너집니다. 따라서 방어 기법의 취약점을 체계적으로 평가할 수 있는 자동화된 레드 팀링 (Red Teaming) 도구의 필요성이 대두되었습니다.

2. 방법론 (Methodology: PISmith)

저자들은 PISmith를 제안했습니다. 이는 강화 학습 (RL) 을 기반으로 한 레드 팀링 프레임워크로, 공격 LLM 을 훈련시켜 방어된 LLM 을 우회하는 효과적인 주입 프롬프트를 생성하는 것을 목표로 합니다.

핵심 도전 과제: 희소한 보상 (Reward Sparsity)

강력한 방어 기법이 적용된 환경에서는 훈련 초기에 생성된 대부분의 공격 시도가 실패하여 보상이 0 이 됩니다. 이는 기존 강화 학습 알고리즘인 GRPO (Group Relative Policy Optimization) 를 직접 적용할 때 두 가지 주요 실패 모드를 유발합니다:

1. 엔트로피 붕괴 (Entropy Collapse): 극히 드물게 성공한 몇몇 시나리오에만 과적합되어 정책의 다양성이 사라지고 탐색이 중단됨.
2. 학습 신호 희석: 드문 성공 사례가 대다수의 실패 사례에 의해 기울기 (Gradient) 에서 희석되어 효율적인 학습이 불가능함.

PISmith 의 핵심 기술

이러한 문제를 해결하기 위해 두 가지 새로운 메커니즘을 도입했습니다:

1. 적응형 엔트로피 정규화 (Adaptive Entropy Regularization):

   • 훈련 단계의 평균 보상 ($\bar{r}$) 에 따라 엔트로피 정규화 계수 ($\beta$) 를 동적으로 조정합니다.
   • 보상이 낮을 때 (성공이 드물 때) 엔트로피 보너스를 강화하여 탐색 (Exploration) 을 지속시키고, 보상이 높아지면 보너스를 줄여 활용 (Exploitation) 으로 전환합니다.
   • 또한, 엔트로피가 임계값 ($H_{cap}$) 이하로 떨어지지 않도록 '엔트로피 캡'을 적용하여 정책이 무의미한 텍스트로 붕괴되는 것을 방지합니다.

2. 동적 어드밴티지 가중치 (Dynamic Advantage Weighting):

   • 희소한 성공 사례 (Reward = 1) 의 기울기 기여도를 그 희소성에 비례하여 증폭시킵니다.
   • 성공 확률 ($\bar{r}$) 이 낮을 때 성공한 시나리오의 가중치 ($\gamma$) 를 크게 주어, 드문 성공 신호가 정책 업데이트를 주도하도록 합니다. 성공률이 높아지면 가중치를 1 로 점진적으로 복원하여 표준 GRPO 로 돌아갑니다.

이 두 메커니즘은 상호 보완적으로 작동하여, 탐색을 유지하면서도 드문 성공 사례를 효율적으로 학습하게 합니다.

3. 주요 기여 (Key Contributions)

1. PISmith 프레임워크 제안: 적응형 엔트로피 정규화와 동적 어드밴티지 가중치를 도입하여 강력한 프롬프트 인젝션 방어에 대한 RL 기반 공격 LLM 훈련의 희소 보상 문제를 해결했습니다.
2. 포괄적인 벤치마크 평가: 질문 응답 (QA), 검색 증강 생성 (RAG), 장문맥 (Long-Context) 등 13 개의 데이터셋을 포함하는 통합 벤치마크를 구축하고, 8 가지 최신 방어 기법을 7 가지 베이스라인과 비교 평가했습니다.
3. 에이전트 환경에서의 검증: InjecAgent 및 AgentDojo 벤치마크를 통해 오픈소스 및 폐쇄형 (GPT-4o-mini, GPT-5-nano 등) LLM 을 대상으로 한 에이전트 환경에서도 강력한 공격 성능을 입증했습니다.

4. 실험 결과 (Results)

4.1 방어 기법의 취약성 (RQ1)

• Meta-SecAlign-8B와 같은 최첨단 방어 기법조차 PISmith 에게는 취약했습니다.
• PISmith 는 13 개 벤치마크에서 평균 ASR@10 (10 번 시도 중 하나라도 성공) 100%, **ASR@1 (단일 시도 성공률) 87%**를 기록했습니다.
• 기존 RL 기반 공격 (RL-Hammer) 의 ASR@1 이 48% 였던 반면, PISmith 는 87% 로 크게 향상되었습니다. 특히 "HotpotQA-Long"과 같이 출력 제약이 엄격한 환경에서도 61% 의 성공률을 보였습니다.

4.2 유틸리티와 견고성의 트레이드오프 (RQ2)

• 유틸리티 (Utility): 방어 기법이 공격을 막을 때 정상적인 작업 수행 능력 (Benign Task Accuracy) 을 유지하는지 평가했습니다.
• 결과: PISmith 에 대해 견고한 (ASR 낮음) 방어 기법들은 대부분 정상 작업 수행 능력을 심각하게 저하시켰습니다. 반대로, 정상 작업을 잘 수행하는 방어 기법들은 PISmith 에게 쉽게 뚫렸습니다.
• 결론: 현재 존재하는 방어 기법 중 높은 유틸리티와 낮은 공격 성공률 (낮은 ASR) 을 동시에 달성하는 방어는 존재하지 않습니다.

4.3 에이전트 환경 일반화 (RQ3)

• InjecAgent: GPT-5-nano 를 포함한 모든 타겟 모델에서 95% 이상의 ASR 을 기록했습니다.
• AgentDojo: 이메일 관리, 뱅킹, 여행 예약 등 복잡한 에이전트 워크플로우에서도 PISmith 는 정적/검색 기반 공격보다 훨씬 높은 성공률을 보였습니다. 이는 PISmith 가 단순한 텍스트 조작을 넘어 에이전트의 도구 사용 및 논리적 흐름을 조작할 수 있음을 의미합니다.

4.4 효율성

• PISmith 는 학습 단계에서 타겟 모델에 대한 쿼리 횟수가 적고, 추론 단계에서도 검색 기반 방법 (TAP, PAIR 등) 보다 훨씬 적은 쿼리로 더 높은 공격 성공률을 달성하여 계산 비용 효율성이 뛰어났습니다.

5. 의의 및 결론 (Significance)

이 논문은 다음과 같은 중요한 시사점을 제공합니다:

1. 현재 방어 기법의 한계: 현재 제안된 프롬프트 인젝션 방어 기법들은 적응형 공격에 대해 근본적으로 취약하며, "안전하다"는 인상은 오해일 수 있음을 보여줍니다.
2. 새로운 평가 패러다임: 정적 테스트나 단순한 검색 기반 공격으로는 방어 기법의 진정한 강도를 평가할 수 없으며, RL 기반의 적응형 레드 팀링 (PISmith) 이 필수적입니다.
3. 미래 연구 방향: 향후 방어 기법 개발은 단순히 공격을 막는 것을 넘어, 정상적인 작업 수행 능력 (Utility) 을 유지하면서 적응형 공격에도 견딜 수 있는 균형 잡힌 방어 전략을 모색해야 합니다.

PISmith 는 오픈소스로 제공되며, 연구 커뮤니티가 보다 견고하고 안전한 LLM 애플리케이션을 개발하는 데 기여할 것으로 기대됩니다.