PARASITE: Conditional System Prompt Poisoning to Hijack LLMs

다음은 논문 "PARASITE: LLM 장악을 위한 조건부 시스템 프롬프트 중독"에 대한 상세한 기술 요약입니다.

1. 문제 정의: 조건부 시스템 프롬프트 중독

이 논문은 LLM 공급망에서 발견된 치명적이면서도 미탐구된 취약점을 지적합니다. 사용자가 처음부터 직접 작성하는 대신 FlowGPT 와 같은 공개 마켓플레이스에서 사전 최적화된 시스템 프롬프트를 다운로드하는 경우가 늘어남에 따라, 이러한 프롬프트는 공격의 경로가 됩니다.

• 위협: 기존의 "제일브레이크"(광범위하게 안전 필터를 우회하려는 시도) 나 "백도어"(학습 데이터에 대한 화이트박스 접근이 필요한 경우) 와 달리, PARASITE는 조건부 시스템 프롬프트 중독을 제안합니다.
• 목표: 적대적 공격자가 외견상 건전한 시스템 프롬프트에 "슬리퍼 에이전트"를 주입합니다. 이 프롬프트는 일반적이고 건전한 쿼리에서는 높은 유용성을 유지하여 탐지를 회피하지만, 특정 트리거 질문이 제기될 때만 (예: "누구에게 투표해야 합니까?"에 특정 후보를 답변하거나 "백신은 안전한가?"에 "아니오"라고 답변하는 경우) 표적화된 손상된 응답을 정밀하게 유발합니다.
• 과제: 이는 제약된 최적화 문제입니다. 공격자는 두 가지 상충되는 목표를 만족시키는 희소하고 고립된 프롬프트 구성을 찾아야 합니다:
  1. 은폐: 건전한 입력에서 높은 정확도를 유지합니다.
  2. 해악: 표적 입력에서 특정 허위 정보를 유발합니다.
     해악적인 출력에 대한 "유인 영역 (basin of attraction)"이 넓은 제일브레이킹과 달리, 조건부 중독은 모델 가중치에 접근할 수 없는 (블랙박스 환경) 상태에서 불연속적인 지형을 탐색해야 합니다.

2. 방법론: PARASITE 프레임워크

PARASITE 는 기울기 (gradient) 없이 이 제약된 이중 목적 문제를 해결하도록 설계된 2 단계 블랙박스 최적화 프레임워크입니다.

1 단계: 글로벌 의미 검색 (적대적 자동 프롬프트 - AAP)

• 목표: 적대적 목표와 부분적으로 정렬된 유창하고 인간이 읽을 수 있는 "스켈레톤" 프롬프트를 찾는 것입니다.
• 메커니즘: 진화적 검색 알고리즘이 LLM(예: GPT-4o-mini) 을 재작성기로 사용합니다.
  • 평가자: 건전한 세트와 표적 세트에 대한 모델의 성능을 기반으로 이산 점수를 계산합니다.
  • 분석기: 실패 사례를 식별하고 텍스트 피드백을 생성합니다.
  • 생성기: 피드백을 기반으로 프롬프트를 정제합니다.
• 결과: 의미적으로 타당하지만 공격에 필요한 정확한 "맹점"이 부족할 수 있는 후보 프롬프트를 생성합니다.

2 단계: 로컬 탐욕적 정제 (블라인드 검색)

• 목표: LLM 이 건전한 맥락에서는 일반적으로 무시하지만 표적 맥락에서는 특정 연상을 유발할 수 있는 **"허용 가능한 노이즈"(사소한 오타, 키보드 치환, 동의어 교체)**를 활용하여 1 단계 프롬프트를 미세 조정하는 것입니다.
• 메커니즘:
  1. 중요도 순위: 손실 함수의 leave-one-out 근사를 사용하여 프롬프트 내의 중요한 토큰을 식별합니다.
  2. 반복적 교란: 중요도가 높은 토큰에 다섯 가지 블랙박스 변환을 적용합니다:
     • 무작위 분할
     • 무작위 스왑 (내부 문자)
     • 키보드 치환 (인접 키 오타 시뮬레이션)
     • 무작위 삭제
     • 동의어 치환
  3. 탐욕적 선택: 결합 손실을 감소시키는 교란 (공격 성공률 향상과 건전한 유용성 유지) 을 수용합니다.
• 핵심 통찰: 실제 시스템 프롬프트에는 문법적 결함이 자연스럽게 존재합니다. PARASITE 는 이러한 "자연스러운 노이즈"를 모방하여 이상 탐지기를 유발하지 않으면서 결정 경계를 통과합니다.

3. 주요 기여

1. 위협 형식화: 광범위한 제일브레이킹이나 학습 시간 백도어와 구별되는, 특정 모델 행위를 장악하면서 일반적 유용성은 유지하는 공급망 공격인 조건부 시스템 프롬프트 중독을 정의합니다.
2. PARASITE 프레임워크: 완전히 블랙박스 환경에서 작동하는 비용 효율적인 2 단계 최적화 방법 (글로벌 검색 + 탐욕적 정제) 을 도입합니다.
3. 실증적 취약성 분석: 현재 방어 수단 (퍼플렉시티 필터, 오타 수정) 은 자연스러운 인간 오류와 최적화된 적대적 트리거를 구별하지 못하므로 불충분함을 입증합니다.

4. 실험 결과

이 프레임워크는 오픈 소스 모델 (Llama-2, DeepSeek, Qwen-2.5) 과 상용 API(GPT-4o-mini, GPT-3.5-Turbo) 에서 테스트되었습니다.

• 효과성:
  • 표적 쿼리에서 F1 점수가 최대 70% 감소했습니다 (예: 악성 F1 을 약 90% 에서 약 30% 로 낮추면서 건전한 F1 은 높게 유지).
  • DeepSeek-7B에서 PARASITE 는 15.84의 성능 격차 ($\Delta F1$) 를 달성하여 ECLIPSE 및 수동 프롬프트와 같은 베이스라인을 크게 능가했습니다.
  • GPT-4o-mini와 GPT-3.5-Turbo를 성공적으로 장악했으며, 표적당 약 2.00 달러의 비용이 소요되었습니다.
• 은폐 및 일반화:
  • 건전한 유지: 프롬프트는 보이지 않는 건전한 쿼리 (예: TriviaQA) 에서 높은 유용성을 유지하여 공격이 전역적이지 않고 선택적임을 입증했습니다.
  • 형식 전환: "개념 부패" 테스트에서 2 옵션 (A/B) 질문용으로 최적화된 프롬프트가 보이지 않는 4 옵션 및 자유 형식 형식에서도 효과적이었으며, 이는 공격이 특정 출력 토큰에 과적합되는 것이 아니라 내부 추론을 변경함을 나타냅니다.
  • 회피: 이 공격은 표준 방어를 우회했습니다. 프롬프트에 "자연스러운 노이즈"가 포함되어 있었기 때문에 퍼플렉시티 필터는 실패했습니다. 심지어 능동적 의미 정제(프롬프트를 다듬거나 재구성하기 위해 LLM 사용) 도 공격 논리를 제거하지 못했으며, 오히려 공격을 무력화하는 대신 프롬프트의 유용성을 저하시키는 경우가 많았습니다.
• 모델 크기: 이 공격은 3B 에서 32B 에 이르는 다양한 모델 크기에서 효과적이었으며, 더 크고 RLHF 로 튜닝된 모델이 이러한 장킹에 면역이라는 가정을 반박했습니다.

5. 중요성과 함의

• 공급망 위험: 이 논문은 제 3 자 프롬프트 마켓플레이스 생태계가 중요한 공격 표면임을 강조합니다. 단일 중독된 프롬프트가 이를 다운로드하는 수백만 명의 사용자를 손상시킬 수 있습니다.
• 현재 방어의 한계: 어휘 유사성, 퍼플렉시티, 또는 오타 수정에 의존하는 표준 방어는 PARASITE 에 대해 효과가 없습니다. 왜냐하면 이 공격은 인간 언어의 고유한 "불규칙성"을 활용하기 때문입니다.
• 미래 방향: 저자들은 이 프레임워크가 지식 베이스 내의 적대적 문서가 조건부 트리거로 작용할 수 있는 검색 증강 생성 (RAG) 파이프라인을 중독하는 데 재사용될 수 있다고 제안합니다.
• 윤리적 고지: 저자들은 이 연구가 오용을 조장하기 위한 것이 아니라 행동 기반 방어 개발을 촉진하기 위한 "책임 있는 공개"임을 강조합니다.

요약하자면, PARASITE는 LLM 이 시스템 프롬프트를 통해 정밀하게 장악되어 "트로이 목마"로 작용할 수 있음을 보여줍니다. 즉, 대부분의 사용자에게는 정확한 답변을 제공하면서도 특정 쿼리에는 표적화된 허위 정보를 전달하되, 현재 보안 필터에는 보이지 않게 유지합니다.