Semantic-Preserving Prompt Hijacking: A Black-Box Adversarial Attack on Auto-Prompt Optimization

기술 요약: 적응형 탐욕적 지역 탐색(Adaptive Greedy Local Search)을 통한 의미 보존형 프롬프트 하이재킹

문제 정의
대규모 언어 모델(LLM)은 투명성과 사용성을 높이기 위해(예: Microsoft Bing Copilot, Claude.ai) 사용자 입력을 재작성하여 응답을 생성하는 자동 프롬프트 최적화(APO) 모듈을 점점 더 많이 통합하고 있습니다. 이러한 모듈은 수정 사항을 공개함으로써 신뢰를 구축하는 것을 목표로 하지만, 그 메커니즘인 여러 대안 중 최적의 후보를 자율적으로 선택하는 과정은 새로운 공격 표면을 생성합니다. 저자들은 공격자가 입력값에 미세하고 인지하기 어려운 의미적 변화를 유도함으로써 이 최적화 과정을 하이재킹할 수 있음을 식별했습니다. 핵심 과제는 최적화 도구에게는 정당한 텍스트로 보이도록 원본 텍와 높은 의미적 유사성을 유지하면서도, 대상 LLM이 크게 다르고 오도된 출력을 생성하도록 유도하는 적대적 입력을 정교하게 만드는 것입니다. 기존의 블랙박스 적대적 방법들은 다단계 최적화 파이프라인 내에서 엄격한 의미적 제약을 탐색하는 데 필요한 동적 적응력이 부족하기 때문에 이 특정 맥락에서는 실패하는 경우가 많습니다.

방법론: 적응형 탐욕적 지역 탐색 (AGLS)
본 논문은 가시적 단서 최적화기(visible-cue optimizers)를 악용하도록 설계된 블랙박스 공격 프레임을 제안합니다. 이 방법은 원본 입력 $t$와 적대적 입력 $t'$ 사이의 의미적 유사성 $S(t, t')$가 임계값 $\sigma$를 초과해야 한다는 제약 조건 하에 작동하며, 동시에 모델 출력의 변화($O(t) \neq O(t')$)를 보장해야 합니다.

AGLS 프레임워크는 다음 단계로 진행됩니다:

1. 입력 분해 및 체크포인팅: 입력 텍스트를 구두점과 구문을 기준으로 계층적 절(clause)로 분할합니다. 각 절의 끝은 체크포인트($t_i$) 역할을 합니다.
2. 동적 후보 조정: 각 체크포인트에서, BERT 기반 유사도 지표를 사용하여 원본 접두사와 부분적으로 생성된 적대적 접두사 사이의 의미적 유사성을 계산합니다. 동적 임계값이 후보 교체 단어의 선택을 안내합니다:
   • 유사도가 너무 낮으면, 검색은 유사성을 높이는 후보 쪽으로 이동합니다.
   • 유사도가 너무 높으면(편차가 불충분하면), 검색은 편차를 증가시키는 후보 쪽으로 이동합니다.
   • 이 피드백 루프를 통해 공격은 의미 보존과 행동 편차 극대화 사이의 균형을 맞춥니다.
3. 마스크된 토큰 생성: 주요 언어 단위(동사, 복수 명사)를 마스킹하고 마스크된 언어 모델(BERT)을 사용하여 교체합니다. 상위-$k$ 후보들의 순위가 매겨지며, 최종 토큰은 앞서 설명한 적응형 규칙에 따라 선택됩니다.
4. 반복적 재구성: 모든 마스킹된 위치가 채워질 때까지 문맥을 점진적으로 업데이트하며 이 과정을 반복하여 최종적인 적대적 예시를 생성합니다.

이 공격은 전역적 최적화가 아닌 순차적 지역 결정 문제로 프레이밍함으로써 이론적 근거를 제공하며, 실시간 피드백을 통해 의미적 표류(semantic drift)의 누적을 방지하면서 지역적 결정을 통해 전역 최적해에 근사합니다.

주요 기여

1. 새로운 공격 표면 식별: 저자들은 생산 수준의 LLM에서 가시적인 프롬프트 최적화 모듈이 도입하는 취약점을 공식화하였으며, 여기서 선택 메커니즘은 의미적 표류를 통해 하이재킹될 수 있습니다.
2. AGLS 제안: 적응형 체크포인트 기반 탐색을 통해 의미 보존과 공격 효과 사이의 균형을 동적으로 맞춤으로써, 정적 빔 서치(beam search) 방법에서 흔히 발생하는 "조기 확정 편향(early-commitment bias)"을 피하는 새로운 블랙박스 공격 방법을 제안합니다.
3. 실증적 검증: 네 가지 다양한 데이터셋(GSM8K, Math QA, SQuAD, Strategy QA)에 대해 상용(GPT-4, GPT-4o) 및 오픈 소스(Llama-3, Qwen-2.5, Gemma-2) 모델을 대상으로 광범위한 실험을 수행했습니다.

실험 결과
논문은 2,400개 이상의 테스트 케이스에 대해 AGLS를 평가합니다. 주요 결과는 다음과 같습니다:

• 우수한 공격 성공률 (ASR): 동일한 의미적 유사성 제약 조건 하에서, AGLS는 기존의 최첨단 방법들(TextFooler, BERT-Attack, G2PIA, BeamAttack 포함)을 일관되게 능가합니다. 예를 들어, Math 데이터셋에서 AGLS는 60.61%의 ASR을 달성하여 두 번째로 우수한 방법보다 6.79%포인트 높은 성과를 보였습니다.
• 태스크별 성능: AGLS는 수치 추론 태스크(GSM8K, Math QA)에서 높은 ASR(종종 60% 이상)을 달성하며, 일부 모델은 최대 89.47%의 ASR을 보여줍니다. 사실적 추론의 분산된 특성으로 인해 텍스트 QA 태스크(SQuAD, Strategy QA)에서의 성능은 약간 낮지만, 여전히 경쟁력 있는 수준을 유지합니다.
• 효율성: 평균 생성 시간은 0.17초에서 2.49초 사이로, 근실시간 인터랙티브 공격으로서의 실행 가능성을 입증합니다.
• 절제 연구 (Ablation Studies): 동적 후보 조정 메커니즘이 매우 중요하다는 것을 결과가 확인해 줍니다. 정적 선택 전략은 (예: GPT-4에서 90.91%에서 36.36%로 떨어지는 등) 현저히 낮은 ASR을 초래합니다. 13,000개의 후보 탐색 범위가 효과성과 계산 비용 사이의 최적의 절충안임을 발견했습니다.

의의 및 주장
본 논문은 AGLS가 특히 실제 세계의 프롬프트 최적화 파이프라인을 모사하는 시나리오에서 의미 보존형 적대적 공격의 새로운 최첨단(SOTA)을 확립한다고 주장합니다. 이 연구는 사용자 신뢰를 구축하기 위해 설계된 기능들이 오히려 모델을 오도하는 데 악용될 수 있음을 강조하며, 투명성 강화 최적화 모듈의 치명적인 보안 취약점을 부각합니다. 저자들은 모델 파라미터가 커진다고 해서 견고성이 선형적으로 증가하지 않는다는 점을 강조하며, 거대 모델(예: Llama-3.1-70B)조차도 이 특정 공격 벡터에 매우 취약함을 밝힙니다.

결론적으로 논문은 다중 인덱스 일관성 탐지, 후보 스크리닝의 무작위화, 공격 중 핵심 키워드가 잘못 식별될 경우의 효율성 감소 위험과 같은 한계점 및 잠재적 방어책을 언급합니다. 향후 연구로는 AGLS를 멀티모달 및 멀티 턴 환경으로 확장하는 것이 제안되었습니다.