Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 기반 에이전트 (VideoAgent, ReAct, EHR 에이전트 등) 가 다양한 분야에서 복잡하고 자율적인 작업을 수행하며 배포되고 있습니다.
• 문제점:
  • 기존 레드팀 (Red-Teaming) 및 자일브레이크 (Jailbreak) 기법들은 주로 사용자 프롬프트를 명시적으로 수정 (프롬프트 재작성, 시나리오 중첩, 다중모달 위장 등) 하여 모델을 속이는 방식에 의존합니다.
  • 이러한 방식은 새로운 데이터나 에이전트 아키텍처에 대한 적응성 (Adaptability) 이 부족하며, 공격이 성공하더라도 에이전트의 원래 성능을 저하시켜 방어 메커니즘에 쉽게 탐지됩니다.
  • 또한, 프롬프트를 변형하면 사용자의 원래 의도와 출력 결과가 불일치할 수 있어 공격의 은밀성 (Stealthiness) 이 떨어집니다.
• 목표: 사용자 입력 프롬프트를 단 한 번도 수정하지 않으면서, 에이전트의 내부 추론 과정과 기억 (Memory) 검색을 조작하여 안전 장치를 우회하는 새로운 공격 프레임워크 개발.

2. 제안 방법론: JailAgent (Methodology)

이 논문은 JailAgent라는 새로운 프레임워크를 제안하며, 이는 사용자 프롬프트를 변경하지 않고 에이전트의 **추론 궤적 (Reasoning Trajectory)**과 **메모리 검색 (Memory Retrieval)**을 암묵적으로 조작하는 3 단계 파이프라인으로 구성됩니다.

1 단계: 트리거 추출 (Trigger Extraction)

• 목표: 입력 구조를 유지하면서 에이전트 추론에 가장 큰 영향을 미치는 '고 기여도 (High-contribution)' 토큰이나 구절을 식별합니다.
• 기법:
  • 그룹 매핑: BERT 의 WordPiece 토키나이저를 사용하여 문장을 서브워드 (subword) 단위로 분해하고, 구문 분석 (Dependency Parsing) 을 통해 명사구 (NP) 와 동사구 (VP) 단위로 그룹화합니다.
  • 중요도 분석:
    • Log-probability Drop: 특정 그룹을 마스킹했을 때 모델의 전체 확률 (Log-prob) 이 얼마나 감소하는지 측정.
    • Step-wise KL Divergence: 마스킹 전후의 출력 분포 차이를 KL 발산 (Kullback-Leibler Divergence) 으로 정량화.
  • 이 두 지표를 가중치하여 그룹 및 토큰 수준의 중요도 점수를 산출하고, 고 기여도 트리거를 추출합니다.

2 단계: 추론 하이재킹 (Reasoning Hijacking)

• 목표: 추출된 트리거를 기반으로 실시간으로 적응 가능한 재순위화 (Reranking) 모델을 구축하여, 에이전트의 생성 과정을 조작합니다.
• 기법:
  • 데이터 팩토리 (Data Factory): 인간 라벨링 없이, 고 기여도 트리거를 기반으로 '독성 (Poison)' 응답과 '정상 (Benign)' 응답을 자동으로 생성하는 쌍별 (Pairwise) 데이터를 실시간으로 합성합니다.
  • 적응형 Reranker: Frozen 된 Sentence Transformer 인코더와 경량 MLP 스코어링 헤드로 구성된 모델을 사용합니다.
    • 생성된 여러 후보 답변 (Candidates) 에 대해 Reranker 가 점수를 매겨, 정상적인 추론에서 벗어난 '목표 공격 답변'이 최상위로 선택되도록 유도합니다.
  • 이 과정은 에이전트의 Core LLM 을 직접 접근하지 않고, 로컬에서 제어된 Shadow Model 을 통해 학습된 편향을 적용합니다.

3 단계: 제약 강화 (Constraint Tightening)

• 목표: 추출된 트리거가 검색 및 추론 시나리오에서 강력하고 일반화되며 안정적으로 작동하도록 임베딩 공간의 특성을 제어합니다.
• 기법: 4 가지 상보적인 목적 함수 (Loss Function) 를 결합하여 트리거 임베딩을 최적화합니다.
  1. Particularity Loss: 트리거가 정상 데이터 클러스터 중심에서 멀리 떨어지도록 (고유성 확보).
  2. Clustering Loss: 트리거 내 토큰 임베딩들이 서로 밀집되도록 하여 분산을 줄임 (강건성 확보).
  3. Separability Loss: 독성 목표 인덱스의 검색 성공률을 극대화하고 정상 샘플과의 오인식을 최소화.
  4. Margin Loss: 독성 항목과 정상 항목 간의 유사도 차이를 마진 (Margin) 이상으로 확보하여 판별력을 높임.

3. 주요 기여 (Key Contributions)

1. JailAgent 프레임워크: 사용자 프롬프트를 전혀 수정하지 않고, 트리거 추출, 추론 하이재킹, 제약 강화를 통해 에이전트의 추론 경로를 암묵적으로 조작하는 최초의 방법론 중 하나입니다.
2. 실시간 적응형 Reranker: 현재 프롬프트에 기반하여 쌍별 데이터를 동적으로 생성하고 신속하게 미세 조정 (Fine-tuning) 하는 메커니즘을 설계하여 다양한 사용자 입력에 적응 가능한 자일브레이크를 가능하게 했습니다.
3. 4 가지 결합 최적화 손실 함수: 트리거의 고유성, 밀집성, 분리성, 마진 판별력을 동시에 제어하는 새로운 손실 함수 집합을 도입하여 공격 성공률 (ASR) 과 일반화 성능을 동시에 향상시켰습니다.
4. 포괄적인 평가: 3 가지 에이전트 유형, 7 가지 LLM 코어, 8 개의 데이터셋, 5 가지 평가 지표를 통해 다양한 환경에서의 우월성을 입증했습니다.

4. 실험 결과 (Results)

• 실험 설정: VideoAgent, ReAct-UALA, EHRAgent 등 3 가지 에이전트와 GPT-3.5/4o/5, Llama-3.1, Claude-3.5, Gemini, ERNIE 등 7 가지 LLM 코어를 사용했습니다.
• 성능 비교:
  • 공격 성공률 (ASR): JailAgent 는 기존 기법 (PAIR, AgentPoison, BadChain) 보다 모든 모델과 데이터셋에서 일관되게 높은 공격 성공률 (ASR-R, ASR-L, ASR-H) 을 기록했습니다.
    • 예: ReAct-UALA (MMLU, GPT-5) 에서 AgentPoison 대비 ASR-R 21.97%, ASR-L 23.69% 향상.
  • 성능 유지 (Stealthiness): 기존 방법들은 공격 시 에이전트의 정상 작업 수행 능력 (ACC, CR 등) 이 크게 저하되었으나, JailAgent 는 Non-attack 상태와 거의 동일한 성능을 유지했습니다. 이는 공격이 매우 은밀하며 에이전트의 본래 기능을 해치지 않음을 의미합니다.
  • 효율성: 성공적인 공격당 소요 시간 (TCPS) 이 기존 기법 대비 최대 86.7% 까지 단축되어 계산 효율성이 뛰어났습니다.
  • 방어 우회: Perplexity Filter 및 RA-LLM 과 같은 방어 메커니즘 하에서도 JailAgent 는 높은 공격 성공률을 유지하며, 프롬프트를 수정하지 않기 때문에 탐지되기 어렵습니다.

5. 의의 및 결론 (Significance)

• 새로운 공격 패러다임: 기존의 "프롬프트 조작" 중심의 자일브레이크에서 벗어나, 에이전트의 내부 추론 메커니즘과 기억 검색을 표적으로 하는 새로운 위협 모델을 제시했습니다.
• 보안 연구의 중요성: 에이전트가 고위험 분야 (의료, 자율주행 등) 에 적용됨에 따라, 프롬프트만으로는 방어할 수 없는 내부적 취약점이 존재함을 보여줍니다.
• 방어 방향성 제시: 본 연구는 에이전트 시스템의 보안 강화를 위해 단순한 입력 필터링을 넘어, 추론 과정의 무결성 검증과 메모리 검색의 신뢰성 확보가 필수적임을 시사합니다.

요약하자면, JailAgent 는 사용자 입력을 변경하지 않고 에이전트의 '생각하는 과정'과 '기억을 찾는 방식'을 정교하게 조작하여 안전 장치를 우회하는 고효율, 고은밀성 공격 프레임워크이며, 이는 향후 LLM 에이전트 보안 연구에 중요한 이정표가 될 것입니다.