기술 요약: OrchJail

문제 정의

텍스트-이미지 (T2I) 생성 기술의 급속한 발전으로 도구 호출 T2I 에이전트가 등장했습니다. 단일 모델 T2I 시스템이 단일 엔드-투-엔드 단계를 통해 이미지를 생성하는 전통적인 방식과 달리, 이러한 에이전트는 대형 언어 모델 (LLM) 플래너를 활용하여 복잡한 사용자 쿼리를 다단계 워크플로우로 분해하고, 기본 생성, 객체 삽입, 속성 편집과 같은 전문 도구들의 체인을 조율합니다.

이러한 패러다임은 사용성과 구성 제어 능력을 향상시키지만, 도구 오케스트레이션 취약점이라는 새로운 안전 공격 표면을 도입합니다. 기존 탈옥 (jailbreak) 연구는 주로 단일 모델과의 "프롬프트 전용" 상호작용에 초점을 맞추어 탈옥을 텍스트 회피 문제 (예: 단어 교란, 다국어 혼합) 로 간주했습니다. 그러나 도구 호출 에이전트에서는 안전 장치가 종종 분산되어 있습니다. 중앙 플래너는 안전 정렬 (safety-aligned) 되어 있을 수 있고, 개별 도구들은 자체 필터를 가질 수 있습니다. 결과적으로 표면적으로는 무해해 보이는 프롬프트는 에이전트를 개별적으로 안전한 도구 호출 시퀀스로 유도하여, 이들이 결합되었을 때 전역적으로 정책 위반 결과를 초래할 수 있습니다 (예: 일련의 무해한 정제 단계를 통해 유해한 이미지를 생성). 현재 탈옥 방법들은 부족합니다. 왜냐하면 이러한 방법들은 "오케스트레이션 무감각 (orchestration-blind)"하여, 프롬프트가 어떻게 특정 다단계 도구 체인을 유도하는지 모델링하지 못하거나 에이전트의 계획 논리를 악용하지 못하기 때문입니다.

방법론: OrchJail

이러한 과제를 해결하기 위해 저자들은 OrchJail을 제안합니다. 이는 블랙박스 탈옥을 위한 도구 호출 T2I 에이전트를 대상으로 한 오케스트레이션 유도 퍼징 (fuzzing) 프레임워크입니다. 이 프레임워크는 이러한 에이전트에서의 탈옥 성공이 특정 도구 오케스트레이션 패턴(작업이 어떻게 분해, 스케줄링, 실현되는지) 에 달려 있다는 핵심 통찰에 기반합니다.

프레임워크는 두 가지 주요 구성 요소로 이루어집니다:

1. 퍼징 프레임워크 (검색 루프)

OrchJail은 표준 퍼징 루프를 따르되, 오케스트레이션 인식 메커니즘으로 이를 강화합니다:

• 도구 인식 시드 생성: 원시 대상 프롬프트를 사용하는 대신, 시스템은 대상 에이전트의 도구 구성에 조건부 (conditioned) 로 LLM 을 사용하여 이를 재작성합니다. 이는 다중 도구 실행 체인을 트리거할 가능성이 구조적으로 더 높은 초기 시드를 생성합니다 (예: 단계별 분해를 암시하기 위해 특정 구분자 사용).
• 오케스트레이션 유도 변이: 후보 프롬프트가 평가될 때, 변이 전략은 이전에 성공한 탈옥에서 도출된 인과적 지식에 의해 안내됩니다.
  • 프롬프트가 차단되면, *우회 지향 변이기 (Bypass-Oriented Mutator)*가 오케스트레이션 단서를 유지하면서 안전 장치를 통과하도록 프롬프트를 재작성합니다.
  • 프롬프트가 통과하지만 이미지의 충실도가 부족하면, *의미론적 지향 변이기 (Semantics-Oriented Mutator)*는 우회를 깨뜨리지 않으면서 출력을 유해한 의도와 더 잘 정렬되도록 프롬프트를 정제합니다.
  • 두 변이기 모두 **맥락 학습 (in-context learning)**을 사용하여 저장소에서 유사한 성공 사례를 검색하여 변이 방향을 안내합니다.
• 다목적 점수 매기기: 비용이 많이 드는 대상 에이전트에게 쿼리를 보내기 전에, 후보들은 LLM-판사 (LLM-as-judge) 에 의해 세 가지 차원에서 점수를 매깁니다:
  1. 우회 확률: 안전 장치를 통과할 가능성.
  2. 프롬프트 드리프트: 원래 유해 의도에 대한 의미론적 충실도.
  3. 도구 오케스트레이션 일치: 고위험 오케스트레이션 패턴 (마이크로 계획, 마이크로 스케줄링, 도구 선택) 과의 정렬.
     후보들은 쿼리 효율성을 극대화하기 위해 이러한 점수의 합을 기준으로 순위가 매겨집니다.

2. 오케스트레이션 추상화 및 인과 추론

이 모듈은 원시 도구 호출 흔적을 해석 가능한 지침으로 변환합니다:

• Trace2Orch 추상화: 성공적인 탈옥 흔적은 세 가지 차원으로 추상화됩니다:
  • 마이크로 계획: 고수준 분해 순서 (예: 생성 → 추가 → 편집).
  • 마이크로 스케줄링: 세밀한 실행 단계 (예: 배경 생성 후 객체 추가).
  • 도구 선택: 주어진 컨텍스트에서 특정 도구에 대한 선호도.
• 프롬프트 - 오케스트레이션 인과 추론: LLM 추론 에이전트는 프롬프트의 특정 텍스트 구간과 추출된 오케스트레이션 패턴 사이의 인과 관계를 추론합니다. 이는 특정 문구가 특정 도구 행위로 이어지는 이유를 설명하는 "인과 지식" 저장소를 생성하는 구조화된 삼중항 (텍스트 구간 $\to$ 패턴 요소 $\to$ 근거) 을 산출합니다.

주요 기여

1. 새로운 공격 표면 식별: 본 논문은 단일 모델 프롬프트 회피와 구별되는 T2I 에이전트의 도구 오케스트레이션을 중요한, 이전에 탐구되지 않은 공격 표면으로 식별한 최초의 연구입니다.
2. OrchJail 프레임워크: 성공적인 도구 호출 흔적에 대한 추론을 통해 오케스트레이션 패턴을 추상화하고, 인과 지식에 의해 안내된 오케스트레이션 인식 변이를 결합하며, 쿼리 제약 하에서 후보를 우선순위화하기 위한 다목적 점수 매기기를 통합한 퍼징 프레임워크의 도입.
3. 실증적 검증: GenArtist, CREA, LayerCraft라는 세 가지 대표적인 도구 호출 에이전트와 네 가지 최첨단 베이스라인에 대한 광범위한 실험.

실험 결과

저자들은 네 가지 지표 (One-Time Success Rate, O-SR; Re-use Success Rate, R-SR; Fréchet Inception Distance, FID; Query Number) 를 사용하여 세 가지 대상 에이전트에서 OrchJail 을 베이스라인 (DACA, RING, SneakyPrompt, JailFuzzer) 과 비교 평가했습니다.

• 효과성: OrchJail 은 모든 에이전트에서 가장 높은 O-SR 을 달성했습니다 (예: GenArtist 에서 72.63% 대 최상위 베이스라인인 JailFuzzer 의 63.48%). 또한 우수한 R-SR 을 보여주어, 발견된 프롬프트가 취약한 아티팩트가 아닌 재사용 가능한 패턴을 포착함을 나타냈습니다.
• 충실도: OrchJail 은 베이스라인에 비해 낮은 FID 점수 (대상 의도와의 더 나은 정렬) 를 가진 이미지를 생성했습니다. 저자들은 이를 의미론적 지향 변이와 드리프트 제어에 기인하며, 이는 검색이 더 "쉬운" 그러나 의미론적으로 다른 프롬프트로 벗어나는 것을 방지한다고 설명합니다.
• 효율성: OrchJail 은 성공적인 프롬프트를 찾기 위해 더 적은 수의 쿼리가 필요했습니다 (예: GenArtist 에서 12.15 회 쿼리 대 JailFuzzer 의 13.86 회). 이는 프롬프트 - 오케스트레이션 인과성을 활용하는 것이 맹목적인 탐색보다 검색을 더 효율적으로 안내함을 보여줍니다.
• 강건성: 이 프레임워크는 퍼플렉시티 기반 (PPL) 및 SmoothLLM (Insert, Swap, Patch) 방어와 같은 일반적인 방어 기법에도 효과적이었으며, 강력한 방어 조건 하에서도 O-SR 을 69% 이상 유지했습니다.
• 자연스러움: 생성된 프롬프트는 모든 방법 중 가장 낮은 퍼플렉시티 (PPL) 를 가지며, 이는 다른 탈옥 시도에서 흔히 보이는 불분명한 텍스트를 피하고 더 유창하고 인간이 읽기 쉬운 프롬프트임을 나타냅니다.

중요성 및 주장

본 논문은 OrchJail이 생성형 AI 의 안전 지형에서 근본적인 변화를 강조한다고 주장합니다. 도구 호출 에이전트의 취약점은 단순히 모델 자체에 있는 것이 아니라, 에이전트의 계획 논리와 오케스트레이션 패턴에 존재합니다. 에이전트가 다단계 시퀀스를 해석, 계획, 실행하는 동적 과정을 악용함으로써 공격자는 단일 단계 생성을 막았을 다른 분산된 안전 장치를 우회할 수 있습니다.

저자들은 자신의 작업을 신흥 에이전트 워크플로우 패러다임의 위험을 이해하고 완화하기 위한 필수 단계로 위치시킵니다. 그들은 안전 평가가 단일 모델 프롬프트 - 출력 쌍에서 다단계 오케스트레이션의 전체적 평가로 진화해야 한다고 주장합니다. 이 프레임워크는 이러한 위험을 발견하는 실용적인 방법을 제공하며, 향후 방어는 입력 프롬프트 필터링에만 초점을 맞추는 것이 아니라 도구 체이닝으로 인해 도입된 구성적 위험을 고려해야 함을 시사합니다.