기술 요약: LLM 탈옥 공격에 대한 자기 진화형 멀티 에이전트 프레임워크 방어

1. 문제 정의

대규모 언어 모델(LLM)은 역할 수행(role-playing), 난독화(obfuscation), 코드 변환(code transformation), 다단계 간접 참조(multi-step indirection)와 같은 기법을 악용하여 유해한 출력을 유도하는 탈옥 공격에 여전히 취약합니다. 기존의 방어 기제(예: 정적 시스템 프롬프트, 지도 학습 기반 안전 미세 조정, RLHF, 외부 분류기)는 알려진 패턴에는 효과적이지만, 근본적인 한계가 있습니다. 즉, 이들의 안전 동작은 배포 시점에 고정되어 있다는 점입니다. 결과적으로, 이들은 방어 경험을 축적하거나 보이지 않는(unseen), 구성적(compositional)이거나 난독화된 전략에 적응할 수 없습니다. 이러한 정적인 특성은 공격자가 과거의 실패로부터 배우지 못하는 방어 체계를 우회하기 위해 새로운 패턴을 악용할 수 있는 불일치를 만들어냅니다.

2. 방법론

저자들은 지속적인 교차 상호작용 규칙 메모리(cross-interaction rule memory)를 중심으로 하는 **자기 진화형 테스트 타임 방어(self-evolving test-time defense)**를 제안합니다. 이 프레임워크는 기본 모델의 파라미터($\theta$)를 수정하지 않고 작동하므로, 오픈 웨이트 모델과 블랙박스 API 모델 모두에 적용 가능합니다.

핵심 메커니즘: 지속적 규칙 메모리

시스템은 구조화된 메서드 수준의 방어 규칙을 축적하는 외부 메모리 $R_t$를 유지합니다. 이전의 자기 성찰(self-reflection) 접근 방식들이 상호작용을 독립적으로 처리하거나 일시적인 컨텍스트를 사용하는 것과 달리, 이 프레임워크는 관찰된 실패를 재사용 가능한 지식으로 변환합니다.

• 규칙 구조: 각 규칙 $r_i$는 [label=L_i] 만약 요청이 P_i를 사용한다면, D_i 한다의 형태를 취합니다.
  • $L_i$: 메서드 수준의 공격 라벨 (예: roleplay-nested-persona).
  • $P_i$: 구조적 공격 래퍼(structural attack wrapper)에 대한 설명.
  • $D_i$: 거절 제약 조건.
• 일반화: 규칙은 특정 유해 주제가 아닌 구조적 래퍼를 추상화합니다. 따라서 한 사례에서 유도된 단일 규칙은 전체 공격 패밀리에 걸쳐 일반화되며, 구조적으로 새로운 래퍼가 발견됨에 따라 라벨 공간이 자동으로 확장됩니다.

프레임워크 구성 요소

프레임워크는 5가지 연산자를 구현하는 4개의 협력 에이전트(프롬프트 모듈)를 통해 실현됩니다.

1. 공격 패턴 분류기 ($\phi$): 입력 $x^{(t)}$를 메서드 수준의 라벨로 매핑합니다. 이는 benign(정상), 메모리에 존재하는 기존 라벨, 또는 래퍼가 새로운 경우 other를 반환합니다.
2. 규칙 트리거 에이전트 (A1): 분류된 라벨을 바탕으로 메모리에서 관련 규칙을 검색합니다. 이는 정확한 라벨 매칭, LLM 기반 관련성 점수 산출, 어휘 키워드 폴백(fallback)의 3단계 매칭 프로세스를 사용합니다. 최대 $K=2$개의 규칙을 검색합니다.
3. 정책 결정 에이전트 (A2): 트리거된 규칙을 응답 정책으로 매핑합니다: hard-refuse(고위험 입력용), soft-refuse, 또는 allow.
4. 응답 생성 에이전트 (A3): 선택된 정책을 동적 시스템 지침으로 주입하여 최종 출력 $y^{(t)}$를 생성합니다. 하드 거절(hard-refusal) 모드에서는 운영 세부 사항이나 코드에 대한 엄격한 제약을 강제합니다.
5. 자기 성찰 에이전트 (A4): 생성 후 상호작용을 분석합니다. 만약 위반이 감지되면(LLM-as-judge가 응답을 1~10점 척도로 유해성을 평가), 새로운 규칙 $r_{new}$를 유도하고 의미론적 중복 제거 및 용량 제한을 통해 메모리 $R_{t+1}$을 업데이트합니다.

추론 절로

프로세스는 다음의 순차적 루프를 따릅니다:

1. 입력 분류 ($\phi$).
2. 관련 규칙 검색 ($match$).
3. 정책 결정 ($g$).
4. 응답 생성 ($f_\theta$).
5. 위반 감지 ($h$).
6. 비정상(non-benign) 입력에서 위반이 발생하면, 새로운 규칙 유도 ($F$) 및 메모리 업데이트 ($U$).

3. 주요 기여

본 논문은 주요 기여가 특정 에이전트로의 분해가 아니라 메모리 기반 적응 메커니즘임을 강조합니다.

• 자기 진화형 방어: 관찰된 탈옥 실패를 재사용 가능한 메서드 수준의 방어 규칙으로 변환하는 지속적인 교차 상호작용 규칙 메모리를 통해, 파라미터 업데이트 없이 지속적인 적응을 가능하게 합니다.
• 래퍼 수준의 추상화: 공격을 래퍼 수준에서 추상화하는 동적 규칙 트리거 메커니즘을 제공합니다. 이를 통해 단일 유도 규칙이 전체 공격 패밀리에 대해 일반화될 수 있으며, 구조적으로 새로운 공격에 대해 라벨 공간이 자동으로 확장됩니다.
• 블랙박스 적용 가능성: 이 방법은 외부 메모리와 프롬프팅을 통해서만 작동하므로, 모델 가중치나 그래디언트에 대한 접근 없이도 오픈 소스 및 독점 API 모델 모두에서 기능합니다.

4. 실험 결과

프레임워크는 4가지 블랙박스 탈옥 패밀리(DeepInception, CodeChamelon, ReNeLLM, FlipAttack)와 여러 모델(Qwen2.5-7B, Llama3.1-8B, Gemini-3-Flash-Preview)에 대해 평가되었습니다.

• 공격 성공률 (ASR): 본 방법은 베이스라인(방어 없음, 방어 프롬프트, 자기 상기, AutoDefense)에 비해 ASR을 실질적으로 감소시킵니다. 예를 들어, Llama3.1-8B에 대한 CodeChameleon 공격의 경우, ASR-gpt는 방어 없음(58.0%)에서 본 모델(1.9%)로 급감했습니다.
• 정상 유용성 (Benign Utility): 방어 기제는 정상 작업(MMLU, GSM8K)에 대한 유용성을 보존하며, 성능은 방어되지 않은 모델과 약 2포인트 이내의 차이를 유지합니다.
• 자기 진화 분석: 콜드 스타트(빈 메모리) 설정에서, 시스템은 첫 번째 공격 배치 동안 방어 규칙을 학습합니다. 이후 라운드에서는 ASR이 거의 0에 가깝게 떨어지며, 이는 시스템이 과거의 실패로부터 구조적으로 유사한 미래의 공격에 대해 일반화됨을 입증합니다.
• 강건성: 프레임워크는 규칙 트리거를 회피하도록 설계된 적응형 복합 래퍼 공격 하에서도 강건함을 유지합니다.
• 과잉 거절 (Over-Refusal): 메모리가 성장함에 따라, 정상 프롬프트에 대한 과잉 거절(XSTest를 통해 측정)은 낮게 유지됩니다(규칙 축적 후에도 9.6%까지만 상승). 이는 시스템이 지나치게 제한적이지 않음을 나타냅니다.
• 비용: 추론 오버헤드는 단일 샷 모델 대비 약 3.07배의 LLM 호출과 1.43배의 지연 시간을 가지며, 이는 AutoDefense와 같은 멀티 에이전트 베이스라인과 유사합니다.

5. 의의 및 주장

본 논문은 현재의 안전 메커니즘이 방어 경험을 축적하지 못하기 때문에 실패한다고 주장합니다. 저자들은 자기 진화형 방어 시스템으로의 전환을 통해, 지속적인 테스트 타임 적응이 정적 방어로는 달성할 수 없는 강건성 이득을 제공한다는 것을 보여줍니다.

그 의의는 다음과 같은 능력에 있습니다:

1. 패밀리 간 일반화: 단일 규칙이 개별 사례별 수정이 아닌 전체 구조적 패밀리를 포괄합니다.
2. 재학습 없는 적응: 미세 조정이나 화이트박스 접근 없이 과거의 실패를 바탕으로 동작을 업데이트합니다.
3. 유용성 유지: 정상 작업의 성능을 크게 저하시키거나 과도한 과잉 거절을 유발하지 않으면서 높은 강건성을 달性합니다.

저자들은 현재의 연구가 단일 턴, 프롬프트 수준의 공격에 집중되어 있고 매우 긴 상호작용 스트림을 위한 명시적인 규칙 프루닝(pruning) 메커니즘이 부족하다는 한계를 인정합니다. 그러나 이들은 자기 진화형 시스템으로 나아가는 것이 신뢰할 수 있는 LLM 배포를 위한 유망한 방향이라고 주장합니다.