기술 요약: MEMBRANE

문제 정의

안전 정렬(safety alignment)의 발전에도 불구하고, 대규모 언어 모델(LLM)과 LLM 에이전트는 지속적으로 진화하는 탈옥(jailbreak) 공격에 여전히 취약합니다. 이러한 공격은 단순한 프롬프트 수정을 넘어 반복적 정교화(iterative refinement), 설득 기반 재작성(persuasion-based rewriting), 자가 적응형 정책(self-adapting policies)과 같은 복잡하고 피드백 중심적인 전략으로 변화해 왔습니다.

기존의 방어 기제는 두 가지 주요 한계점에 직면해 있습니다:

1. 정적 방어(Static Defenses): 전통적인 안전 분류기 및 미세 조정된 모델은 고정된 파라미터에 안전성을 인코딩하므로, 의사결정 경계가 경직되어 있어 비용이 많이 드는 재학습 없이 배포 후 이를 수정하기 어렵습니다.
2. 메모리 기반 결함(Memory-Based Deficiencies): 메모리 증강 가드레일은 적응성을 제공하지만, 기존 설계는 안전 지식을 "단방향" 형태로 저장합니다. 이들은 공격 패턴이나 거절 규칙은 포착하지만, 공격과 표면적으로 유사해 보이는 양호한(benign) 질의를 허용하기 위한 쌍을 이룬 조건(paired conditions)이 부족합니다. 이는 두 가지 결합된 실패 모드로 이어집니다:
   • 취약한 커버리지(Brittle Coverage): 방어 체계가 이미 저장된 특정 표면 형태(surface forms)에 묶여 있게 됩니다.
   • 과잉 거절(Over-Refusal): 메모리가 확장됨에 따라, 가드는 저장된 공격과 표면적 특징을 공유하는 양호한 질의까지 점점 더 많이 거절하게 됩니다.

방법론: MEMBRANE

저자들은 **대조적 안전 메모리(Contrastive Safety Memory, CSM)**를 기반으로 구축된 외부 가드레일인 MEMBRANE을 제안합니다. 기존 방식과 달리, MEMBRANE은 각 메모리 셀이 유해한 질의를 차단하기 위한 조건과 표면적으로 유사한 양호한 요청을 허용하기 위한 조건을 명시적으로 쌍을 이루어 진화시키는 지식 베이스를 구축합니다.

핵심 구성 요소

1. 대조적 안전 메모리 (CSM):

   • 구조: 각 셀($m$)은 공격 프로필(Attack Profile, $P$), 의사결정 기준(Decision Criteria, $D$), 그리고 에이전트 안전을 위한 선택적 도구-동작 컨텍스트(Tool-Action Context, $T$)로 구성됩니다.
   • 공격 프로필: 공격을 전략($p_{strat}$), 요청된 동작($p_{act}$), 유해 목적($p_{harm}$)으로 특징짓습니다. 결정적으로, 인덱싱은 표면적인 주제가 아니라 근본적인 공격 전략(예: 설득, 역할 주입)을 기준으로 수행됩니다. 이를 통해 단일 셀이 동일한 메커니즘을 가진 다양한 주제적 변형 전반에 걸쳐 일반화될 수 있습니다.
   • 의사결정 기준: 대조 쌍($d_{unsafe}, d_{safe}$)으로 구성됩니다. $d_{unsafe}$는 질의를 차단하기 위한 논리적 충분성을 정의하며, $d_{safe}$는 과잉 거절을 방지하기 위해 허용되어야 하는 양호한 요청의 개요를 설명합니다.
   • 도구-동작 컨텍스트: 에이전트의 경우, 쌍을 이룬 양호한 상호작용으로부터 도출된 정보를 바탕으로, 요청이 유해한 기준과 일치하더라도 해당 동작이 안전하게 유지되는 시점을 명시합니다.

2. 쌍을 이룬 자가 진화 (Paired Self-Evolution):

   • MEMBRNE은 경험 기반 루프를 통해 CSM을 업데이트합니다. 각 상호작용은 유해한 질의($x_h$)와 그에 대응하는 양호한 질의($x_b$)를 포함합니다.
   • 가드의 판정(탈옥됨, 과잉 거절, 또는 정상)에 따라 **메모리 플래너(Memory Planner)**는 생성(CREATE)(새로운 패턴), 업데이트(UPDATE)(기존 셀 정교화), 삭제(DELETE)(오도하는 셀 제거), 또는 건너뛰기(SKIP) 중 하나의 동작을 선택합니다.
   • **메모리 라이터(Memory Writer)**는 대조적 셀 내용을 합성하며, 이때 '안전한 측면'이 양호한 대응물을 명시적으로 포착하도록 보장합니다. 비-LLM 검증기가 구조적 정확성을 확인합니다.

3. 추론 파이프라인 (Inference Pipeline):

   • 1단계 (벡터 검색): 직렬화된 셀 필드의 벡터 유사성을 기반으로 후보 셀을 검색하며, 메커니즘 수준의 특징에 대한 높은 재현율(recall)을 우선시합니다.
   • 2단계 (검색 비평가, Retrieval Critic): LLM 기반의 리랭커(reranker)가 후보들을 필터링하여 적용됨(APPLIES), 가능성 있음(MAYBE), 또는 *적용되지 않음(DOES_NOT_APPLY)*의 판정을 내립니다. 이는 검색된 전략이 실제로 질의와 일치하는지 확인하여 노이즈를 줄이기 위함입니다.
   • 가드 결정: 최종 가드는 필터링된 셀 집합을 조건으로 질의를 평가하여 SAFE(안전) 또는 UNSAFE(유해) 결정을 내립니다.

주요 기여

1. 대조적 안전 메모리 (CSM): 공격 패턴과 그에 대응하는 양호한 대응물을 쌍으로 묶어, '안전한 측면'을 명시함으로써 과잉 거절을 억제하는 새로운 메모리 표현 방식입니다.
2. 쌍을 이룬 자가 진화: 유해 및 양호한 상호작용을 생성, 업데이트, 삭제 작업을 통해 대조적 셀로 추출하는 경험 기반 학습 규칙이며, 표면 형식이 아닌 공격 전략에 의해 인덱싱됩니다.
3. 포괄적 평가: 모델 수준(HarmBench) 및 에이전트 수준(AgentHarm) 안전 벤치마크 전반에 걸친 평가를 통해 6가지 뚜렷한 탈옥 변형에 대한 견고성을 입증했습니다.

실험 결과

저자들은 HarmBench와 AgentHarm에서 프롬프트 수준 가드, 미세 조정된 분류기, 메모리 증강 방어 등을 포함한 최신 기술(SOTA) 베이스라인들과 MEMBRANE을 비교 평가했습니다.

• 성능: MEMBRANE은 두 벤치마크의 6가지 탈옥 공격 모두에서 가장 높은 F1 점수를 달ей했습니다.
  • HarmBench에서, ReNeLLM 및 FlipAttack에 대한 공격 성공률(ASR)을 거의 0에 가깝게 낮추었으며, 가장 강력한 베이스라인 대비 상당한 F1 격차를 보여주었습니다.
  • AgentHarm에서, MEMBRANE은 모든 방법 중 가장 높은 F1을 달성했으며, FlipAttack의 경우 ASR이 (vanilla의 100% 대비) 0.9%로 떨어졌습니다.
• 양호한 질의 거절 (Benign Refusal): 사용성을 결정짓는 핵심 지표입니다. MEMBRANE은 AgentHarm에서 **714%**의 양호한 거절률을 유지했습니다. 이는 메모리 증강 베이스라인(2853%) 및 정적 가드(73~85%)보다 현저히 낮은 수치로, 유해한 공격과 양호한 질의를 구별하는 능력을 입증합니다.
• 일반화 및 견고성:
  • 교차 공격 전이 (Cross-Attack Transfer): 전략별로 인덱싱된 셀은 동일한 근본 메커니즘을 공유하는 다른 공격으로 전이되었을 때 **87~88%**의 F1 성능을 유지했습니다.
  • 메모리 오염 (Memory Poisoning): 20%의 데이터 주입률(둘 다 "안전을 유해함으로", "유해함을 안전함으로" 설정) 하에서도 MEMBRANE은 안정적이었으며, ASR 편차는 1점 미만이었고 검색 비평가에 의해 오염된 셀이 성공적으로 필터링되었습니다.
• 지연 시간 (Latency): 전체 시스템은 오버헤드가 발생하지만, "MEMBRANE lite" 구성(검색 비평가 비활성화)을 사용하면 높은 F1 점수를 유지하면서도 지연 시간을 약 2.3초로 단축하여 SmoothLLM과 같은 무거운 베이스라인보다 우수한 성능을 보였습니다.

의의

본 논문은 기존 메모리 기반 방어의 주요 실패 원인이 안전한 입력과 유해한 입력 사이의 명시적인 대조가 부족하다는 점이라고 주장합니다. MEM-BRANE은 메모리를 공격 전략에 의해 인덱싱되는 대조적 셀로 구조화함으로써, 취약한 커버리지와 과잉 거절이라는 결합된 문제를 해결합니다.

저자들은 이 접근 방식이 단일 메모리 셀이 동일한 공격 메커니로의 주제적 변형 전반에 걸쳐 일반화될 수 있게 하는 동시에, 표면적 특징을 공유하는 양호한 질의를 명시적으로 보호할 수 있다고 주장합니다. 결과에 따르면, 자가 진화하는 대조적 메모리는 진화하는 적대적 전략과 잠재적인 데이터 오염 속에서도 높은 정밀도를 유지하면서 정당한 사용자 요청을 수용할 수 있는 배포 가능한 적응형 방어를 제공할 수 있음을 시사합니다.