기술 요약: LLM 안전성을 위한 인지적 방화벽 (Cognitive Firewall)

문제 정의

현재 대규모 언어 모델(LLM)의 런타임 안전 장치는 주로 메시지 단위의 분류기로 작동합니다. 이러한 시스템은 개별 프롬프트나 응답을 고립된 상태에서 고정된 유해 카탈로그와 대조하여 점수를 매깁니다. 저자들은 이러한 프레칭이 불충분하다고 주장하는데, 이는 사용자의 진화하는 목적을 모델링하지 못하고, 대화의 궤적에 대한 기억을 유지하지 못하며, 단언된 권위를 검증하지 못하기 때문입니다. 결과적으로, 인내심 있는 공격자는 단일 메시지에는 유해성이 없으나 상호작용 전체를 통해 유해성이 나타나는 다회차 전략을 사용하여 이러한 방어 체계를 우회할 수 있습니다.

구체적인 취약점은 다음과 같습니다:

• 다회차 에스컬레이션 (Multi-turn Escalation): Crescendo와 같은 공격은 무해하게 시작하여 모델의 이전 답변을 이용해 유해한 목표로 유도합니다.
• 분해 (Decomposition): ActorAttack와 같은 공격은 금지된 목적을 개별적으로는 무해한 하위 질문들의 네트워크로 분할합니다.
• 권위 조작 (Authority Manipulation): 사용자는 제한을 우회하기 위해 승인되지 않은 역할(예: 개발자, 임상의)이나 정책 오버라이드를 주장할 수 있으며, 메시지 단위 필터는 이를 단순한 문맥으로 취급할 뿐 검증되지 않은 증거로 처리하지 못합니다.

기존의 궤적 인식형 방어 체계는 전체 대화 이력을 단일 위험 점수로 축소하는 경 Tendency가 있으며, 이는 국소적인 에스컬레이션 신호를 희석시킬 수 있습니다. 또한, 대부분의 감독 기반 방어는 생성 후(post-generation)에 작동하거나 단일 턴 공격에 집중되어 있어, 대상 모델이 응답을 생성하기 전에 안전하지 않은 상호작용을 차단하는 선제적 메커니즘이 부족합니다.

방법론: 인지적 방화벽 (The Cognitive Firewall)

본 논문은 보호된 대상 모델과 사용자 사이에 독립적인 감독 모델을 배치하는 선제적 런타임 감독 프레임워크인 인지적 방화벽을 제안합니다. 이 프레임워크는 단순한 메시지 분류기와 달리 상호작용 전체를 읽으며, 안전성 평가를 네 가지 범주형 게이트(gate)로 분해합니다. 결정은 **에스컬레이션 규칙(escalation rule)**을 통해 결합됩니다. 즉, 단 하나의 게이트라도 위험 판정을 내리면 해당 상호작용은 즉시 차단됩니다.

네 가지 게이트

1. 의도 게이트 (Intent Gate, G1) - 생성 전 (Pre-generation):

   • 기능: 요청의 실제 현실 세계 전달물을 해결함으로써 운영 목적을 식별합니다.
   • 메커니즘: 표면적인 문구와 실제 참조 대상을 구분합니다 (예: 영화 장면 묘사와 실제 악성코드 합성의 구분). 전달물이 전이 가능한 해악(예: 무기 합성, 혐오 표현)을 구성하는 경우에만 "unsafe"를 반환합니다.
   • 목표: 위험해 보일 수 있는 무해한 요청에 대한 거부를 방지하는 동시에 직접적인 공격을 차단합니다.

2. 제로 트러스트 컨텍스트 게이트 (Zero-Trust Context Gate, G2) - 생성 전 (Pre-generation):

   • 기능: 역할, 신원, 권한, 허가 또는 정책 오버라이드에 대한 주장을 검증합니다.
   • 메커니즘: "절대 신뢰하지 말고 항상 검증하라"는 원칙에 따라, 대화 내의 모든 권위 주장을 검증되지 않은 증거로 취급합니다. 이 게이트는 주제와 무관하게 사용자와 어시스턴트의 규칙에 관한 1인칭 주장만을 집중적으로 다룹니다.
   • 목표: 허위 자격이나 역할극을 통해 제한된 콘텐츠를 잠금 해제하려는 조작 시도를 차단하며, 이는 일반적인 콘텐츠 필터가 놓치기 쉬운 채널입니다.

3. 일관성 게이트 (Consistency Gate, G3) - 생성 전 (Pre-generation):

   • 기능: 전체 트랜스크립트를 분석하여 시간적 조작을 탐지합니다.
   • 메커니즘: 점진적인 에스컬레이션(crescendo), 무해한 시작에서 제한된 목표로의 이탈, 이전 문맥과의 모순, 여러 턴에 걸쳐 분해된 유해한 작업 등을 감지합니다. 무해한 시작 단계에서의 오탐을 피하기 위해 첫 번째 턴에서는 관망합니다.
   • 목표: 개별 턴은 안전해 보일지라도 시간이 흐름에 따라 해악이 조립되는 상호작용을 차단합니다.

4. 출력 위험 게이트 (Output Risk Gate, G4) - 생성 후 (Post-generation):

   • 기능: 대상 모델이 생성한 후보 응답을 검사합니다.
   • 메커니즘: 실제 전달된 콘텐츠를 판단하여 실행 가능한 위험한 능력, 부분적인 단계, 또는 유해한 산출물(예: 피싱, 비속어)을 찾아냅니다.
   • 목표: 최종 응답에서 조립될 때 비로소 유해해지는 분해 페이로드(decomposition payloads)에 대한 백스톱 역할을 합니다.

결정 규칙

프레임워크는 점수 평균화가 아닌 에스컬레이션 기반 결정 규칙을 사용합니다. 각 게이트는 수치적 점수가 아닌 범주형 라벨(예: unsafe, manipulative, escalating)을 출력하므로, 시스템은 활성화된 게이트 중 하나라도 위험 판정을 내리는 즉시 턴을 차단합니다. 이는 확신 있는 위험 신호가 다른 게이트의 안전 신호에 의해 희석되는 것을 방지하며, 모든 차단에 대해 인간이 읽을 수 있고 감사 가능한 근거를 제공합니다.

주요 기여

1. 선제적 런타임 프레임워크: 의도 분석, 제로 트러스트 컨텍스트 검증, 대화 궤적 분석, 출력 위험 평가로 안전성 판단을 분해하는 별도의 감독 모델을 도입했습니다.
2. 제로 트러스트 컨텍스트 검증: 역할 및 권위 주장을 검증되지 않은 증거로 격리하고 검증하는 전용 게이트를 구축하여, 일반적인 콘텐츠 안전성과 혼동되었던 조작 채널을 해결했습니다.
3. 에스컬레이션 기반 결정 규칙: 범주형 게이트 판정을 결합하는 방법을 통해 점수 희석을 방지하며, 단일 위험 신호만으로도 상호작용을 차단하면서 감사 가능성을 유지합니다.
4. 포괄적 평가: 단일 턴, 다회차, 권위 기반 및 인간이 제작한 공격 세트에 대한 실험적 검증을 통해, 기존 가드 모델 및 궤적 인식형 방화벽보다 우수한 성능을 입증했습니다.

실험 결과

프레임워크는 네 가지 공격 벤치마크와 한 가지 무해한 안전 테스트 세트($n=100$ 단일 턴, $n=50$ 다회차 공격, $n=16$ 권위 프로브, $n=120$ 무해한 프롬프트)를 대상으로 평가되었습니다.

• 공격 성공률 (ASR) 감소:

  • 단일 턴 (jbb): ASR을 45%(방어 없음)에서 **1%**로 감소시켰습니다.
  • 다회차 에스컬레이션 (Crescendo): ASR을 10%에서 **0%**로 감소시켰습니다.
  • 분해 (safemt/ActorAttack): ASR을 30%에서 **2%**로 감소시켰습니다.
  • 인간 제작 탈옥 (mhj): ASR을 74%에서 **14%**로 감소시켰습니다.
  • 권위 프로브: 권위 기반 공격의 75%(12/16)를 차단했으며, 이는 다른 베이스라인의 6~31%와 대조적입니다.

• 봉쇄 타이밍:

  • 프레임워크는 주로 생성 전에 봉쇄를 달성합니다. Crescendo 공격의 경우 100%가 생성 전에 차단되었습니다. 직접적인 공격의 경우 92%가 생성 전에 차단되었습니다.
  • 이와 대조적으로, 턴을 고립시켜 점수를 매기거나 위험 점수를 평균화하는 퍼 메시지 가드 및 궤적 인식형 방화벽은 분해 세트에서 실패하는 경우가 많습니다.

• 과잉 거부 (Over-Refusal):

  • 프레임워크는 무해한 프롬프트(xstest)에 대해 **8%**의 과잉 거부율을 유지하였으며, 이는 더 엄격한 가드 베이스라인(예: ShieldGemma 18%, Granite Guardian 21%)보다 현저히 낮은 수치입니다.

• 게이트 기여도 (Ablation):

  • 일관성 게이트를 제거했을 때 다회차 공격에 대한 생성 전 봉쇄 능력이 가장 크게 하락했습니다 (예: Crescendo 봉쇄율이 100%에서 72%로 감소).
  • 출력 게이트를 제거하면 분해 세트에 대한 ASR이 크게 증가하여 (예: safemt ASR이 2%에서 16%로 상승), 필수적인 백스톱으로서의 역할을 확인했습니다.
  • 컨텍스트 게이트는 권위 프로브에 결정적이었으나 (제거 시 차단율 0%로 하락), 권위 주장이 없는 표준 공격 세트에는 미미한 영향을 미쳤습니다.

의의 및 주장

본 논문은 분해된 대화 수준의 감독이 LLM 안전성을 위한 선제적 봉쇄와 감사 가능성을 어떻게 크게 향상시킬 수 있는지 보여준다고 주장합니다.

• 분류에서 이해로의 전환: 본 연구는 모델을 가드하는 것이 단순한 분류 문제가 아니라, 사용자의 진화하는 목적에 대한 모델링을 요구하는 이해(comprehension)의 문제라고 주장합니다.
• 인지적 봉쇄의 실행: 이론적인 억제 계층을 넘어, 대상 모델이 유해한 목표를 향한 에스컬레이션을 생성하기 전에 차단하는 실질적인 시스템으로서 "인지적 방화벽" 개념을 구체화했습니다.
• 감사 가능성: 범주형 게이트와 에스컬레이션 규칙을 사용함으로써, 모든 차단된 상호작용는 불투명한 점수 기반 시스템과 달리 특정하고 인간이 읽을 수 있는 판정(예: "escalating" 또는 "manipulative")으로 추적 가능합니다.
• 상호 보완성: 결과는 생성 전 게이트와 생성 후 게이트가 서로 보완적임을 보여줍니다. 다회차 및 분해 공격의 전체 스펙트럼을 다루기 위해 어느 하나만으로는 충분하지 않습니다.

저자들은 평가에 동일 계열의 단일 심판 모델을 사용했다는 점, 일부 공격 유형에 대한 샘ark 크기가 작다는 점, 그리고 감독 모델 자체를 겨냥한 프롬프트 인젝션 공격에 대한 스트레스 테스트가 부족하다는 점 등 한계점을 언급했습니다. 그러나 이 프레임워크는 현재의 단일 메시지 방어 체계가 효과적으로 완화할 수 없는 복잡한 다회차 적대적 전략을 다루는 새로운 기준을 제시합니다.