TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning

"비추적 트래픽에서 비대칭 대비 학습을 통한 분해형 재일브레이크에 대한 상태 기반 방어: TwinGate" 논문의 상세 기술 요약입니다.

1. 문제 정의

본 논문은 대규모 언어 모델 (LLM) 이 **분해형 재일브레이크 (decompositional jailbreaks)**에 노출되는 치명적인 취약점을 다룹니다. 단일 프롬프트 내에서 안전 필터를 우회하려는 기존 공격과 달리, 분해형 공격은 "폭탄 제조 방법"과 같은 악의적 목표를 "폭발물의 특성", "화학 반응"과 같이 개별적으로는 안전하고 의미적으로 분리된 하위 쿼리 시퀀스로 분할합니다.

주요 과제:

• 상태 비저장 (Stateless) 한계: 기존 방어 수단 (예: 표준 가드레일) 은 프롬프트를 고립된 상태로 평가합니다. 개별 조각들이 안전해 보이므로, 이러한 방어 수단들은 누적된 악의적 의도를 탐지하지 못합니다.
• 비추적 트래픽: 실제 배포 환경에서 공격자는 여러 익명 세션, IP 주소, 또는 사용자 계정에 조각을 분산시킬 수 있습니다. 세션 ID 나 IP 와 같은 사용자 메타데이터에 의존하여 대화 기록을 추적하는 방어는 쉽게 우회됩니다.
• 의미적 간극: 동일한 악의적 의도의 조각들은 종종 미미한 의미적 유사성 (예: "배선" 대 "비료") 만 공유하므로, 표준 임베딩 모델을 사용하여 클러스터링하기 어렵습니다.
• 운영 오버헤드: 기존 상태 기반 솔루션은 실시간 컨텍스트 분석을 위해 무거운 생성 모델을 의존하는 경우가 많아, 고처리량 생산 환경에 부적합한 금지적 지연 시간과 계산 비용을 초래합니다.

2. 방법론: TwinGate

TwinGate 는 사용자 메타데이터 없이 작동하도록 설계된 상태 기반 이중 인코더 방어 프레임워크로, 비추적 요청 스트림의 의미 분석에만 의존합니다.

A. 핵심 아키텍처

이 시스템은 두 개의 병렬 인코더와 전역 벡터 저장소를 사용합니다:

1. ACL 미세 조정 인코더 (의도 벡터): **비대칭 대비 학습 (Asymmetric Contrastive Learning, ACL)**을 사용하여 쿼리를 표면적 의미보다는 악의적 의도에 따라 조직된 잠재 공간에 매핑합니다. 이는 동일한 공격의 의미적으로 이질적인 조각들을 밀집된 그룹으로 클러스터링합니다.
2. 동결된 인코더 (의미 벡터): 문자 그대로의 표면적 의미를 포착하는 사전 훈련된 동결 인코더입니다. 이는 반복적인 benign(안전한) 쿼리에 대한 오탐지를 방지하기 위한 보수적 앵커 역할을 합니다.
3. 전역 벡터 저장소: 상태 기반 검색을 위해 과거 요청 벡터 (의미 및 의도 모두) 를 저장합니다.

B. 비대칭 대비 학습 (ACL)

기존 대비 학습은 유사한 항목들을 함께 클러스터링합니다. ACL 은 비대칭성을 도입합니다:

• 긍정적 인력: 단일 악의적 의도에서 파생된 모든 조각 (및 원래 의도 자체) 은 밀집된 클러스터 안으로 함께 끌어당겨집니다.
• 부정적 반발: 안전한 쿼리는 오직 부정적 샘플로만 작용합니다. 이들은 악의적 클러스터를 밀어내지만, 서로 간에는 클러스터링되지 않습니다. 이는 안전한 트래픽의 자연스러운 다양성을 유지하면서 악의적 의도를 격리합니다.
• 학습 전략: 모델은 원래 악의적 의도가 분해된 조각들을 위한 "밀집 앵커"로 작용하는 방대한 데이터셋으로 훈련되어 의미적 간극을 연결합니다.

C. 2 단계 의사결정 논리

민감도와 정밀도의 균형을 맞추기 위해 TwinGate 는 캐스케이드 의사결정 과정을 사용합니다:

1. 1 단계: 의미적 동등성 상속 (FPR 제어):
   • 시스템은 먼저 동결된 인코더를 사용하여 들어오는 쿼리가 이전에 판정된 요청과 의미적으로 동일한지 확인합니다.
   • 일치하는 경우 (유사도 > $\tau_{sem}$), 시스템은 이전 의사결정을 상속합니다 (예: 이전 안전한 쿼리가 허용되었다면, 이 쿼리도 허용됨). 이는 ACL 검사를 완전히 우회하여 고빈도 안전한 쿼리가 오탐지를 유발하지 않도록 보장합니다.
2. 2 단계: 의도 기반 공격 탐지:
   • 쿼리가 새로운 경우, ACL 인코더가 의도 벡터를 생성합니다.
   • 시스템은 벡터 데이터베이스를 쿼리하여 과거 악의적 클러스터와의 최대 유사도를 검색합니다.
   • 유사도가 의도 임계값 ($\tau_{int}$) 을 초과하면 요청이 차단됩니다.

D. 시스템 구현

• 하드웨어 인식 파이프라인: 4 개의 NVIDIA A100 GPU 를 위해 설계되었습니다. 인코더와 인메모리 벡터 데이터베이스 (HBM) 간의 제로 복사 데이터 전송을 위해 NVLink 를 사용하여 PCIe 병목 현상을 피합니다.
• 비동기 처리: I/O 를 신경 계산과 분리하여, 방어 시스템이 타겟 LLM 의 프리필 (prefill) 단계와 병렬로 실행되도록 하여 지연 시간을 무시할 수 있을 정도로 낮게 유지합니다.

3. 주요 기여

1. 새로운 위협 모델: 비추적 트래픽(메타데이터 없음) 에서 분해형 재일브레이크에 대한 방어를 공식적으로 정의하고 연구한 최초의 사례로, 실용적으로 중요하지만 이전에는 탐구되지 않았던 과제를 다룹니다.
2. TwinGate 프레임워크: 사용자 신원에 의존하지 않고 누적된 악의적 의도를 식별하는 상태 기반 이중 인코더 메커니즘으로, ACL 을 활용하여 분할된 공격 간의 의미적 간극을 연결합니다.
3. 대규모 데이터셋: 362 만 개의 지시문을 포함한 포괄적인 벤치마크 구축:
   • 8,600 개의 고유한 악의적 의도.
   • 25 만 개의 안전한 의도 (분해 포함).
   • 60.3 만 개의 독립적인 안전한 쿼리.
   • 다양한 분해 전략에 대한 견고성을 보장하기 위해 여러 "분할기 (splitter)" 모델로 생성된 데이터.
4. 이론적 한계: 잠재 공간의 구형 패킹 한계와 과거 제약을 우회하기 위해 필요한 지수적 검색 비용으로 인해 적응형 회피 공격이 계산적으로 비실용적임을 보여주는 기하학적 및 계산적 증명 (정리 1 및 2) 제공.

4. 실험 결과

미래 컨텍스트가 없는 엄격한 인과적 프로토콜 하에 구축된 데이터셋에서 평가됨:

• 보안 성능:
  • 악의적 의도 재현율 (Recall): > 0.76 (공격 체인 탐지).
  • 오탐지율 (FPR): < 0.2% ($2 \times 10^{-3}$), 베이스라인보다 현저히 낮음.
  • 적응형 견고성: 화이트박스 적응형 공격 (GCG 최적화 및 의미적 재작성 포함) 에 대해 공격 성공률 (ASR) 이 ~0.99(방어 없음) 에서 0.18로 감소.
• 성능 및 확장성:
  • 처리량: **초당 1,700 개 이상의 쿼리 (QPS)**를 유지하며, 70 억 파라미터 베이스라인 가드레일보다 약 10 배 높음.
  • 지연 시간: $P_{99}$ 지연 시간을 300ms 미만으로 유지하여 LLM 의 프리필 단계 내에서 투명하게 실행 가능.
  • 데이터베이스 확장성: 단일 40GB GPU 가 선형 이하의 지연 시간 증가로 600 만 개의 역사적 요청을 견고하게 처리 가능.
• 절대화 연구 (Ablation Studies):
  • 동결된 인코더를 제거하면 반복되는 안전한 쿼리가 플래그되어 FPR 이 급증함.
  • ACL을 제거하고 (대칭 대비 학습 또는 원시 인코더 사용) 재현율이 붕괴되어 의도 특이적 클러스터링의 필요성을 입증함.
  • 시스템은 보지 못한 분할기 모델에 대해 강력한 제로샷 일반화 능력을 보임.

5. 의의

TwinGate 는 LLM 안전 분야에서 정적, 단일 턴 필터링에서 생산 환경에서 실현 가능한 동적, 상태 기반 의미 모니터링으로의 패러다임 전환을 의미합니다.

• 실용성: 생성 모델의 계산 오버헤드나 메타데이터 추적의 개인정보 위험 없이 상태 기반 탐지를 달성함으로써 "상태 비저장 대 상태 기반"의 트레이드오프를 해결합니다.
• 확장성: 하드웨어 인식 설계와 벡터 검색 접근 방식을 통해 실시간으로 고처리량 비추적 트래픽 스트림을 처리할 수 있는 최초의 방어 수단입니다.
• 견고성: 이전까지 알려진 모든 방어 수단을 우회했던 정교한 분해형 공격을 효과적으로 무력화하여, LLM 의 적대적 견고성에 대한 새로운 벤치마크를 수립합니다.