기술 요약: SHIELD – LLM 자원 고갈 공격을 위한 자가 치유형 에이전트 방어 프레임워크

1. 문제 정의

대규모 언어 모델(LLM) 시스템은 과도한 연산을 유도하여 서비스 거부(DoS) 상태를 초래하는 공격 클래스인 **스펀지 공격(sponge attacks)**에 점점 더 취약해지고 있습니다. 이러한 공격은 모델이 병리적인 토큰 시퀀스를 생성하거나 장기 추론(long-horizon reasoning)에 참여하도록 유도하여, 심각한 지연 시간 증폭과 GPU 자원 독점을 일으키는 악의적인 입력값을 이용합니다.

기존의 방어 메커니즘은 다음과 같은 결정적인 한계를 가집니다:

• 통계적 필터 (예: 퍼플렉시티 기반): 비의미적이고 무작위적인 토큰 시퀀스에는 효과적이지만, 악의적인 의도가 유창하고 문맥적으로 타당한 언어 속에 내포된 의미론적 공격에는 실패합니다.
• 정적 LLM 기반 방어자: 표현력은 더 높지만, 빠르게 진화하는 공격 전략에 대응할 수 있는 견고함이 부족합니다. 이들은 예시 중심의 의미론적 그라운딩(semantic grounding)이 부족한 경우가 많으며, 방어 모델 자체가 실패했을 때의 복구 메커니즘이 제한적이어서 연쇄적인 실패로 이어질 수 있습니다.
• 운영 오버헤드: 모든 입력에 대해 LLM을 호출하는 것은 상당한 지연 시간을 발생시키며, 이는 고처리량 시스템에서 실시간 보호를 어렵게 만듭니다.

따라서 모델 재학습이나 아키텍처 변경 없이도 진화하는 위협에 적응할 수 있는 적응형 자가 치유 프레임워크가 절실히 필요합니다.

2. 방법론: SHIELD 프레임워크

SHIELD(Self-Healing Intelligent Evolving LLM Defense)는 폐쇄 루프형 자가 수정 아키텍처를 통해 스펀지 공격을 탐지하고 완화하도록 설계된, 학습이 필요 없는 멀티 에이전트 프레임워크입니다. 이는 **방어 파이프라인(Defense Pipeline)**과 **지식 업데이트 파이프라인(Knowledge Updating Pipeline)**이라는 두 개의 밀접하게 결합된 파이프라인으로 구성됩니다.

2.1 멀티 에이전트 아키텍처

시스템은 세 가지 전문화된 에이전트를 중심으로 구축됩니다:

1. 방어 에이전트 (Defense Agent, DA): 실시간 저지연 보호를 담당하는 주요 의사결정 주체입니다.
2. 지식 업데이트 에이전트 (Knowledge Updater Agent, KUA): DA가 공격을 탐지하지 못했을 때만 트리거됩니다. 사후 분석을 수행하여 새로운 공격 패턴을 식려내고 시스템의 지식 베이스를 업데이트합니다.
3. 프롬프트 최적화 에이전트 (Prompt Optimization Agent, POA): 새로운 공격 유형이 식별되었을 때 활성화됩니다. 기초 모델을 재학습시키지 않고도 DA를 위한 방어 지침을 반복적으로 정교화합니다.

2.2 3단계 방어 파이프라인 (DA)

DA는 들어오는 쿼리를 세 단계의 캐스케이드(cascade) 과정을 통해 처리합니다. 어느 단계에서든 실패가 발생하면 즉시 거부됩니다:

• 1단계: 의미론적 유사도 필터링 (Semantic Similarity Filtering): 쿼리를 벡터화하여 알려진 스펀지 프롬프트 데이터베이스와 비교합니다. 이 단계는 패러프레이징되거나 의미가 보존된 공격을 탐지합니다.
• 2단계: 서브스트링 매칭 (Substring Matching): 경량 KMP 알고리즘을 사용하여 더 길고 구문적으로 무해한 래퍼(wrapper) 내에 숨겨진 알려진 악성 페이로드를 탐지합니다. 이는 유사도 임계값을 회피하는 공격을 포착합니다.
• 3단계: LLM 기반 추론 (LLM-Based Reasoning): 남은 쿼리는 최적화된 방어 프롬프트와 1단계에서 검색된 컨텍스트의 안내를 받아 LLM 분류기에 의해 평가됩니다. 이 단계는 복잡한 의미론적 추론을 통해 연산 고갈 의도를 식별합니다.

2.3 시스템 수준의 자가 치유 (KUA)

악의적인 쿼리가 DA를 우회하여 대상 모델에서 과도한 토큰 생성을 유발할 경우, KUA가 활성화됩니다:

• 실패 분석: KUA는 자신의 공격 유형 캐시를 확인합니다. 일치하는 항목이 없으면 이를 새로운 변종으로 취급합니다.
• 격리 및 특성화: 샌드박스화된 복제본 모델을 사용하여, KUA는 반복적인 서브 스팬 프로빙(sub-span probing)을 수행함으로써 스펀지 동작을 일으키는 최소 구성 요소를 격리합니다.
• 지식 확장: 새로운 공격에 대해, KUA는 해당 메커니즘에 대한 구조화된 설명을 생성하고, 공격 유형 캐시를 업데이트하며, 새로운 악성 조각들을 지식 베이스에 추가합니다.

2.4 프롬프트 최적화 (POA)

새로운 공격 유형이 식별되면, POA는 진화적 프롬프트 탐색을 시작합니다:

• 후보 생성: 에이전트는 새로운 공격 설명에 기반하여 다양한 후보 시스템 지침을 생성합니다.
• 진화적 선택: 후보들은 업데이트된 공격 세트를 대상으로 평가됩니다. 높은 성능을 보이는 프롬프트는 룰렛 휠 샘플링을 통해 선택되어 메타 프롬프트를 업데이트하는 데 사용됩니다.
• 반복적 정교화: 이 과정은 중단 기준이 충족될 때까지 반복되며, 결과적으로 모델 재학습 없이도 탐지 정확도를 향상시키는 정교한 방어 지침을 도출합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 주장합니다:

1. 최초의 자가 치유형 에이전트 시스템: 기초 LLM을 재설계하지 않고도 지속적인 적응과 자가 수정을 가능하게 하는 최초의 스펀지 공격 방어 시스템을 제안합니다.
2. 3단계 방어 파이프라인: 쿼리당 LLM 호출과 관련된 지연 오버헤드를 크게 줄이기 위해 초기 단계 탐지(의미 유사도 및 서브스트링 매칭)를 우선시하는 설계를 제공합니다.
3. 프롬프트 최적화 워크플로우: 새로운 동작이 나타남에 따라 방어 지침을 지속적으로 정교화하여, 정적 프롬프트의 확장성 및 견고성 한계를 극복합니다.
4. 강력한 평가: 동적 환경에서 DoS 효과를 완화하고 알려진 공격 및 미지의 스펀지 공격을 모두 탐지하는 능력을 입증하는 광범적인 실험을 수행했습니다.

4. 실험 결과

프레임워크는 네 가지 공격 유형인 RL-GOAL, GCG-DoS (비의미적), EOGen (하이브리드), AutoDoS (완전 의미론적)를 대상으로 평가되었습니다.

• 베이스라인 대비 성능: SHIELD는 퍼플렉시티 기반 필터와 단독 LLM 해로우(harm) 필터를 일관되리 앞섰습니다.
  • AutoDoS (완전 의미론적)에서 퍼플렉시티 필터는 36.51%의 F1-스코어를 기록한 반면, SHIELD는 **100.00%**를 달성했습니다.
  • GCG-DoS에서 SHIELD는 **99.85%**를 달성하여, 퍼플렉시티 필터의 96.07%보다 높은 성능을 보였습니다.
  • 전반적으로, SHIELD는 다양한 공격 전략에 걸쳐 베이스라인 대비 F1-스코어를 3~14% 개선했습니다.
• 견고성: 방어 에이전트는 다양한 대상 모델(LLaMA2, Mistral, Gemma, GPT 변형 포함)과 공격 유형에 대해 포화된 성능에 가까운 성능을 유지했습니다.
• 지연 시간 효율성: 초기 단계 필터링(1, 2단계)은 쿼리당 약 1600ms의 지연 시간을 유발하는 3단계(LLM 추론)에만 의존할 때보다 엔드 투 엔드 지연 시간을 10배(1 order of magnitude) 감소시켰습니다.
• 자가 치유 효과:
  • 프롬프트 최적화: 자동화된 최적화는 수작업으로 작성된 프롬프트에 비해 EOGen 공격에 대한 F1-스코어를 약 30% 향상시켰습니다.
  • 지식 축적: 지식 업데이트 도구가 데이터베이스를 풍부하게 함에 따라, 탐지가 비용이 많이 드는 3단계에서 가벼운 1, 2단계로 이동하였고, 이는 시간이 지남에 따라 지연 시간을 줄이고 정확도를 높이는 결과를 가져왔습니다.

5. 의의 및 주장

본 논문은 SHIELD를 실제 LLM 배포 환경에서 회복 탄력적이고 지속적으로 개선되는 에이전트 보안의 중요한 진보로 규정합니다.

• 적응성: 정적인 방어 체계와 달리, SHIELD는 탐지 실패로부터 자율적으로 학습하고 논리를 스스로 수정하므로 진화하는 위협에 효과적입니다.
• 운영 가능성: 방어 로직을 대상 모델과 분리하고 폐쇄 루프형 치유 메커즘을 활용함으로써, 시스템은 운영 오버헤드를 최소화하고 빈번한 모델 재학습의 필요성을 피합니다.
• 확장성: 초기 단계 필터링과 점진적인 지식 축적을 결합함으로써, 반복적이거나 적응적인 공격 시나리오 하에서도 효율적으로 작동하는 강력한 보안을 구현할 수 있음을 입증했습니다.

저자들은 유사도 임계값 선택의 트레이드오프(오탐지와 탐지 범위 간의 균형), 지식 베이스의 무제한적 증가 가능성, 그리고 대상 모델이 오염되지 않았다는 가정(프롬프트 수준의 공격에 집중)을 포함한 한계점을 인정합니다. 그러나 이들은 SHIELD가 자율형 LLM 시스템에서 발생하는 자원 고갈 공격의 즉각적인 위협에 대해 실용적이고 배포 가능한 솔루션을 제공한다고 주장합니다.