논문 요약: LLM-as-a-Judge 와 Mixture-of-Models 를 활용한 프롬프트 공격 탐지

이 논문은 싱가포르 GovTech 연구팀 (Hieu Xuan Le 등) 이 발표한 것으로, 대규모 언어 모델 (LLM) 시스템에 대한 프롬프트 공격 (재일브레이크, 프롬프트 인젝션 등) 을 실시간으로 탐지하고 방어하기 위한 효율적인 아키텍처를 제안합니다. 특히, 엄격한 저지연 (low-latency) 제약 조건 하에서 경량화된 범용 LLM 을 '심판자 (Judge)'로 활용하는 방법과 여러 모델의 결과를 결합하는 '모델 혼합 (Mixture-of-Models, MoM)' 전략의 유효성을 검증했습니다.

---

1. 문제 정의 (Problem)

LLM 기반 에이전트 시스템의 확산과 함께 프롬프트 공격은 주요 보안 위협으로 부상했습니다. 그러나 실시간 운영 환경 (Production) 에서 이러한 공격을 방어하는 데는 다음과 같은 딜레마가 존재합니다.

• 경량 분류기의 한계: DeBERTa 와 같은 인코더 기반 경량 분류기는 속도는 빠르지만, 복잡한 문맥이나 은유적인 공격 (Grey-area attacks) 을 이해하는 추론 능력이 부족하여 일반화 성능이 낮습니다.
• 고성능 LLM 의 비용: 고도의 추론 능력을 가진 LLM 기반 방어 시스템은 정확도는 높지만, 실시간 트래픽 처리에 필요한 저지연 요구사항을 충족하지 못하거나 비용이 너무 높습니다.
• 기존 벤치마크의 부재: 기존 오픈소스 벤치마크는 단순한 템플릿이나 게임화된 데이터에 의존하여, 실제 복잡한 공격 패턴을 탐지하는 현대적 방어 시스템의 성능을 제대로 평가하지 못합니다.

2. 방법론 (Methodology)

2.1. 커스텀 평가 데이터셋 구축

실제 운영 환경과 최신 공격 기법을 반영한 929 개의 샘플로 구성된 프라이빗 데이터셋을 구축했습니다.

• ** benign(정상) 샘플:** 싱가포르 공공 서비스 챗봇의 실제 트래픽에서 추출되었으며, 공격과 유사하지만 합법적인 워크플로우 지시문 (False Positive Traps) 을 포함합니다.
• Adversarial(적대적) 샘플: 자동화된 레드팀 (Automated Red Teaming, PAIR 기법) 을 통해 생성되었으며, 사회공학적 기만, 창의적 프레임, 코드 혼합, 역할극 등을 포함한 다양한 최신 공격 패턴을 포함합니다.

2.2. LLM-as-a-Judge 프레임워크

단순한 이진 분류 (Yes/No) 가 아닌, 구조화된 추론 과정을 강제하는 프롬프트 설계를 통해 범용 경량 LLM 을 심판자로 활용합니다.

• 맥락 인식 분류 체계 (Taxonomy-Guided Reasoning):
  • 프레임 스트리핑 (Framing Stripping): 학술적, 허구적, 코드 기반의 위장 프레임을 제거하여 핵심 요청을 분리합니다.
  • 의도 분류: 워크플로우 지시, 사실 개요, 안전 지식, 유해 방법 상세, 안전 우회 시도 등으로 세분화하여 평가합니다.
  • 안전 신호 검증: "위험", "방지", "식별"과 같은 방어적 용어가 있는지 확인합니다.
  • 다중 턴 분석: 단일 메시지가 아닌 전체 대화 흐름을 분석하여 점진적인 공격 패턴을 탐지합니다.
• 구조화된 CoT (Chain-of-Thought) 및 자기 성찰:
  1. 초안 분류: 입력에 기반한 예비 범주 및 유해성 수준 할당.
  2. 필수 자기 성찰 (Self-Reflection): 자신의 판단을 비판적으로 검토 (예: "이것이 진짜 공격인가, 아니면 기술적 언어를 사용한 합법적 요청인가?").
  3. 최종 판정: 성찰 후 최종 이진 플래그 및 신뢰도 점수 (0.0~1.0) 출력.
• 점수 매핑: 정성적 판정과 신뢰도를 수치화하여 운영팀이 민감도 (Recall/Precision) 를 조절할 수 있게 합니다.

2.3. 모델 혼합 (Mixture-of-Models, MoM)

여러 LLM 심판자의 출력을 가중치 합산하여 최종 점수를 도출하는 병렬 아키텍처를 연구했습니다.

• 가중치 최적화: 그리드 서치 (Grid Search) 를 통해 F1 점수를 최대화하는 가중치와 임계값을 탐색합니다.
• 이산적 최적화: 각 모델의 출력이 이산적 (Discrete) 점수 구간으로 나뉘므로, 연속적인 가중치 공간이 유한한 논리적 결정 규칙으로 매핑됨을 증명하고 효율적인 탐색을 수행했습니다.

3. 주요 결과 (Results)

3.1. 탐지 성능 비교

• LLM-as-a-Judge 의 우위: 제안된 LLM-as-a-Judge 방식 (예: gemini-2.0-flash-lite-001, gpt-5.1) 은 인코더 기반 분류기나 전용 안전 LLM 보다 우수한 성능을 보였습니다.
  • 최고 성능: gpt-5.1이 F1 점수 0.8711 (정밀도 0.9766) 을 기록했습니다.
  • 저지연 모델: gemini-2.0-flash-lite-001은 F1 점수 0.8440을 유지하면서 1.5 초의 낮은 지연 시간을 보여 실시간 배포에 적합함을 입증했습니다.
• 비교 대상: Amazon Bedrock Guardrails (F1 0.1198) 나 경량 인코더 모델 (F1 0.2~0.35) 에 비해 압도적으로 높은 성능을 보였습니다.

3.2. 프롬프트 및 출력 설계의 중요성

• OpenAI Guardrails 와 같은 단순한 지시문보다, 중간 판단 (의도 분류, 안전 신호 확인) 과 자기 성찰을 강제하는 구조화된 출력 형식이 F1 점수를 유의미하게 향상시켰습니다.

3.3. 추론 모드 (Thinking Mode) 의 영향

• 모델의 내부 추론 (Thinking Mode) 을 활성화하는 것이 오히려 성능을 저하시켰습니다. 모든 모델에서 비추론 (Non-thinking) 모드가 더 높은 F1 점수를 기록했으며, 명확한 지시문 하에서는 추가적인 내부 추론이 불필요한 복잡성만 초래하는 것으로 나타났습니다.

3.4. 모델 혼합 (MoM) 의 한계와 통찰

• 성능 향상 보장 불가: 모델 수를 늘린다고 해서 성능이 무조건 좋아지는 것은 아닙니다. 오히려 모델이 많아질수록 신호 간 충돌로 인해 성능이 저하되는 경우가 많았습니다.
• 상호 보완적 조합의 중요성: 성능 향상은 특정 모델 간의 상호 보완적 조합 (예: gpt-5.1 + gpt-5-mini) 에서만 제한적으로 발생했습니다. 임의의 모델 조합이나 무작위 증가는 오히려 해가 될 수 있습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 실시간 배포 가능한 LLM 심판자: 범용 경량 LLM 을 구조화된 프롬프트와 자기 성찰 메커니즘을 통해 고신뢰도 보안 심판자로 활용할 수 있음을 입증했습니다. 이는 별도의 파인튜닝 없이도 적용 가능한 제로샷 (Zero-shot) 접근법입니다.
2. 실제 운영 환경 기반 평가: 단순한 벤치마크가 아닌, 실제 공공 서비스 챗봇 트래픽과 자동화된 레드팀 데이터를 결합한 평가 세트를 제공하여 현실적인 공격 탐지 능력을 검증했습니다.
3. 실용적인 아키텍처 제안: 싱가포르 공공 서비스 챗봇에 중앙 집중형 가드레일 서비스로 실제 배포되었으며, 지연 시간과 정확도 사이의 최적 균형을 찾았습니다.
4. 모델 혼합에 대한 현실적 통찰: "더 많은 모델 = 더 좋은 성능"이라는 통념을 반박하고, 소수의 상호 보완적인 모델 조합을 신중하게 선택하는 것이 중요함을 강조했습니다.

결론

이 연구는 복잡한 프롬프트 공격을 탐지하기 위해 무거운 전용 모델이나 느린 고성능 LLM 에만 의존할 필요가 없음을 보여줍니다. 잘 설계된 프롬프트와 구조화된 추론 과정을 통해 경량 범용 LLM 이 실시간 보안 가드레일로서 매우 효과적으로 작동할 수 있으며, 이는 현재 싱가포르 공공 서비스에서 실제 운영되고 있습니다.