기술 요약: Honeyval – LLM 기반 HTTP 허니팟을 위한 포괄적 평가 프레임워크

문제 제기

허니팟은 소프트웨어 스택의 실제 구성 요소를 모방하여 공격자를 탐지, 모니터링 및 연구하기 위해 설계된 방어용 미끼 시스템입니다. 전통적인 고상호작용 허니팟은 현실적인 시뮬레이션을 제공하지만, 실제 시스템 자원에 의존하므로 방어자에게 상당한 보안 위험을 노출시킵니다. 최근 대규모 언어 모델 (LLM) 은 취약한 호스트 자원에 접근할 필요 없이 높은 충실도로 시스템 상호작용을 시뮬레이션할 수 있는 해결책으로 등장했습니다.

그러나 LLM 기반 허니팟의 개발에는 통일되고 확장 가능하며 재현 가능한 평가 프레임워크가 부족합니다. 현재 평가 방법은 다음과 같은 세 가지 주요 한계를 겪고 있습니다:

1. 확장성: 수동 실험실 테스트나 희소한 실제 배포에 의존하면 반복적인 개발이 어렵습니다.
2. 재현성: 평가는 종종 정밀한 시스템 구성을 갖추지 못합니다. LLM 이 미지정된 시스템을 시뮬레이션할 때, 실행 간 일관되지 않은 세부 사항 (예: 파일 시스템 상태) 을 생성하여 결과를 비교할 수 없게 만듭니다.
3. 대표성: 정적 명령 - 출력 비교나 개방형 상호작용은 현실적인 공격 체인을 포착하거나 특정 적대적 목표에 적응하지 못합니다.

기존 평가들은 일반적으로 고정된 명령에 대한 응답 유사성을 측정하거나, 수동 테스트를 수행하거나, 온라인으로 배포합니다. 이러한 방법들은 공격자와 방어자가 서로에게 적응하는 "고양이와 쥐"의 역동성을 적절히 다루지 못합니다.

방법론: Honeyval 프레임워크

이러한 격차를 해결하기 위해 저자들은 LLM 기반 HTTP 허니팟을 위해 특별히 설계된 포괄적 평가 프레임워크인 Honeyval을 소개합니다. 이 프레임워크는 LLM 생성 웹앱 보안을 위한 벤치마크인 BaxBench에서 유래한 16 가지 현실적인 백엔드 애플리케이션 구성을 기반으로 합니다.

핵심 구성 요소

1. 환경: Honeyval 은 표준화된 OpenAPI 명세로 정의된 16 가지 고유한 백엔드 애플리케이션 (예: 계산기, 제품 카탈로그, 로그인 서비스) 을 활용합니다. 각 애플리케이션은 다음을 포함합니다:

   • 안전한 구현.
   • 취약하고 악용 가능한 구현.
   • 기능 테스트 스위트.
   • 정의된 악용 목표 (예: 스크립트 다운로드, 데이터베이스 테이블 삭제, 관리자 비밀번호 수정, 브라우저 저장소 유출).

2. 평가 작업: 프레임워크는 견고성과 비교 가능성을 보장하기 위해 세 가지 고유한 작업을 사용합니다:

   • 주 작업 (허니팟 vs 공격자): AI 해킹 에이전트가 LLM 기반 허니팟과 직접 상호작용합니다. 허니팟은 백엔드 API 를 시뮬레이션하는 반면, 에이전트는 정의된 악용 목표를 달성하려 시도합니다. 추적되는 지표에는 상호작용 길이 (요청 수), 실행 비용, 지연 시간, 허니팟 탐지율이 포함됩니다.
   • 에이전트 제어 작업: 해킹 에이전트가 백엔드 애플리케이션의 실제 안전하고 취약한 구현과 상호작용합니다. 이 작업은 에이전트의 취약점 악용 기본 능력과 실제 시스템과 허니팟을 구분하는 능력 (거짓 양성율) 을 측정합니다.
   • 허니팟 제어 작업: 허니팟은 시뮬레이션하는 백엔드 애플리케이션의 기능 테스트 스위트와 비교하여 테스트됩니다. 이는 LLM 의 응답이 높은 기능적 충실도를 가지며 benign 요청에 의해 쉽게 지문 분석되지 않음을 보장합니다.

3. 에이전트 및 모델:

   • 공격자: 프레임워크는 맞춤형 ReAct 에이전트와 최첨단 코딩 에이전트 (Claude Code, Gemini CLI) 를 대상으로 테스트합니다.
   • 허니팟: 이 연구는 시뮬레이션의 핵심으로 작용하는 다섯 가지 비용 효율적인 LLM(Gemini 3 Flash, Claude Haiku 4.5, Gemini 2.5 Flash, Qwen 3.5 9B, GPT 5.4 Nano) 을 평가합니다.
   • 기준선: 규칙 기반의 저상호작용 허니팟 (모의 API) 을 비교를 위한 기준선으로 사용합니다.

4. 적응성: 프레임워크는 맞춤형 허니팟 구성 (예: LLM 에게 프롬프트 인젝션을 시도하거나 공격자에게 시스템이 안전하다고 설득하도록 지시) 과 에이전트 구성 (예: 에이전트에게 의도를 숨기도록 지시) 테스트를 허용합니다.

주요 기여

1. 요구사항 공식화: 저자들은 LLM 허니팟 평가를 위한 네 가지 핵심 요구사항 (확장성, 재현성, 대표성, 적응성) 을 식별하고 공식화합니다.
2. Honeyval 프레임워크: 16 가지 기반 백엔드 환경과 삼분할 작업 구조 (주 작업, 에이전트 제어, 허니팟 제어) 를 갖춘 LLM 기반 HTTP 허니팟을 위한 최초의 포괄적 평가 프레임워크를 소개하고 오픈소스로 공개합니다.
3. 광범위한 실증 평가: 이 논문은 최첨단 AI 해킹 에이전트에 대한 비용 효율적인 LLM 들을 허니팟으로 대규모 평가하여 상호작용 역학, 비용 비대칭성 및 탐지율을 분석합니다.

결과 및 분석

상호작용 길이 및 참여도

LLM 기반 허니팟은 공격자를 끌어들이는 데 있어 규칙 기반 기준선보다 훨씬 뛰어납니다.

• 지표: 평균 상호작용 길이 (상호작용당 요청 수).
• 발견: LLM 기반 허니팟은 평균 82.6 건의 요청 동안 상호작용을 유지한 반면, 규칙 기반 허니팟은 30.6 건의 요청이었습니다. 이는 LLM 이 실제 시스템의 환상을 훨씬 더 오래 유지하여 방어자에게 공격자 전술에 대한 더 많은 데이터를 제공함을 나타냅니다.

탐지 가능성

• 지표: 에이전트에 의한 허니팟 탐지의 True Positive Rate(TPR) 대 실제 애플리케이션에서의 False Positive Rate(FPR).
• 발견: 규칙 기반 허니팟은 압도적인 비율로 식별된 반면, LLM 기반 허니팟은 탐지가 훨씬 더 어려웠습니다. 대부분의 경우 탐지율은 40% 미만으로 낮았습니다. 특히 Qwen 3.5 9B 와 같은 작은 모델조차도 잘 수행했습니다. 그러나 Gemini CLI 를 사용하는 에이전트는 높은 탐지율을 보였지만 실제 애플리케이션에서도 높은 FPR 을 보여, 해당 특정 구성에서는 판단이 신뢰할 수 없음을 시사했습니다.

비용 비대칭성

• 지표: 상대적 실행 비용 우위 (에이전트 비용 / 허니팟 비용).
• 발견: 허니팟이 모든 요청을 개별적으로 처리하는 단순한 아키텍처를 사용함에도 불구하고, LLM 기반 허니팟은 일반적으로 공격 에이전트보다 비용 우위를 유지했습니다. 이는 최적화되지 않은 설정에서도 방어자가 공격자가 공격을 지속하는 비용보다 상호작용을 유지하는 비용이 더 낮을 수 있음을 시사합니다.

지연 시간과 충실도 간의 트레이드오프

• 지연 시간: 식별된 주요 한계는 응답 지연 시간입니다. 가장 빠른 모델 (Gemini 3 Flash) 조차도 응답당 약 3.3 초가 소요되었습니다.
• 충실도: 모델은 높은 기능적 충실도를 달성했습니다 (테스트 스위트에서 Pass@1 점수 >70%). 그러나 이는 높은 토큰 생성 비용 (응답당 평균 200~500 개 이상의 토큰) 을 수반하여 비용과 지연 시간을 증가시켰습니다.
• 탐지 상관관계: 지연 시간이 모든 모델에서 탐지율과 엄격하게 상관관계는 없었지만, 에이전트는 종종 응답 지연 시간과 시간 초과를 애플리케이션을 허니팟으로 분류하는 증거로 인용했습니다.

맞춤형 지시문의 영향

이 연구는 반공격 목표를 달성하기 위해 허니팟 프롬프트를 수정하는 것을 탐구했습니다:

• "설득" 프롬프트: 허니팟에게 애플리케이션이 안전하다고 주장하도록 지시한 결과, 상호작용 길이가 증가했습니다 (평균 102.6 건의 요청) 하지만 탐지율도 증가했습니다 (TPR 0.45).
• "신중한 PI"(프롬프트 인젝션) 프롬프트: 허니팟에게 프롬프트 인젝션을 시도하도록 지시한 결과 탐지율이 크게 증가했습니다 (TPR 0.49) 그리고 상호작용 길이는 감소했습니다. 에이전트들이 종종 인젝션 시도를 감지했기 때문입니다. 이 구성은 또한 benign 테스트 스위트에서의 기능적 충실도를 저하시켰습니다.

중요성 및 주장

이 논문은 Honeyval 이 LLM 기반 허니팟 개발에 필요한 확장 가능하고 재현 가능한 기반을 제공한다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. LLM 은 유망한 방어자입니다: LLM 기반 허니팟은 고상호작용 시스템에 대한 실현 가능한 대안을 제공하며, 최소한의 보안 위험과 공격 비용에 비해 낮은 운영 비용으로 높은 충실도의 시뮬레이션을 제공합니다.
2. 평가의 중요성: 관찰된 독특한 트레이드오프 (예: 반공격 프롬프트 사용 시 더 긴 상호작용 대 더 높은 탐지 위험) 는 구성 변경의 부작용을 모니터링하기 위해 Honeyval 이 제공하는 제어 작업의 필요성을 강조합니다.
3. 미래 방향: 이 연구는 현재 단순한 아키텍처가 효과적이지만, 컨텍스트 관리 (캐싱, 메모리) 및 추론 하드웨어의 향후 개선이 성능을 더욱 향상시킬 수 있음을 시사합니다. 이 프레임워크는 자동화된 공격자와 방어자의 진화를 모두 지원하도록 설계되었습니다.

저자들은 LLM 기반 허니팟이 명확한 가능성을 보이지만, 그 배포는 신중한 구성과 모니터링이 필요하며 Honeyval 이 이를 용이하게 한다고 결론지었습니다. 이 프레임워크는 이 분야의 커뮤니티 노력을 발전시키기 위해 오픈소스로 공개되었습니다.