SoK: Honeypots & LLMs, More Than the Sum of Their Parts?

논문 개요

이 논문은 대규모 언어 모델 (LLM) 이 사이버 보안 허니팟 (honeypot) 설계의 고질적인 딜레마를 해결할 수 있는지에 대한 체계적인 검토 (Systematization of Knowledge, SoK) 입니다. 저자들은 LLM 이 허니팟의 현실성 (fidelity) 을 높이는 동시에 운영 리스크를 낮출 수 있다는 초기 기대와 달리, 실제 배포에서는 점진적인 성과만 보이고 있으며, 이 분야의 아키텍처, 평가 기준, 그리고 핵심 과제가 명확히 정립되지 않았음을 지적합니다.

1. 문제 정의 (Problem)

• 허니팟의 설계 역설: 기존 허니팟은 '저상호작용 (Low-interaction)'형 (안전하지만 쉽게 탐지됨) 과 '고상호작용 (High-interaction)'형 (높은 현실성 but 높은 리스크 및 관리 비용) 사이에서 균형을 잡는 데 어려움을 겪어 왔습니다.
• LLM 의 기대와 현실: LLM 이 등장하며 텍스트, 코드, 쉘 상호작용을 사실적으로 생성하여 저상호작용 허니팟의 현실성을 높일 수 있을 것이라는 기대가 있었습니다. 그러나 현재까지의 연구는 실험실 환경에 국한되거나, 실제 공격 환경에서는 LLM 시뮬레이션의 비용 대비 효과가 불명확하며, 공격자 탐지 (Fingerprinting) 에 취약한 경우가 많습니다.
• 평가의 부재: 표준화된 평가 지표와 벤치마크가 부족하여 다양한 연구 간의 비교 분석이 어렵고, 분야가 파편화되어 있습니다.

2. 방법론 (Methodology)

저자는 다음과 같은 3 가지 핵심 연구 영역에 대한 체계적인 조사를 수행했습니다:

1. 허니팟 탐지 벡터 (Fingerprinting Vectors) 분류: 공격자가 허니팟을 식별하는 4 가지 주요 방식을 분석하고, LLM 시뮬레이션이 각 벡터에 대해 어떤 도움을 줄 수 있는지 (또는 한계가 있는지) 매핑했습니다.
2. LLM 기반 허니팟 문헌 종합: 2022 년 말 이후 발표된 관련 논문을 분석하여 등장한 표준 아키텍처 (Canonical Architecture), 평가 4 가지 기준 (Evaluation Tetrad), 그리고 공격자 3 단계 분류 (Attacker Trichotomy) 를 정의했습니다.
3. 허니팟 로그 분석의 진화: 단순 데이터 축적에서 자동화된 지능 생성 (Threat Intelligence) 으로 나아가는 과정을 추적했습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

가. 허니팟 탐지 벡터 및 LLM 의 한계 (Taxonomy of Detection Vectors)

공격자가 허니팟을 탐지하는 4 가지 주요 벡터를 정리하고 LLM 의 역할을 분석했습니다 (Table 1 참조):

1. 내용 및 네트워크 태세 (Contents & Posture): 포트, 서비스 배너, 파일 시스템 구조 등의 불일치.
   • LLM 기여: 다양한 컨텍스트 인식 콘텐츠 생성 가능.
   • LLM 한계: 오픈 포트나 TCP/IP 스택 시그니처를 숨길 수 없음.
2. 출력 및 행동 (Outputs & Behavior): 응답의 비현실성, 타이밍 지연, 메타데이터 이상.
   • LLM 기여: 확률적 (stochastic) 인 명령어 응답 제공.
   • LLM 한계: 실시간 타이밍 정밀도 (Temporal fidelity) 재현 불가.
3. 기능적 한계 (Functional Limits): 실제 시스템 로직 부재 (예: vim 편집 실패, 외부 네트워크 연결 불가).
   • LLM 기여: 논리적 "성공" 메시지 및 UI 피드백 시뮬레이션.
   • LLM 한계: 실제 트래픽 생성, 파일 생성, 커널 실행 불가.
4. 다중 특징 종합 (Feature Synthesis): 머신러닝을 활용한 다중 벡터 분석.
   • LLM 영향: 정적 시그니처를 깨뜨리지만, 다중 벡터 결합 시 탐지 확신도 증가.

나. LLM 기반 허니팟의 표준 아키텍처 (Canonical Architecture)

문헌을 분석하여 다음과 같은 4 단계 아키텍처가 표준으로 자리 잡고 있음을 발견했습니다 (Figure 1):

1. 필터/라우터 (Filter/Router): 스캐너 차단, 프롬프트 인젝션 방지, DoS/DoW(지갑 거부) 공격 방어.
2. 결정적 응답자 (Deterministic Responder): 캐시된 응답이나 단순 명령어 처리 (LLM 부하 감소).
3. 시스템 상태 관리자 (State Manager): 세션 히스토리 관리, 컨텍스트 프루닝 (Pruning), 상태 추적.
4. LLM 엔진: 복잡한 상호작용 생성.

• 통찰: 오픈소스로서 이 모든 기능을 통합한 모듈형 프레임워크는 아직 부족하며, 이는 연구의 재현성을 저해합니다.

다. 평가 기준 (Evaluation Tetrad)

허니팟 성능을 측정하기 위한 4 가지 핵심 지표를 제안했습니다:

1. 신뢰성 (Believability): 인간 평가자나 의미적 유사도를 통한 사기성 측정.
2. 정확도 (Fidelity): 응답 시간, Levenshtein 거리, 명령어 실행 성공률.
3. 공격자 비용 및 지능 (Attacker Costs/Intelligence): 세션 길이, 유발된 MITRE ATT&CK 패턴의 다양성.
4. 방어자 비용 (Defender Cost): 토큰 소비, API 지연, 하드웨어 오버헤드.

라. 공격자 모델 (Attacker Trichotomy)

LLM 허니팟의 타겟을 명확히 하기 위해 공격자를 3 단계로 분류했습니다:

• Tier 1 (스크립트 봇): 고정된 스크립트 실행. LLM 시뮬레이션은 비효율적이며, 정적 콘텐츠로 충분함.
• Tier 2 (자율 LLM 에이전트): LLM 허니팟의 주요 타겟. 추론, 도구 사용, 전략 조정이 가능한 지능형 공격자. 고도의 신뢰성과 일관성이 필요함.
• Tier 3 (숙련된 인간): LLM 시뮬레이션만으로는 속이기 어렵고 고상호작용 환경이 필요함.

마. 데이터 사막 (The Data Desert)

• 실제 배포 데이터의 99% 이상은 단순한 스캐닝 (Tier 1) 으로 구성되어 있어, LLM 허니팟의 진보된 능력을 평가하기 어렵습니다.
• Tier 2(지능형 자동화 공격자) 를 대상으로 한 평가 데이터가 부족하여, 시스템의 실제 효과를 입증하기 어렵습니다.

4. 결과 및 시사점 (Results & Implications)

• 현재 상태: LLM 은 허니팟의 현실성을 일부 향상시켰으나, "은탄환 (Silver Bullet)"은 아닙니다. 기능적 한계 (외부 연결, 인터랙티브 앱 실행 등) 로 인해 지능형 인간 공격자에게는 여전히 탐지됩니다.
• 미래 방향: LLM 허니팟의 진정한 가치는 Tier 2(지능형 자동화 공격자) 를 상대하는 데 있습니다. LLM 기반 공격자가 등장함에 따라, 이를 속이고 자원을 소모하게 하거나 지능을 수집할 수 있는 자율적, 자기 개선형 (Self-improving) 허니팟이 필요합니다.
• 로그 분석의 진화: 수동 분석에서 LLM 을 활용한 자동화된 MITRE ATT&CK 매핑 및 실시간 위협 지능 생성으로 진화 중이나, 대규모 레이블 데이터 부족이 걸림돌입니다.

5. 연구 로드맵 및 제안 (Future Research Directions)

저자는 다음과 같은 연구 방향을 제안합니다:

1. 적대적 연구 생태계 구축: LLM 기반 공격자와 허니팟이 서로 경쟁하는 동적 플랫폼을 만들어 고품질 공격 데이터를 생성하고 평가 기준을 정립해야 합니다.
2. 아키텍처 개선:
   • 오픈소스 모듈형 프레임워크 개발.
   • 소규모 언어 모델 (SLM) 과 LoRA(저랭크 적응) 를 활용한 효율적, 프라이버시 보호형 로컬 배포.
   • RAG(검색 증강 생성) 및 도구 사용 (Tool-use) 통합을 통한 동적 응답 개선.
3. 자율 피드백 루프:
   • 허니팟이 수집한 정보를 SOC(보안 운영 센터) 에 자동 전달.
   • 공격 패턴 분석을 기반으로 허니팟이 스스로 재구성 (Reconfiguration) 하여 적응하는 시스템 구현.
   • 강화 학습 (RL) 을 활용한 최적화.
4. REST/JSON API 허니팟 확장: 쉘뿐만 아니라 웹 API 에 대한 고신뢰성 시뮬레이션 연구 필요.

6. 결론 (Significance)

이 논문은 LLM 과 허니팟의 결합이 단순한 기술적 실험을 넘어, 자율적이고 지능적인 사이버 공격에 대응하는 새로운 패러다임으로 나아가고 있음을 체계화했습니다. 핵심 통찰은 "더 사실적인 가짜 시스템"을 만드는 것을 넘어, 지능형 공격자를 속이고 대응하는 자율적 방어 시스템을 구축하는 것이 진정한 목표라는 점입니다. 이를 위해 표준화된 아키텍처, 정교한 평가 기준, 그리고 적대적 데이터 생태계의 구축이 시급하다고 강조합니다.