STRIATUM-CTF: A Protocol-Driven Agentic Framework for General-Purpose CTF Solving

1. 문제 정의 (Problem Statement)

• 기존 오펜시브 보안의 한계: 침투 테스트, 레드팀, CTF(Capture The Flag) 와 같은 오펜시브 보안 작업은 여전히 수동적이고 노동 집약적입니다. 분석가는 방대한 공격 표면 열거, 복잡한 스캐너 출력 해석, 적절한 악용 기법 선택, 방어 우회를 위한 페이로드 튜닝 등 비선형적이고 복잡한 워크플로우를 수행해야 합니다.
• LLM 의 현재 상황: 대형 언어 모델 (LLM) 은 코드 생성 능력이 뛰어나지만, 오펜시브 사이버 보안에 필요한 다단계 상태 유지 추론 (stateful reasoning) 에는 어려움을 겪습니다.
  • 할루시네이션 (Hallucination): 모델이 존재하지 않는 명령어 플래그나 소프트웨어 패키지를 생성하거나, 잘못된 파일 경로를 가정하는 등 '기능적 할루시네이션'이 빈번합니다.
  • Reasoning-Action Gap: 취약점을 올바르게 식별하더라도 이를 실행 가능한 악용 페이로드 (exploit payload) 로 변환하는 데 실패합니다.
  • Context Drift: 긴 작업 시간 (Long-horizon tasks) 동안 초기 정보 (재conaissance 데이터) 를 잃어버려 반복적인 실패를 겪습니다.
  • 기존 접근법의 결함: 'Copilot' 방식은 인간 개입이 필요해 속도가 느리고, 'Naive Autonomous Agent'는 셸에 출력을 직접 파이프하여 오류가 누적되기 쉽습니다.

2. 방법론 (Methodology)

STRIATUM-CTF 는 **모델 컨텍스트 프로토콜 (Model Context Protocol, MCP)**을 기반으로 한 모듈형 에이전트 프레임워크로, 신경망 추론 (Neural Reasoning) 과 도구 실행 (Tool Execution) 을 분리하는 신호 - 심볼릭 (Neuro-Symbolic) 아키텍처를 채택합니다.

A. 핵심 아키텍처 (3-Layer Architecture)

1. 추론 계층 (Reasoning Layer - Probabilistic):
   • Claude Sonnet 4.5 를 전략적 기획자 (Planner) 로 사용합니다.
   • 운영 체제와 물리적으로 격리되어 있어, 할루시네이션된 명령어가 직접 실행되는 것을 방지합니다.
   • 고수준 전략을 수립하지만, 구체적인 실행은 다음 계층에 위임합니다.
2. 프로토콜 계층 (Protocol Layer - Symbolic):
   • 핵심 혁신: LLM 의 확률적 출력을 결정론적 시스템 실행과 연결하는 '회로 차단기 (Circuit Breaker)' 역할을 합니다.
   • MCP 및 스키마 검증: 모든 도구 호출을 엄격한 JSON 스키마 (예: 포트 번호는 1-65535 정수) 로 검증합니다. 유효하지 않은 파라미터나 할루시네이션된 명령은 실행 전에 차단합니다.
   • 이를 통해 모델의 출력 다양성 (Output Manifold) 을 유효한 실행 경로로 축소 (Collapse) 시킵니다.
3. 실행 계층 (Execution Layer - Deterministic):
   • 컨테이너화된 보안 도구 (Angr, Ghidra, GDB, Nmap 등) 를 MCP 서버로 래핑하여 실행합니다.
   • 안전한 샌드박스 환경에서 실행되며, 원시 텍스트가 아닌 구조화된 JSON 관찰 데이터를 반환하여 에이전트의 컨텍스트를 현실에 기반 (Grounding) 시킵니다.

B. 작동 원리 (Algorithmic Lifecycle)

1. 계획 (Plan): 목표를 분석하여 작업 큐로 분해합니다.
2. 실행 (Execute): 도구를 선택하고 JSON 페이로드를 전송합니다. 프로토콜 계층이 유효성을 검증합니다.
3. 파싱 (Parse): 구조화된 JSON 결과를 분석하여 핵심 정보 (열린 포트, 메모리 누수 등) 를 추출하고 불필요한 데이터를 필터링합니다.
4. 반복 (Iterate): 새로운 상태 정보를 바탕으로 이전 행동을 평가하고, 실패 시 자가 수정 (Self-Correction) 을 통해 계획을 수정하거나 목표를 달성하면 종료합니다.

3. 주요 기여 (Key Contributions)

1. 프로토콜 기반 에이전트 아키텍처: MCP 를 활용하여 LLM 과 오펜시브 보안 도구 간의 상호작용을 표준화함으로써 할루시네이션을 획기적으로 줄이고, 구조화된 피드백 루프를 통한 강력한 오류 복구 능력을 제공합니다.
2. 전문 분석 원시 기능 통합: LLM 의 컨텍스트 윈도우 내에 심볼릭 실행 (Angr), 정적 분석 (Ghidra), 런타임 디버깅 (GDB) 과 같은 복잡한 도메인 특화 도구를 통합하여 단순 스크립팅을 넘어선 심층 바이너리 분석 및 악용 생성이 가능하게 했습니다.
3. 실전 경쟁을 통한 검증: 합성 데이터셋이 아닌, 실제 대학 주최 CTF 대회에서 자율적으로 작동하여 인간 팀을 제치고 1 위를 차지함으로써 시스템의 유효성을 입증했습니다.

4. 실험 결과 (Results)

A. 벤치마크 평가 (Ablation Study)

• 데이터셋: 15 개의 다양한 CTF 문제 (메모리 손상, 리버스 엔지니어링, 웹 악용, 암호화 등) 를 사용했습니다.
• 조건 비교:
  • Baseline (완전 문서화): 86.7% 성공률 (평균 17.1 분 소요).
  • Minimal (최소 구성, 도구 정의만): 77.8% 성공률 (평균 20.1 분 소요).
• 통계적 의미: 문서화 수준에 따른 성공률 차이는 통계적으로 유의미하지 않았으나 (p=0.71), MCP 계층의 스키마 기반 그라운딩 (Grounding) 만으로도 높은 성공률 (77.8%) 을 달성할 수 있음을 보였습니다. 이는 긴 프롬프트 엔지니어링보다 프로토콜 기반의 구조적 제약이 할루시네이션 방지에 더 효과적임을 시사합니다.
• 케이스 스터디: 복잡한 다단계 추론이 필요한 타이밍 사이드채널 공격에서는 상세한 도메인 문서가 도움이 되었으나, 도구 원시 기능과 직접적으로 일치하는 문제는 최소 구성으로도 해결되었습니다.

B. 실전 CTF 대회 결과 (Live Competition)

• 상황: 2025 년 11 월 개최된 대학 CTF 대회 (30 개 팀 참가, 22 개 팀이 문제 해결).
• 결과: STRIATUM-CTF 팀 ('Graveyard') 이 **1 위 (215 점)**를 차지했습니다.
  • 2 위 (205 점) 와 3 위 (200 점) 를 인간 팀이 차지했으나, 나머지 팀은 135 점 미만으로 상위 3 팀과 큰 격차를 보였습니다.
  • STRIATUM-CTF 는 API 비용 제약으로 인해 더 이상 진행하지 않았을 뿐, 기술적 한계로 인해 실패한 것이 아니었습니다.
• 성공 요인:
  • 효율성: 인간이 30~60 초 걸리는 GDB 작업을 1 초 미만으로 처리.
  • 체계적인 디버깅: 인지적 피로 없이 파라미터를 체계적으로 변형하며 반복 시도.
  • 시간 압박下的 회복력: 인간이 추측에 의존할 때, 에이전트는 체계적인 가설 검증을 유지함.

5. 의의 및 결론 (Significance & Conclusion)

• 자율 사이버 추론의 새로운 기준: STRIATUM-CTF 는 정적 취약점 스캐닝과 자율적 악용 사이의 간극을 메우는 성공적인 사례입니다.
• 할루시네이션 해결책: 표준화된 컨텍스트 프로토콜 (MCP) 이 LLM 의 '생각' 시간을 검증된 시스템 피드백에 기반하도록 강제함으로써, 오펜시브 보안 분야에서 모델의 할루시네이션 문제를 해결할 수 있는 핵심 경로임을 입증했습니다.
• 미래 전망: 현재는 장기 계획 (Long-horizon planning) 과 토큰 효율성 측면에서 개선의 여지가 있으나, 계층적 계획 프레임워크와 도메인 특화 원시 계층 개발을 통해 향후 인간 전문가를 능가하는 자율 사이버 운영 시스템으로 발전할 것으로 기대됩니다.

이 논문은 단순한 도구 자동화를 넘어, 프로토콜 기반의 구조적 제약을 통해 LLM 을 오펜시브 보안의 복잡한 환경에서 신뢰할 수 있는 자율 에이전트로 전환할 수 있음을 보여주는 중요한 연구입니다.