기술 요약: CAI 데이터셋

문제 정의

본 논문은 사이버보안에 대규모 언어 모델 (LLM) 을 적용하는 데 있어 결정적인 병목 현상을 규명합니다. 기본 모델의 능력은 진보했으나, 실제 침투 테스트 및 보안 운영에서 LLM 의 성능은 전문 운영자의 행동 궤적 (expert operator trajectories) 부재로 인해 제한받고 있습니다. 이전 연구 (PentestGPT) 는 모델 자체보다 모델을 안내하는 '하네스 (agent framework)'와 인간 운영자의 다중 턴, 도구 증강 워크플로우가 성공의 더 중요한 결정 요인임을 입증했습니다.

기존 공개 데이터셋은 효과적인 지도형 미세 조정 (SFT) 에 필요한 세 가지 필수 속성 중 최대 두 가지만 충족하여 이 격차를 해소하지 못합니다.

1. 규모: 대부분의 사이버보안 코퍼스는 범용 SFT 혼합 데이터 (예: T¨ULU 3, OpenHermes) 보다 수배에서 수십 배 작은 규모입니다.
2. 분포 충실도: 합성 또는 지시 기반 데이터셋 (예: CySecBench, SecKnowledge) 은 종종 안전성과 성능 간의 트레이드오프를 보이며, 실제 운영자의 반복적 오류 복구 및 도구 출력 해석 행동을 포착하지 못합니다.
3. 도구 기반 다중 턴 구조: CyberMetric 나 SecQA 와 같은 벤치마크는 사실적 회상을 테스트하지만, 에이전트 워크플로우에 필요한 '행동 - 관찰 - 수정' 루프와 도구 호출 스키마가 부족합니다.

또한, 게이트가 적용된 RL 최적화 최첨단 모델 (예: GPT-5.5-Cyber) 로의 산업적 추세는 불투명한 원격 API 에 대한 의존성을 초래합니다. 이로 인해 민감한 공격 및 방어 운영자 컨텍스트 (실시간 자격 증명, 프로덕션 호스트명, 베어러 토큰) 가 소수의 API 제공업체에 집중되어 단일 실패 지점을 형성하며 시스템적 위험을 초래합니다.

방법론

저자들은 CAI (Cybersecurity AI) 오픈소스 에이전트 프레임워크를 통해 설계된 CAI 데이터셋을 제시합니다. 이 프레임워크는 주로 데이터 수집기로 설계되었으며, 텔레메트리는 1 급 하위 시스템으로 통합되었습니다.

• 데이터 수집: 14 개월 기간 (2025 년 3 월 ~ 2026 년 5 월) 동안 CAI 프레임워크는 123 개 국가의 16,768 개 고유 소스 IP 로부터 230,935 개의 세션 로그와 26,027,742 개의 사용자 프롬프트를 수집했습니다.
• 행동적 접근: 수집은 엄격하게 행동 기반이며, 프롬프트를 주입하거나 합성 데이터를 생성하지 않았습니다. 데이터셋은 실패 단계, 도구 출력, 재계획을 포함하여 실제 운영자가 자체 프롬프트를 자체 대상에 적용하는 과정을 기록합니다.
• 스키마 및 마스킹: 데이터는 도구 호출 및 제공업체 응답을 포함한 전체 messages[] 배열을 보존하는 JSONL 세션 로그로 저장됩니다. 개인정보 보호 및 보안을 위해, 출시 전에 자격 증명 (API 키, 토큰) 과 인프라 식별자 (호스트명, S3 버킷) 를 제거하는 소비자 측 마스킹 레시피가 적용됩니다.
• 접근 모델: 이 데이터셋은 이중 사용 위험을 완화하면서 연구를 가능하게 하기 위해 공개 다운로드가 아닌, 파트너 조직과 선정된 고객을 대상으로 한 청중 규모 시리즈 (CAI Dataset10, CAI Dataset1k, CAI Dataset200k) 로 출시됩니다.

주요 기여

1. 규모와 범위: CAI 데이터셋은 약 2,600 만 개의 사용자 프롬프트와 18.07TB 의 영구 저장 공간을 포함하는 LLM 기반 사이버보안 궤적 중 가장 큰 기술된 코퍼스입니다. 이는 다음으로 큰 사이버보안 학습 데이터셋 (SecKnowledge) 보다 약 65 배 크며, 기존 에이전트 궤적 코퍼스보다 3~4 차수 더 큽니다.
2. 운영 현실성: 이 코퍼스는 다음을 포함한 운영자 행동의 전체 스펙트럼을 포착합니다.
   • 역할 혼합: 36.4% 공격, 20.1% 공격자 의도, 27.5% 비즈니스/통합, 4.4% 방어 프롬프트.
   • 도구 사용: 네트워크 도구 (nc, nmap, curl) 와 웹 스캐너 (nikto, burp) 의 집중적 사용.
   • 워크플로우 복잡성: 단일 세션 내에서 수행되는 다단계 킬 체인 (정찰부터 영구화까지) 에 대한 증거로, 종종 실패한 명령과 반복적 수리를 포함합니다.
   • 대상 다양성: 합성 CTF 환경뿐만 아니라 프로덕션 은행, 통신, 정부, IoT/로보틱스 대상을 포함한 23,147 개의 고유 도메인 참조.
3. 모델 다양성: 이 데이터셋은 4,187 개의 고유 LLM 식별자를 테스트하며, 로컬 및 양자화 변형과 함께 최첨단 모델 (예: GPT-5.x, Claude Opus 4, Gemini 3.1, Qwen3, DeepSeek) 의 운영자 일상적 A/B 테스트를 반영합니다.
4. 누출 표면 분석: 본 논문은 '누출 표면'을 경험적으로 정량화하여, 세션의 0.46% 에 붙여넣기된 자격 증명이 포함되어 있고 0.76% 에 프로덕션 인프라 식별자가 포함되어 있음을 발견했습니다. 이는 원격 API 사용 시 운영자가 생산성과 기밀성 사이에서 취하는 트레이드오프를 강조합니다.

결과 및 관찰

• 성장 및 리듬: 코퍼스는 하루 평균 약 540 개의 세션 로그와 60,000 개의 프롬프트 비율로 성장했습니다. 데이터는 일일 증가분이 코퍼스의 약 0.23% 를 차지하므로, 분포 변화를 포착하기 위해 SFT 파이프라인에 주간 재학습 리듬이 최적임을 시사합니다.
• 프롬프트 진화: 프롬프트 길이는 에이전트 발판의 정교함에 힘입어 짧은 셸 루프 지시 (150 자) 에서 복잡한 다단계 계획 브리프 (4001,300+ 자) 로 이동했습니다.
• CVE 무기화: CVE 언급 분석은 제로데이보다 레거시 취약점 (예: CVE-2019-11248, CVE-2017-10271) 의 '긴 꼬리' 지배를 드러내지만, 최근 공개 (2025~2026 년) 는 신속하게 무기화됨을 보여줍니다.
• 지리적 분포: 고유 기여자의 85.7% 가 유럽에 있으며, 아시아와 북미에 상당한 클러스터가 있습니다. 트래픽의 주목할 만한 11.4% 가 공개 클라우드/호스팅 제공업체에서 기원하여 스크립트화된 정찰을 나타냅니다.
• 이중 사용 능력: 데이터셋은 2 시간 이내에 수행된 전체 공격자 킬 체인 (정찰, 악용, 권한 상승, 유출, 영구화) 의 검증 가능한 예시를 포함하여, LLM 증강 에이전트가 제공하는 '관측 가능한 범죄 능력 향상'을 입증합니다.

중요성 및 주장

본 논문은 CAI 데이터셋이 사이버보안 특화 LLM 학습에 필요한 '누락된 기질'을 제공한다고 주장합니다. 그 중요성은 세 가지 영역에 있습니다.

1. 강건한 SFT 가능: 이 데이터셋은 현재 RL 전용 또는 지시 전용 접근법의 한계를 해결하는, 반복적이고 도구 기반인 보안 작업의 본질을 이해하는 모델 학습을 가능하게 합니다. 계속된 사전 학습, SFT, DPO, RLVR 을 위한 레시피를 지원합니다.
2. 위협 인텔리전스: 이 코퍼스는 CVE 에서 무기화까지의 지연 시간, 적대자 인프라 사용, 야생에서의 공격 전술 진화에 대한 연구를 가능하게 하는 수동적 위협 인텔리전스 피드 역할을 합니다.
3. 시스템적 위험과 아키텍처: 본 논문은 원격 게이트가 적용된 최첨단 모델에 대한 현재의 의존성이 전 세계의 공격 및 방어 컨텍스트를 소수의 API 제공업체에 집중시켜 단일 실패 지점을 만든다고 주장합니다. 저자들은 생산성과 기밀성 모두를 보존하는 유일한 구성은 온프레미스, 사설 호스팅 사이버보안 특화 LLM이라고 주장합니다. CAI 데이터셋은 이러한 모델의 학습을 실용적으로 만들기 위해 구체적으로 설계되었으며, 운영자 효율성과 데이터 주권 간의 긴장을 해결하는 경로를 제공합니다.

저자들은 이 데이터셋이 단순한 학습 자원이 아니라 진행 중인 사이버보안 자동화의 기록이며, 중앙 집중화된 운영자 컨텍스트의 시스템적 위험을 완화하기 위한 전문적이고 로컬 호스팅된 모델의 시급한 필요성을 강조한다고 결론지었습니다.