RedSage: A Cybersecurity Generalist LLM

이 논문은 118 억 토큰 규모의 사이버 보안 데이터와 에이전트 기반 증강 파이프라인을 활용하여 훈련된 오픈소스 사이버 보안 특화 LLM 인 'RedSage'를 제안하고, 이를 통해 사이버 보안 전문성과 일반 추론 능력을 동시에 향상시켰음을 입증합니다.

핵심

🛡️ 레드세이지 (RedSage): 사이버 보안의 '현직 베테랑'을 키우는 인공지능

이 논문은 **사이버 보안 전문가를 도와주는 인공지능 (AI) '레드세이지 (RedSage)'**를 개발한 연구 내용을 담고 있습니다. 기존 AI 들이 보안 분야에서는 약하거나, 민감한 정보를 외부로 보내야만 한다는 문제를 해결하기 위해 만들어졌습니다.

이 복잡한 기술 이야기를 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 AI 가 필요할까요? (문제 상황)

상상해 보세요. 사이버 보안은 마치 거대한 성을 지키는 경비대와 같습니다. 해커들은 매일 새로운 무기 (공격 기법) 를 만들어내는데, 경비대원 (보안 전문가) 수는 턱없이 부족합니다.

기존의 AI 비서들은 두 가지 큰 문제가 있었습니다:

• 비밀 누출 위험: 보안 관련 민감한 데이터를 처리하려면 클라우드에 있는 거대 AI 를 써야 하는데, 이 경우 성의 설계도나 금고 열쇠를 외부에 보여줄 위험이 있습니다.
• 실전 경험 부족: 일반 AI 는 "공부"는 잘하지만, 실제 해킹 도구 사용법이나 공격 패턴 같은 현장 실전 경험이 부족해 "이건 이론상으로는 알지만, 실제로는 못 해"라는 식으로 답합니다.

2. 레드세이지는 어떻게 만들어졌나요? (해결책)

연구팀은 레드세이지를 만들기 위해 세 가지 단계를 거쳤습니다. 마치 유명한 장인 (Master) 이 제자를 키우는 과정과 같습니다.

① 단계 1: 방대한 '사이버 보안 도서관' 만들기 (지속적 사전 학습)

• 비유: 인터넷에 흩어진 수백만 권의 보안 관련 책, 논문, 뉴스, 기술 매뉴얼을 모아서 전 세계 최대의 보안 도서관을 짓는 작업입니다.
• 내용: 연구팀은 118 억 개의 단어 (토큰) 에 달하는 방대한 보안 데이터를 수집하고, 일반 지식과 섞어서 AI 가 보안 전문가는 되되, 일반 상식도 잃지 않도록 훈련시켰습니다.

② 단계 2: '현직 베테랑'과의 대화 시뮬레이션 (에이전트 증강)

• 비유: 단순히 책만 읽게 하는 게 아니라, 실제 보안 전문가 (시니어) 와 초보자가 나누는 대화를 26 만 건 이상 만들어 AI 가 그 대화를 모방하게 한 것입니다.
• 내용: AI 가 "이 해킹 도구를 어떻게 써?", "이 취약점을 어떻게 막지?"라고 질문하고, 전문가가 답하는 **실제 업무 상황 (Role-play)**을 시뮬레이션했습니다. 이를 통해 AI 는 단순한 지식뿐만 아니라 실제 도구 사용법과 사고방식까지 배웠습니다.

③ 단계 3: '최고의 시험'으로 실력 검증 (벤치마크)

• 비유: 졸업 시험을 치르되, 단순히 객관식만 보는 게 아니라 실전 해킹 시뮬레이션과 도구 사용 테스트까지 포함하는 종합 시험을 만들었습니다.
• 내용: 레드세이지 벤치마크 (RedSage-Bench) 라는 새로운 시험지를 만들어, AI 가 보안 지식, 해킹 기술, 도구 사용 능력을 얼마나 잘 갖췄는지 꼼꼼히 평가했습니다.

3. 레드세이지의 특징과 성과

• 내부에서 작동 (로컬 배포): 이 AI 는 클라우드에 의존하지 않고, 회사나 개인이 가진 일반적인 컴퓨터 (GPU) 에서도 실행됩니다. 즉, 비밀 정보를 외부로 보내지 않고도 보안 전문가처럼 일할 수 있습니다.
• 압도적인 실력: 80 억 개의 파라미터 (두뇌 크기) 를 가진 이 모델은, 훨씬 더 큰 모델들보다 보안 관련 시험에서 더 높은 점수를 받았습니다. 특히 해킹 도구 사용법이나 공격 기법을 이해하는 데서 기존 모델들을 크게 앞섰습니다.
• 오픈 소스: 연구팀은 이 AI 의 모든 데이터, 코드, 모델을 공개했습니다. 누구나 무료로 다운로드해서 연구하거나 활용할 수 있습니다.

4. 결론: 왜 이것이 중요한가요?

레드세이지는 **"보안 전문가의 부족한 시간을 채워주는 똑똑한 조수"**이자, **"민감한 정보를 지키면서 실전 능력을 갖춘 AI"**입니다.

마치 비밀스러운 성을 지키는 경비대원에게, 외부의 감시 없이도 최고의 무기와 전략을 가르쳐 준 것과 같습니다. 앞으로 이 AI 가 보안 팀에 합류하면, 해커들의 공격을 더 빠르게 발견하고 막아내는 데 큰 도움이 될 것입니다.

한 줄 요약:
"레드세이지는 민감한 정보를 외부로 보내지 않고도, 현직 전문가처럼 실전 해킹과 방어 기술을 완벽하게 구사하는 오픈 소스 AI 비서입니다."

기술 요약

RedSage: 사이버보안 전문 일반화 LLM 기술 요약

이 논문은 RedSage를 소개하며, 이는 사이버보안 운영을 지원하기 위해 설계된 오픈소스 기반의 로컬 배포 가능 LLM입니다. 기존 솔루션들이 프라이버시 위험이 있는 독점 API 에 의존하거나 도메인 적응이 부족한 오픈 모델을 사용하는 한계를 극복하기 위해, 저자들은 대규모 데이터 수집부터 에이전트 기반 증강, 그리고 엄격한 벤치마크 평가에 이르는 종합적인 파이프라인을 제시합니다.

1. 문제 정의 (Problem)

사이버보안 분야는 위협 분석, 사고 대응, 취약점 관리 등 다양한 고도의 전문성을 요구하는 작업을 수행해야 하지만, 전 세계적으로 사이버보안 인력 부족이 심각합니다. 이를 해결하기 위해 LLM 을 보조 도구로 활용하려는 시도가 증가하고 있으나, 다음과 같은 주요 문제점이 존재합니다:

• 프라이버시 및 보안 위험: 기존 솔루션 중 많은 부분이 민감한 데이터를 외부 API 를 통해 처리하여 보안 위험을 초래합니다.
• 도메인 적응 부족: 오픈소스 모델은 일반적인 지식을 갖추고 있지만, 사이버보안 특화 지식 (공격 기법, 보안 도구 사용법 등) 이 부족합니다.
• 불완전한 학습 및 평가: 기존 연구들은 사전 학습 (Pre-training) 만 강화하거나, 소량의 SFT 데이터만 사용하거나, 도구 사용 능력 (Tool Proficiency) 을 평가하지 못하는 등 학습 단계와 평가 범위가 제한적입니다.
• 재현성 부족: 많은 연구가 데이터와 파이프라인을 공개하지 않아 재현과 커뮤니티 기여가 어렵습니다.

2. 방법론 (Methodology)

RedSage 는 데이터 중심의 파이프라인을 통해 구축되었으며, 크게 세 단계로 구성됩니다.

2.1. 대규모 도메인 특화 사전 학습 (Continual Pre-training)

• CyberFineWeb: FineWeb(약 15T 토큰) 에서 사이버보안 관련 텍스트를 추출하기 위해 ModernBERT 기반의 이진 분류 모델을 미세 조정하여 필터링했습니다. 이를 통해 약 125M 문서 (약 898 억 토큰) 를 확보했습니다.
• 지식 포getting 방지: 일반 지식의 상실을 막기 위해 CyberFineWeb 과 FineWeb-Edu(교육용 데이터) 를 30% 비율로 혼합하여 재학습 (Replay) 전략을 적용했습니다.
• RedSage-Seed: 신뢰할 수 있는 고품질 소스 (MITRE ATT&CK, OWASP, HackTricks, Kali Linux 도구 매뉴얼 등) 에서 28,637 개의 샘플 (약 1.5 억 토큰) 을 수동으로 선별하여 구조화된 마크다운 형식으로 구성했습니다.
• 최종 코퍼스: CyberFineWeb 과 RedSage-Seed(및 추가 덤프 데이터) 를 결합하여 총 118 억 토큰 규모의 도메인 특화 사전 학습 코퍼스를 완성했습니다.

2.2. 에이전트 기반 데이터 증강 (Agentic Data Augmentation)

• SFT 데이터 생성: 단순히 수동으로 데이터를 모으는 것을 넘어, 에이전트 프레임워크를 도입하여 RedSage-Seed 데이터를 다중 턴 대화 형식으로 변환했습니다.
  • Planner Agent: 시드 데이터를 분석하여 적절한 기술 세트 (Skill Sets) 와 증강 전략을 수립합니다.
  • Augmenter Agent: 계획에 따라 실제 전문가 - 보조자 워크플로우를 시뮬레이션한 266,000 개의 다중 턴 대화 데이터를 생성합니다.
• 일반 지능 유지: 사이버보안 특화 데이터와 함께 SmolLM3 의 일반 지시 따르기 (Instruction-following) 데이터를 결합하여 모델의 범용 능력을 유지하도록 했습니다.
• 선호도 정렬 (DPO): Tulu 3 선호도 혼합 데이터를 사용하여 Direct Preference Optimization(DPO) 을 수행하여 모델의 응답 품질을 인간 선호도에 맞춰 정렬했습니다.

2.3. RedSage-Bench 벤치마크 구축

• 포괄적 평가: 지식 (Knowledge), 실무 기술 (Skills), 도구 숙련도 (Tool Proficiency) 를 모두 평가하는 새로운 벤치마크를 개발했습니다.
• 구성: 30,000 개의 객관식 문제 (MCQ) 와 240 개의 개방형 Q&A 로 구성되었습니다.
• 품질 관리: LLM-as-Judge 를 활용한 2 단계 검증 (구조적 유효성 및 품질 점수) 과 인간 검증을 통해 데이터의 신뢰성을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 사이버보안 코퍼스: 118 억 토큰 규모의 도메인 특화 continual pretraining 데이터 (CyberFineWeb + RedSage-Seed) 구축.
2. 에이전트 증강 SFT 데이터: 266,000 개의 고품질 다중 턴 대화 데이터를 생성하기 위한 에이전트 기반 파이프라인 개발.
3. RedSage-Bench: 지식, 기술, 도구 사용 능력을 포괄적으로 평가하는 3 만 개 이상의 벤치마크 제시.
4. 성능 및 공개: 8B 파라미터 규모의 오픈소스 모델 (RedSage) 을 공개하여 사이버보안 벤치마크에서 SOTA(State-of-the-Art) 성능을 달성함과 동시에 일반 LLM 벤치마크에서도 우수한 성능을 보였습니다.

4. 실험 결과 (Results)

RedSage(8B) 는 다양한 벤치마크에서 기존 모델들을 압도하는 성능을 보였습니다.

• RedSage-Bench:
  • 객관식 (MCQ) 에서 8B 모델 중 가장 높은 정확도를 기록했습니다.
  • 개방형 Q&A 에서 사실적 정확도와 답변 품질 (LLM-as-Judge 점수) 모두에서 최상위권을 기록했습니다.
  • 특히 **도구 사용 (Tool Proficiency)**과 공격 기술 (Offensive Skills) 분야에서 기존 모델 대비 큰 개선을 보였습니다.
• 기존 사이버보안 벤치마크 (CyberMetric, SECURE, CTI-Bench 등):
  • RedSage-8B-DPO 는 Qwen3-8B 보다 최대 +5.59 포인트 높은 점수를 기록했습니다.
  • 8B 모델임에도 불구하고 32B 모델 (Qwen3-32B) 과 유사한 성능을 보이며, GPT-5 와 같은 독점 모델에 비해 효율성이 뛰어났습니다.
• 일반 LLM 벤치마크 (Open LLM Leaderboard):
  • MMLU, GSM8K, ARC-Challenge 등 일반 추론 및 지시 따르기 작업에서도 성능 저하 없이 오히려 개선되었습니다 (예: DPO 적용 시 평균 점수 +5.05 포인트 향상). 이는 도메인 특화 학습이 일반 추론 능력에도 긍정적 영향을 미칠 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

• 프라이버시 보호 및 로컬 배포: 8B 규모 모델은 소비자용 GPU 에서 로컬로 실행 가능하여, 민감한 사이버보안 데이터를 클라우드에 업로드하지 않고도 안전하게 활용할 수 있습니다.
• 종합적 접근의 효과: 대규모 사전 학습, 고품질 커리레이션, 에이전트 기반 증강, 그리고 선호도 정렬을 결합한 파이프라인이 사이버보안 전문성뿐만 아니라 일반 추론 능력까지 향상시킬 수 있음을 입증했습니다.
• 오픈 생태계 기여: 모든 모델, 데이터셋, 코드, 그리고 벤치마크를 오픈소스로 공개하여 연구의 재현성을 높이고 사이버보안 AI 분야의 발전을 가속화합니다.

이 연구는 사이버보안 분야에서 LLM 의 실용적 적용을 위한 새로운 표준을 제시하며, 도메인 특화 AI 어시스턴트 개발의 방향성을 제시합니다.