SecureBERT 2.0: 사이버 보안 인텔리전스를 위한 고급 언어 모델 기술 요약

Cisco AI 팀이 발표한 SecureBERT 2.0은 사이버 보안 도메인의 복잡성과 역동성을 해결하기 위해 설계된 차세대 인코더 전용 (encoder-only) 언어 모델입니다. 이 논문은 기존 범용 언어 모델의 한계를 극복하고, 위협 인텔리전스, 소스 코드 분석, 취약점 탐지 등 구체적인 보안 작업에 최적화된 모델을 제시합니다.

1. 문제 정의 (Problem)

사이버 보안 분야는 방대하고 이질적인 데이터 (위협 인텔리전스 피드, 연구 보고서, 원시 소스 코드, 로그 파일 등) 로 특징지어집니다. 이러한 데이터에서 실행 가능한 통찰력을 도출하는 데는 다음과 같은 어려움이 존재합니다:

• 전문 용어와 복잡한 구조: 보안 데이터는 고도의 전문 용어, 복잡한 문서 구조, 자연어와 소스 코드의 상호 의존성을 포함합니다.
• 범용 모델의 한계: 일반적인 언어 모델 (General-purpose LMs) 은 보안 도메인에 특화된 적응 (Domain Adaptation) 이 부족하여, 정밀한 엔티티 추출, 의미론적 분석, 취약점 탐지 등의 작업에서 낮은 성능을 보입니다.
• 문맥의 확장 필요성: 현대 보안 워크플로는 긴 문서, 계층적 구조, 그리고 텍스트와 코드가 혼합된 데이터를 처리할 수 있는 더 깊은 문맥 이해가 필요합니다.

2. 방법론 (Methodology)

SecureBERT 2.0 은 아키텍처 개선과 대규모 도메인 특화 데이터셋 학습을 통해 문제를 해결합니다.

2.1 아키텍처: ModernBERT 기반

기존 SecureBERT 를 개선하여 ModernBERT 아키텍처를 채택했습니다.

• 긴 문맥 처리 (Long-context Modeling): 확장된 어텐션 메커니즘을 통해 위협 보고서나 긴 로그 파일과 같은 긴 시퀀스를 처리하면서도 핵심 정보를 잃지 않습니다.
• 계층적 인코딩 (Hierarchical Encoding): 기술 텍스트와 소스 코드에서 흔히 발견되는 세밀한 구조와 고수준 구조를 모두 이해할 수 있도록 설계되었습니다.
• 하이브리드 토크나이제이션: 자연어와 코드를 동시에 처리할 수 있는 하이브리드 토큰화 방식을 지원합니다.

2.2 데이터셋 및 사전 학습 (Pre-training)

SecureBERT 2.0 은 이전 버전보다 13 배 이상 큰 도메인 특화 코퍼스로 학습되었습니다.

• 데이터 규모: 총 136 억 개 이상의 텍스트 토큰과 5,300 만 개 이상의 코드 토큰으로 구성되었습니다.
• 데이터 소스:
  • 큐레이션된 보안 기사, 보고서, 기술 블로그 (Seed corpus)
  • 사이버 보안 관련 대규모 웹 텍스트
  • 추론 및 질문 응답 데이터 (Reasoning-focused data)
  • 지시 사항 튜닝 데이터 (Instruction-tuning data)
  • 코드 취약점 코퍼스: 오픈소스 프로젝트 및 취약점 데이터베이스에서 추출된 주석 처리된 코드 샘플.
  • 사이버 보안 대화 데이터 및 기존 SecureBERT 데이터셋.
• 학습 전략:
  • 마이크로 어닐링 (Microannealing): 학습 초기에는 고품질/저노이즈 데이터로 기초를 다지고, 중반에는 다양한 웹 텍스트와 추론 데이터를 도입하며, 후기에는 고품질 소스를 재방문하여 수렴을 안정화하는 커리큘럼 학습을 적용했습니다.
  • 목표 함수: 마스킹 언어 모델링 (MLM) 을 기반으로 하되, 보안 텍스트의 경우 동사와 명사, 코드 데이터의 경우 함수명, 변수 식별자, 연산자 등을 타겟으로 마스킹하여 학습했습니다.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 사이버 보안 특화 모델: 텍스트와 코드를 모두 포함하는 13 배 규모의 대규모 코퍼스로 학습된 최초의 고성능 인코더 모델입니다.
2. 하이브리드 데이터 처리 능력: 자연어 위협 인텔리전스와 프로그래밍 가능한 취약점을 연결하는 능력을 강화하여, 텍스트 기반 보고서와 실제 코드 간의 간극을 해소했습니다.
3. 다양한 다운스트림 작업 최적화: 문서 임베딩 (검색/검색), 이름 개체 인식 (NER), 코드 취약점 탐지 등 사이버 보안 운영의 핵심 3 가지 작업에 대해 특화된 파인튜닝 전략을 제시했습니다.

4. 실험 결과 (Results)

SecureBERT 2.0 은 여러 벤치마크에서 기존 모델 (Original SecureBERT, AttackBERT, CodeBERT, 일반 BERT 계열 등) 을 압도하는 성능을 보였습니다.

• 문서 임베딩 (Document Embedding):
  • 크로스-인코더 (Cross-encoder): mAP 0.955, R@1 0.948 을 기록하여 모든 베이스라인 모델을 상회했습니다.
  • 바이-인코더 (Bi-encoder): mAP 0.951, R@1 0.984 를 기록하여 대규모 검색 및 RAG(검색 증강 생성) 파이프라인에 적합한 높은 속도와 정확도를 동시에 달성했습니다.
• 이름 개체 인식 (NER):
  • 악성코드, 취약점, 시스템, 조직, 지표 (Indicator) 등 5 가지 보안 엔티티를 식별하는 데 F1-score 0.945를 달성했습니다. 이는 기존 SecureBERT (0.734) 나 CyBERT (0.351) 보다 훨씬 높은 성능입니다. 특히 재현율 (Recall 0.965) 이 매우 높아 중요한 위협 요소를 놓치지 않습니다.
• 코드 취약점 탐지 (Code Vulnerability Detection):
  • 소스 코드 내 취약점을 이진 분류하는 작업에서 정확도 0.655를 기록했습니다. CodeBERT 는 정밀도는 높으나 재현율이 낮고, CyBERT 는 재현율은 높으나 정밀도가 낮았던 반면, SecureBERT 2.0 은 정밀도 (0.630) 와 재현율 (0.602) 사이의 균형을 잘 맞춰 신뢰할 수 있는 탐지를 가능하게 했습니다.

5. 의의 및 결론 (Significance)

SecureBERT 2.0 은 사이버 보안 분야에서 AI 의 실용성을 한 단계 끌어올린 중요한 성과입니다.

• 자동화의 가속화: 위협 탐지, 사고 분류 (Triage), 취약점 평가 등 반복적이고 복잡한 작업을 자동화하는 데 필수적인 기반 기술을 제공합니다.
• 정확도와 신뢰성 향상: 도메인 특화된 대규모 학습과 현대적인 아키텍처를 통해, 보안 전문가들이 방대한 데이터에서 핵심 위협을 빠르게 식별하고 대응할 수 있도록 지원합니다.
• 미래 지향성: 텍스트와 코드를 통합적으로 이해하는 능력은 향후 공격 시나리오 생성, 로그 이상 탐지, 정책 준수 매핑 등 더 복잡한 보안 과제에 적용될 수 있는 확장성을 보여줍니다.

결론적으로, SecureBERT 2.0 은 단순한 언어 모델을 넘어, 변화하는 위협 환경에 대응하기 위한 사이버 보안 운영을 위한 전문적인 AI 플랫폼으로서의 역할을 수행할 것으로 기대됩니다.