ThreatQwen: Domain-Adaptive Fine-Tuning of a 1.7B LLM for Security Event Classification and SOC Triage

매일 은행, 병원, 정부 기관의 보안 팀들은 디지털 경보의 홍수에 직면합니다. 이러한 경보는 비정상적인 파일 이동이나 수상한 네트워크 연결과 같이 컴퓨터 로그에서 의심스러운 패턴을 스캔하는 자동화된 시스템에 의해 발생합니다. 이러한 시스템은 잠재적 위협을 포착하는 데는 탁월하지만, 해당 경보가 실제 위험인지 아니면 무해한 실수인지를 결정할 수는 없습니다. '트리아지(triage, 우선순위 결정)'라고 불리는 이 최종 판단은 전통적으로 인간 분석가가 원시 데이터를 읽고 상황을 추론하는 과정을 필요로 했습니다. 이 수동 프로세스는 느릴 뿐만 아니라 엄청난 양의 경보에 압도당하기 일쑤입니다. 최근 몇 년 동안 강력한 인공지능 모델들이 이러한 종류의 추론을 수행할 수 있음을 보여주었지만, 이 도움이 가장 절실한 조직들은 정작 이를 사용할 수 없는 경우가 많습니다. 엄격한 보안 규칙과 개인정보 보호법이 이 팀들이 자신들의 민감한 로그를 대규모 모델이 존재하는 외부 서버로 보내는 것을 막기 때문입니다. 그들에게는 전문가처럼 사고하면서도 완전히 자신들만의 보안 구역 내에 머물 수 있는 솔루션이 필요합니다.

새로운 연구는 ThreatQwen이라는 솔루션을 소개합니다. 이는 인터넷 연결 없이 표준 컴퓨터 하드웨어에서 로컬로 실행되도록 설계된 작고 특화된 인공지능 모델입니다. 연구자는 인간의 언어를 이해하고 생성하도록 훈련된 소프트웨어의 일종인 소형 언어 모델을 가져와, 보안 경보를 분석하는 방법을 구체적으로 가르쳤습니다. 연구진은 모델에 방대한 양의 실제 탐지 규칙과 정상적인 컴퓨터 활동의 합성 예시를 입력하여, 모델이 실제 위협과 무해한 이벤트를 구분할 수 있도록 학습시켰습니다. 그 결과, 보안 사무실의 단일 컴퓨터에 앉아 경보를 읽고 그것이 악성인지 아니면 정상적인 것인지를 즉시 인간 운영자에게 알려줄 수 있는 도구가 탄생했습니다. 이 접근 방식은 고도로 규제된 조직들이 자신의 개인 데이터를 외부 세계에 전혀 노출하지 않고도 고급 인공지능 추론을 사용할 수 있게 해줍니다.

연구자가 해결한 핵심 과제는 기존의 대부분 인공지능 모델이 로컬 머신에서 실행하기에는 너무 크고, 보안 로그의 특정 언어에 대해 학습되어 있지 않다는 점이었습니다. 이를 해결하기 위해 팀은 오픈 소스 프로젝트의 수천 개의 실제 탐지 규칙과 수천 개의 새로운 정상 컴퓨터 행동 예시를 결합하여 훈련 데이터셋을 구축했습니다. 그들은 강력한 외부 인공지능을 사용하여 이러한 정상 사례들을 생성함으로써, 모델이 위험한 이벤트와 안전한 이벤트의 균형 잡힌 혼합을 볼 수 있도록 했습니다. 이는 원래의 데이터가 위협 쪽으로 크게 치우쳐 있었기 때문에 매우 중요했습니다. 정상 활동에 대한 예시가 추가되지 않았다면, 모델은 단순히 모든 것을 위험하다고 라벨링하는 법을 배웠을 것입니다. 연구진은 훈련 데이터를 세심하게 조정하고 단순한 지름길 역할을 하는 특정 필드들을 제거함으로써, 모델이 표면적인 단서에 근거해 추측하는 것이 아니라 이벤트의 패턴을 실제로 학습하도록 강제했습니다.

그 후 모델은 모델을 완전히 재구축할 필요 없이 새로운 작업을 학습할 수 있게 해주는 기법을 사용하여 미세 조정(fine-tuning)되었으며, 이 과정은 표준 그래픽 카드에서 단 몇 시간 만에 완료되었습니다. 실제 위협과 정상 이벤트가 균등하게 나뉜 882개의 예시를 대상으로 테스트했을 때, 이 새로운 모델은 95.1퍼센트의 정확도를 달성했습니다. 모델은 실제 위협의 96.1퍼센트를 올바르게 식별했고, 정상 이벤트의 94.2퍼센트를 식별했습니다. 직접적인 비교에서, 이 작고 로컬에서 실행되는 모델은 동일한 작업에 대해 52퍼센트 미만의 정확도를 기록한 세계에서 가장 진보된 클라우드 기반 인공지능 시스템 두 개를 크게 능가했습니다. 클라우드 모델들은 거의 모든 것을 위협이라고 가정하여 정상적인 활동을 인식하는 데 실패한 반면, 이 새로운 모델은 보안 전문가들에게 중요한 미묘한 차이를 학습했습니다.

이 발전이 특히 중요한 이유는 실제 보안 운영에서의 실용성 때문입니다. 특화된 훈련을 포함한 모델 전체가 단 3.1 기가바이트의 컴퓨터 메모리에 들어가며, 이는 많은 사무실에서 흔히 볼 수 있는 소비자용 그래픽 카드 하나에서 실행될 수 있을 만큼 작습니다. 네트워크 연결이 필요하지 않으므로, 보안상의 이유로 컴퓨터가 인터넷으로부터 물리적으로 격리된 에어갭(air-gapped) 환경에도 배치할 수 있습니다. 이를 통해 은행, 방위 산업체, 정보 기관들은 데이터 프라이버시 규정을 위반하지 않으면서 수백만 개의 경보에 대한 초기 검토를 자동화할 수 있습니다. 또한 연구자는 이 모델을 로컬에서 실행하는 것이 클라우드 기반 서비스를 사용하는 것보다 훨씬 저렴하며, 클라우드 플랫폼에서 동일한 작업을 수행할 때 약 20달러가 드는 것에 비해 고용량 처리에 하루 2달러 미만이 소요된다고 언급했습니다.

이 연구에는 저자가 공개적으로 인정하는 한계점도 존재합니다. 훈련 데이터와 정상 행동에 대한 테스트 예시는 실제 네트워크에서 직접 가져온 것이 아니라 컴퓨터에 의해 생성된 것입니다. 탐지 규칙은 실제 현장에서 관찰된 공격 기법을 기반으로 하고 있지만, 모델은 아직 실제 보안 센터의 복잡하고 무질서한 데이터 스트림에 대해 테스트되지 않았습니다. 연구자는 다음의 중요한 단계가 모델이 사용된 합성 예시를 넘어 실제 세계에서도 잘 일반화되는지 확인하기 위해 실제 텔레메트리(telemetry)를 대상으로 검증하는 것이라고 말합니다. 또한, 현재 모델은 영어만 이해하므로 비영어권 위협 인텔리전스 소스를 제외하고 있습니다. 이러한 주의 사항에도 불구하고, 이 연구는 적절한 데이터로 세심하게 훈련된 소규모 오픈 소스 모델이 거대한 범용 시스템보다 전문적인 보안 작업을 더 잘 수행할 수 있음을 입증하며, 핵심 인프라를 위한 안전한 로컬 인공지능의 실행 가능한 경로를 제시합니다.