A structured event logging framework for language model assisted security event analysis

디지털 세상에서 컴퓨터가 취하는 모든 행동은 흔적을 남깁니다. 사용자가 로그인할 때, 파일이 저장될 때, 혹은 보안 설정이 변경될 때, 시스템은 해당 이벤트의 기록을 작성합니다. 이벤트 로그라고 알려진 이 기록들은 보안 팀이 네트워크 내부에서 무슨 일이 일어나고 있는지 이해하는 주요한 수단입니다. 수십 년 동안 이러한 로그를 분석하는 표준적인 방법은 전문 소프트웨어나 인간 분석가에게 로그를 입력하여 위협을 암시하는 패턴을 찾도록 하는 것이었습니다. 그러나 새로운 세대의 인공지능 도구, 특히 거대 언어 모델(LLM)은 이 작업을 자동화하는 데 있어 유망한 가능성을 보여주었습니다. 이 모델들은 방대한 양의 텍스트를 학습하며 자연어를 이해할 수 있기 때문에, 이론적으로 보안 로그 속에 숨겨진 이야기를 읽고 해석하는 데 완벽합니다. 하지만 중대한 문제가 발생했습니다. 이 강력한 AI 도구들에게 표준적인 컴퓨터 로그를 읽게 하면 종종 실패한다는 점입니다. 이들은 일관되지 않은 답변을 내놓거나, 중요한 세부 사항을 놓치거나, 일어나지도 않은 사실을 지어내곤 합니다. 이러한 불확실성은 잘못된 추측이 미처 발견되지 못한 침해 사고나 무해한 동작을 공격으로 오인하게 만들 수 있는 실제 보안 환경에서 매우 위험합니다.

허더스필드 대학교와 맨체스터 메트로폴리탄 대학교의 연구진은 이 문제를 해결하기 위해 다른 질문을 던졌습니다. 인공지능을 더 똑똑하게 만드는 대신, 그들은 로그 자체가 문제인 것은 아닌지 의문을 품었습니다. 그들은 컴퓨터가 현재 이러한 기록을 작성하는 방식이 인공지능이 이해하기에는 너무 무질서하고 기술적이라고 가설을 세웠습니다. 이를 테스트하기 위해 연구팀은 언어 모델이 읽기에 적합하도록 설계된, 컴퓨터가 활동을 기록하는 새로운 방식을 개발했습니다. 그들은 컴퓨터 시스템의 다양한 부분에서 이벤트를 포착하고, 노이즈를 걸러낸 뒤, 분석되기 전의 데이터를 명확하고 구조화된 형식으로 재작성하는 도구를 구축했습니다. 그 결과, 컴퓨터가 정보를 정리하는 힘든 작업을 수행하여, AI에게 혼란스러운 코드의 흐름이 아닌 깨끗하고 일관된 이야기를 제공하는 시스템을 만들어냈습니다.

연구팀은 단순한 비밀번호 변경부터 복잡한 네트워크 침입에 이르기까지 20가지의 서로 다른 보안 시나리오를 시뮬레이션하여 이 새로운 접근 방식을 테스트했습니다. 그들은 새로운 도구를 사용하여 이벤트를 기록하고, 이를 오늘날 업계에서 사용되는 표준적인 로깅 방식과 비교했습니다. 이 로그들을 여러 가지 서로 다른 언어 모델에 입력했을 때, 그 차이는 극명했습니다. 새로운 형식을 사용하는 모델들은 일관되게 정확한 문제를 식양하고 관련 솔루션을 제공했습니다. 반면, 동일한 모델들에 전통적이고 비구조화된 로그를 제공했을 때, 그 성능은 현저히 떨어졌습니다. 모델들은 정상적인 활동과 잠재적 위협을 구별하는 데 어려움을 겪었으며, 심지어 중요한 보안 설정이 변경되었다는 사실조차 인식하지 못하는 경우가 많았습니다. 새로운 형식은 AI가 혼란스러운 코드를 추측하거나 해석해야 할 필요성을 제거하여 정확도를 획기적으로 향 향상시켰습니다.

가장 주목할 만한 발견 중 하나는, 이 새로운 시스템이 매우 효과적으로 작동하여 모델들이 사실을 지어내는 현상, 즉 환각(hallucination)을 거의 일으키지 않았다는 점입니다. 이번 특정 실험에서 오류율은 전통적인 형식을 사용한 테스트를 포함하여 모든 테스트에서 사실상 제로였습니다. 다만 연구진은 이 결과가 다른 연구들에 비해 사용된 로그의 수가 상대적으로 적었기 때문일 수 있으며, 더 큰 데이터셋에 대한 추가 테스트 없이는 환각이 영구적으로 제거되었다고 확els 결론 내릴 수 없다고 언급했습니다. 이는 AI의 혼란이 지능의 부족 때문이 아니라, 입력 데이터의 낮은 품질 때문이었음을 시사합니다. 로그가 생성되는 순간부터 구조화되고, 일관되며, 평이한 언어로 작성되도록 보장함으로써 연구진은 AI가 비틀거지게 만드는 장벽을 제거했습니다. 또한 이 시스템은 연관된 이벤트들을 연결하는 작업도 처리했습니다. 별도의 프로그램이 두 개의 서로 다른 로그가 동시에 발생했으며 하나의 공격의 일부라는 것을 파악할 때까지 기다리는 대신, 새로운 도구는 이벤트가 발생하는 즉시 이 점들을 자동으로 연결했습니다.

연구진은 또한 AI 모델을 더 많은 데이터로 학습시키는 것이 기존의 무질서한 로그를 더 잘 수행하게 만드는 데 도움이 되는지 탐구했습니다. 그들은 추가적인 학습을 거치더라도 모델들이 여전히 전통적인 형식으로는 어려움을 겪는다는 것을 발견했습니다. 그러나 새로운 형식을 사용할 때는 추가적인 학습 없이도 모델들이 매우 뛰어난 성능을 보였습니다. 이는 데이터의 구조가 모델의 학습 세트 크기보다 더 중요하다는 것을 나타냅니다. 연구팀은 로그를 분석하는 데 걸리는 시간을 측정하였고, 새로운 방식이 대부분의 전통적인 방식보다 훨씬 빠르다는 것을 발견했습니다. Sysmon과 같은 일부 표준 도구들이 분석을 완료하는 데 몇 분이 걸리는 반면, 다른 도구들은 동일한 양의 정보를 처리하는 데 여러 시간이 걸렸습니다. 이러한 속도는 높은 정확성과 결합되어, 새로운 접근 방식이 일상적인 사용을 위한 AI 기반 보안 분석을 실용적으로 만들 수 있음을 시사합니다.

이 연구가 사이버 보안의 모든 문제를 해결했다고 주장하는 것은 아니며, 연구진은 자신들의 테스트가 단일 유형의 컴퓨터 시스템에서 수행되었음을 인정합니다. 그들은 향후 다른 운영 체제로 연구 범위를 확장할 계획입니다. 그러나 핵심적인 발견은 명확합니다. 우리가 인공지능이 디지털 이벤트를 이해하기를 원한다면, 디지털 이벤트를 기록하는 방식이 변해야 한다는 것입니다. 로그 형식을 단순한 기술적 기록이 아닌 소통 도구로 다룸으로써, 연구진은 인간의 기계와 인공지능 사이의 가교를 만들었습니다. 이러한 관점의 단순한 전환은 AI가 가공되지 않은 데이터의 소음 속에서 길을 잃지 않고, 자신이 가장 잘하는 일인 언어를 이해하고 패턴을 찾는 일을 할 수 있게 해줍니다. 그 결과는 더 신뢰할 수 있고, 더 빠르며, 더 안전한 컴퓨터 시스템 보호 방식이며, 이는 때때로 도구를 개선하는 가장 좋은 방법은 그것을 더 복잡하게 만드는 것이 아니라, 그것이 받는 정보를 더 명확하게 만드는 것임을 증명합니다.