💻 computer science

Log-based Anomaly Detection Uses All Contextual Information with a Linear Self- Attention Encoder

이 논문은 선형 셀프 어텐션 인코더를 사용하여 시스템 로그로부터 전체 문맥 정보를 직접 처리함으로써 로그 파싱의 필요성을 제거하고, 이를 통해 기존 방식보다 우수한 이상 탐지 정확도와 더 빠른 추론 속도를 달성하는 간소화된 모델인 AllLinLog을 소개한다.

원저자: Chi-Ming Chou, Shang-Kuan Chen

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chi-Ming Chou, Shang-Kuan Chen

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문의 핵심 문제: 계속해서 커지는 건파더에서 바늘 찾기

당신이 거대하고 북적이는 공항의 보안 요원이라고 상상해 보세요. 문을 통과하는 모든 사람은 디지털 '영수증'(시스템 로그)을 클립보드에 남깁니다. 이 영수증에는 누가 들어왔는지, 어떤 게이트를 이용했는지, 그리고 무엇인가 잘못된 일이 있었는지가 적혀 있습니다.

기존 방식 (로그 파싱): 전통적으로 보안 요원들은 이 영수증들을 깔끔하고 표준화된 형태로 먼저 다시 작성하려고 노력했습니다. 그들은 지저도한 세부 사항(예: 특정 편명이나 이름)을 제거하고 단순히 "사람이 A 게이트로 입장함"이라고 적었습니다.
- 결함: 가끔 보안 요원이 영수증을 잘못 다시 쓰는 경우가 생깁니다. 예를 들어, 특정 편명을 게이트 이름으로 착각하거나, 중요하지 않다고 생각해서 결정적인 세부 정보를 버려버릴 수도 있습니다. 만약 다시 쓰는 과정에서 오류가 발생하면, 보안 시스템은 위협을 놓치게 됩니다. 또한, 수백만 개의 영수증을 다시 쓰는 작업은 시간이 매우 오래 걸립니다.
새로운 문제 (너무 많은 데이터): 만약 당신이 영수증을 (다시 쓰지 않고) 적힌 그대로 정확하게 읽으려고 한다면, 엄청난 양의 텍스트를 마주하게 됩니다. 일반적인 보안 요원(전통적인 AI 모델)은 한 번에 짧은 메모만 읽을 수 있습니다. 만약 메모가 너무 길면, 그들은 내용을 머릿속에 담기 위해 뒷부분을 잘라내거나 앞부분을 무시해야 합니다. 이는 중요한 맥락을 놓치게 된다는 것을 의미합니다.

해결책: AllLinLog

논문의 저자들은 AllLinLog라는 새로운 보안 시스템을 만들었습니다. 이 시스템은 다음 세 가지 비결로 위의 문제들을 해결합니다.

1. 영수증을 "있는 그대로" 읽기 (다시 쓰지 않음)

AllLinLog는 지저분한 영수증을 깔끔한 템플릿으로 다시 작성하는 대신, 원문 텍스트를 나타난 그대로 읽습니다.

비유: 마치 속어, 오타, 이상한 기호가 섞인 지저분한 손글씨 메모를 먼저 깨끗하게 정리할 필요 없이 그대로 읽을 수 있는 초능력을 가진 번역가와 같습니다.
도움이 되는 이유: 텍스트를 "잘못 해석"하여 발생하는 실수를 방지합니다. 모든 단어, 숫자, 기호를 그대로 유지함으로써 결정적인 단서가 버려지지 않도록 보장합니다.

2. "리니어(Linear)" 슈퍼 브레인 (긴 메모 처리하기)

원문 텍스트를 읽는 가장 큰 과제는 이 메모들이 수천 단어에 달할 수 있다는 점입니다. 표준 AI 두뇌(트랜스포머라고 불리는)는 금방 과부하가 걸립니다. 그들의 노력은 기하급수적으로 늘어납니다. 마치 경기장에 있는 모든 사람과 일일이 악수를 하려는 것과 같습니다. 경기장 규모가 두 배가 되면, 노력은 네 배로 늘어납니다. 이는 너무 느려지고 메모리를 많이 잡아먹게 됩니다.

AllLinLog는 **리니어 셀프 어텐션 인코더(Linear Self-Attention Encoder)**를 사용합니다.

비유: 일반적인 AI가 연결 고리를 찾기 위해 전화번호부의 모든 이름을 다른 모든 이름과 하나하나 대조하며 외우려는 사람과 같다면, 시간이 너무 오래 걸립니다.
AllLinLog의 비결: "스마트한 지름길"을 사용합니다. 모든 단어를 다른 모든 단어와 일일이 비교하는 대신, 연결 관계를 유지하면서 정보를 관리 가능한 작은 요약본으로 압축합니다. 이는 마치 1,000페이지짜리 책을 핵심 줄거리 손실 없이 순식간에 10페이지짜리 개요로 요약하는 사서와 같습니다.
결과: 로그가 짧든 거대한 소설처럼 길든, 시스템은 일정한 속도로 빠르게 처리됩니다. 데이터가 커진다고 해서 속도가 느려지지 않습니다.

3. 균형 잡기 (불균형 해소)

현실 세계에서 공항의 대부분의 날은 평온하지만(정상 로그), 아주 짧은 몇 분 동안만 위기 상황(이상 징나)이 발생합니다. 만약 보안 요원을 평온한 날의 데이터로만 훈련시킨다면, 그들은 게을러져서 드물게 발생하는 비상사태를 놓칠 것입니다.

해결책: 이 논문은 랜덤 오버샘플링(Random Oversampling) 기술을 사용합니다.
비유: 당신이 특정 유형의 도둑을 포착하도록 보안 요원을 훈련시킨다고 상상해 보세요. 당신에게는 도둑의 사진 10장과 무고한 사람의 사진 1,000장이 있습니다. 보안 요원을 더 잘 훈련시키기 위해, 무고한 사람의 사진 1장당 도둑의 사진 4장을 복사하여 배치합니다. 이제 보안 요원은 "나쁜 놈"을 충분히 자주 보게 되어, "착한 사람들"에 압도되지 않으면서도 무엇을 주의 깊게 봐야 하는지 배울 수 있습니다.

연구 결과는 무엇인가요?

연구진은 슈퍼컴퓨터와 클라우드 서버의 실제 데이터(BGL, HDFS, Thunderbird라는 데이터셋)를 사용하여 AllLinLog를 테스트했습니다.

정확도: 이 시스템은 테스트된 모델 중 가장 정확했습니다. 거의 모든 이상 징후를 찾아냈으며(일부 테스트에서 99.9% 정확도), 로그를 먼저 "다시 쓰려고" 했던 기존의 모든 방식들을 능가했습니다.
속도: "리니어" 지름길을 사용하기 때문에 훨씬 빠릅니다.
- 비유: 기존 AI가 로그 한 묶음을 확인하는 데 10초가 걸렸다면, AllLinlog는 1초 미만으로 해냈습니다.
- 메모리: 또한 컴퓨터 메모리를 훨씬 적게 사용합니다. 로그 묶음이 커질 때 기존 AI의 메모리 사용량은 폭발적으로 늘어났지만, AllLinLog는 차분하고 효율적인 상태를 유지했습니다.

요약

AllLinLog는 컴퓨터 문제를 감지하는 새로운 방법입니다. 로그를 먼저 정리하려고 시도하는 대신(이 과정에서 오류가 발생하기 쉽습니다), 원문 텍스트를 직접 읽습니다. 또한 거대한 양의 텍스트를 느려지거나 혼란에 빠지지 않고 처리할 수 있는 특별한 "리니어" 두뇌를 사용하며, 드물고 위험한 사건에 특별히 주의를 기울이도록 스스로를 훈련시킵니다. 그 결과, 이 시스템은 더 빠르고, 더 정확하며, 작동을 위해 어떤 정보도 버릴 필요가 없습니다.

기술 요약: AllLinLog – 선형 셀프 어텐션을 이용한 로그 기반 이상 탐지

1. 문제 정의

상호 연결된 시스템이 확장됨에 따라 사이버 위협에 대한 공격 표면이 넓어지고 있으며, 이에 따라 시스템 로그의 적시 이상 탐지가 매우 중요해졌습니다. 로그 기반 이상 탐지는 표준적인 접근 방식이지만, 기존 방법들은 두 가지 주요 과제에 직면해 있습니다:

로그 파싱에 대한 의존성: 대부분의 현재 접근 방식은 비정형 원시 로그를 구조화된 이벤트 템플릿으로 변환하기 위해 로그 파싱 단계를 요구합니다. 이 과정은 매개변수를 키워드로 오인하거나 서로 다른 메시지를 병합하는 등의 오류를 범하기 쉬우며, 이는 의미론적 오해와 문맥적 세부 정보의 손실로 이어집니다. 또한, 진화하는 소프트웨어 시스템은 새로운 템플릿을 처리하기 위해 파서를 빈번하게 재학습시켜야 합니다.
긴 시퀀스의 계산 복잡도: 완전한 의미 정보를 보존하기 위해 모델은 원시 로그를 직접 처리해야 하며, 이는 매우 긴 입력 시퀀스(종종 수천 개의 토큰)를 초래합니다. 멀티 헤드 셀프 어텐션(multi-headed self-attention)에 의존하는 표준 트랜스포머(Transformer) 기반 모델은 시퀀스 길이에 대해 이차 함수적( $O(n^2)$ ) 계산 복잡도를 가집니다. 이는 모델이 입력을 절단하거나 특징을 버리도록 강요하며, 잠재적인 이상 징후 지표를 놓칠 수 있게 합니다.

2. 방법론: AllLinLog

저자들은 파싱 없이 원시 시스템 로그에서 직접 이상 탐지를 수행하도록 설계된 간소화된 프레임워크인 AllLinLog(All Contextual Information with Linear Self-Attention Encoder)를 제안합니다. 이 모델은 세 가지 핵심 구성 요소로 이루어져 있습니다.

A. 데이터 처리

세션 구축: 원시 로그는 HDFS와 같이 고유 식별자가 있는 데이터셋의 경우 **세션 ID 그룹화(Session ID Grouping)**를 사용하거나, BGL 및 Thunderbird와 같이 명확한 ID가 없는 데이터셋의 경우 **슬라이딩 윈도우 그룹화(Sliding Window Grouping)**를 사용하여 세션으로 그룹화됩니다.
토큰화: 모델은 로그 파서를 사용하는 대신 GPT-4 BPE (Byte Pair Encoding) 토크나이저를 채택합니다. 이 바이트 수준의 서브워드(subword) 토크나이저는 원시 로그 메시지를 토큰 ID로 변환하며, 미학습 단어를 서브워드 단위(예: "crond" $\rightarrow$ "cr", "ond")로 분해함으로써 미등록 단어(Out-of-Vocabulary, OOV) 문제를 효과적으로 처리합니다.
위치 임베딩: 시간적 의존성을 포착하기 위해, 카운팅 기반의 절대 위치 임베딩(absolute position embeddings)이 토큰 벡터에 추가됩니다.
클래스 불균형 처리: 로그 데이터셋에서 정상 세션과 이상 세션 사이의 심각한 불균형을 인식하여, 모델은 임베딩 전 원시 데이터에 **무작위 오버샘플링(Random Oversampling, ROS)**을 적용합니다. 편향되지 않은 분류를 보장하기 위해 학습 중 목표 이상 비율은 40%로 설정됩니다.

B. 선형 셀프 어텐션 (LSA) 인코더

긴 시퀀스 처리에 따른 비효전성을 해결하기 위해, AllLinLog는 표준 이차 셀프 어텐션 메커니즘을 선형 셀프 어텐션(Linear Self-Attention) 인코더로 대체합니다.

저차 근사(Low-Rank Approximation): 이 방법은 어텐션 행렬의 저차 특성을 활용합니다. 전체 $n \times n$ 공간에 대해 어텐션을 계산하는 대신, 두 개의 학습 가능한 투영 행렬( $E$ 와 $F$ )을 도입하여 키( $K$ )와 값( $V$ ) 시퀀스를 더 낮은 차원 $k$ ( $k \ll n$ )로 압축합니다.
복잡도 감소: 이를 통해 계산 복잡도를 $O(n^2)$ 에서 $O(nk)$로 변환하여, 시퀀스 길이에 대해 시간 및 공간 요구 사항을 효과적으로 선형화합니다.
매개변수 효율성: 모델은 레이어별 매개변수 공유를 활용하여, 단일 투영 행렬 $E$ 를 모든 레이어와 헤드에 공통으로 사용하여 메모리 점유율을 더욱 줄입니다.

C. 분류 레이어

인코더 출력은 시퀀스 길이에 대한 **평균 풀링(average pooling)**을 통해 집계되어 세션 수준의 표현을 생성합니다. 이 벡터는 이진 분류(정상 vs 이상)를 위한 로짓(logits)을 생성하기 위해 선형 레이어를 통과합니다. 모델은 소수 클래스(이상 클래스)의 오분류에 대해 추가적인 페널티를 부여하기 위해 **가중 크로스 엔트로피 손실 함수(weighted cross-entropy loss function)**를 사용합니다.

3. 주요 기여

파서 프리(Parser-Free) 아키텍처: AllLinLog는 로그 파서의 필요성을 제거함으로써, 파싱 과정에서의 의미론적 오류를 방지하고 원시 로그에 내재된 모든 문맥적 정보(동적 매개변수 포함)를 보존합니다.
긴 시퀀스를 위한 선형 복잡도: 선형 셀프 어텐션 인코더를 통합함으로써, 모델은 절단 없이 전체 길이의 로그 세션(수천 개의 토큰)을 처리할 수 있게 하여 표준 트랜스포머의 확장성 한계를 극복합니다.
OOV에 대한 견고성: GPT-4 BPE 토크나이저의 사용은 사전 정의된 어휘나 파싱 규칙 없이도 미학습 기술 용어와 매개변수를 효과적으로 처리할 수 있도록 보장합니다.
효율성: 본 아키텍처는 표준 트랜스포머 인코더와 비교하여 추론 시간과 메모리 소비를 크게 줄여, 자원이 제한된 환경에서도 적합하도록 만듭니다.

4. 실험 결과

모델은 BGL(Blue Gene/L) 및 HDFS(Hadoop Distributed File System) 공개 데이터셋에서 평가되었으며, DeepLog, LogCluster, LogAnomaly, FSMFLog와 같은 최신 베이스라인들과 비교되었습니다.

탐지 정확도: AllLinLog는 모든 지표에서 가장 높은 성능을 달달했습니다. HDFS 데이터셋에서 정밀도(Precision) 0.997, 재현율(Recall) 0.995, F1-스코어 0.996을 달 기록했습니다. BGL 데이터셋에서는 정밀도, 재현율, F1-스코어 모두 0.999에 가까운 완벽한 점수를 기록했습니다. 이러한 결과는 최고 성능의 베이스라인인 FSMFLog(HDFS에서 F1-스코어 0.966, BGL에서 0.961 달성)를 능가하는 수치입니다.
절제 연구(Ablation Studies):
- 저차 요인 ( $k$ ): 최적의 $k$ 값은 $32$로 식별되었으며, 이는 F1-스코어 0.99888을 산출했습니다.
- 인코더 깊이: 단일 인코더 레이어가 성능과 복잡도 사이의 균형을 맞추는 데 최적임이 확인되었습니다.
- LSA vs. 표준 트랜스포머: LSA 인코더를 표준 트랜스포머로 교체했을 때 F1-스코어는 약간 상승(0.99888에서 0.99967로)했으나, 효율성 측면에서 상당한 비용이 발생했습니다.
효율성 벤치마크:
- 메모리: 배치 크기를 1에서 16으로 늘릴 때, LSA 인코더의 메모리 사용량은 202.61 MB만 증가한 반면, 표준 트랜스포머의 사용량은 2,931.48 MB로 급증했습니다.
- 추론 시간: LSA 인코더는 우수한 확장성을 보여주었습니다. 배치 크기를 1에서 16으로 늘렸을 때, LSA의 추론 시간은 4.9배 증가한 반면, 표준 트랜스포머는 10.8배 증가했습니다.
- 처리량(Throughput): 배치 크기 16에서 LSA 인코더는 4,032.52 samples/sec를 달성하여, 표준 트랜스포머(312.02 samples/sec)보다 약 12.9배 높은 처리량을 보였습니다.

5. 의의 및 한계점

본 논문은 AllLinLog가 높은 정확도와 계산 효율성을 결격하여 로그 기반 이상 탐지에 실질적인 이점을 제공한다고 주장합니다. 불완전한 로그 파서에 대한 의존성을 제거하고 선형 셀프 어텐션을 활용함으로써, 모델은 전체 문맥적 의미를 보존하면서도 긴 시퀀스에 대해 확장성을 유지합니다.

저자들은 BPE 토크나이저에 관한 한계를 인정합니다. BPE는 OOV 문제를 해결하지만, 특정 기술적 매개변수(예: IP 주소)를 서브워드로 분해하여 문맥 정보를 왜곡하고 시퀀스 길이를 늘릴 가능성이 있습니다. 저자들은 향후 연구가 이러한 매개변수를 서브워드로 분해하지 않고 로그 메시지를 세그먼트할 수 있는 바이트 수준의 토크나이징 방법론을 개발하여 특징의 무결성을 더욱 보존하는 데 집중해야 한다고 제언합니다.