💻 computer science

Advanced Persistent Threat Detection via Adaptive Dynamic Masking and Heterogeneity-Aware Projection

본 논문은 결정적인 공격 맥락을 보존하기 위한 적응형 동적 마스킹 전략과 다양한 엔티티 유형에 대한 별도의 의미론적 공간을 유지하기 위한 이질성 인지 투영을 채택함으로써 프로비넌스 그래프 분석을 강화하는 새로운 APT 탐지 프레임워크인 AMH-APT를 제안하며, 이를 통해 로그 수준 및 엔티티 수준 탐지 작업 모두에서 기존 방법들을 능가한다.

원저자: Jiahao Liang, Xiaofeng Lu, Xinhong Hei, Silin Guo, Danna Zhu, Shibing Gu, Pengcheng Wang

게시일 2026-09-24

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jiahao Liang, Xiaofeng Lu, Xinhong Hei, Silin Guo, Danna Zhu, Shibing Gu, Pengcheng Wang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 세계에서 보안 시스템은 종종 처리해야 하는 데이터의 엄청난 양에 압도당하곤 합니다. 매 초마다 컴퓨터는 누가 파일에 접근했는지, 어떤 프로그램이 실행되었는지, 혹은 어디로 네트워크 연결이 이루어졌는지에 대한 기록을 끝없이 생성합니다. 수십 년 동안 방어자들은 자물쇠를 따는 도둑처럼, 알려진 특정한 악성 행동을 찾아내어 침입자를 포착하려고 노력해 왔습니다. 그러나 전혀 도둑처럼 보이지 않는 새로운 종류의 위협이 등장했습니다. 이것이 바로 지능형 지속 위협(APT)입니다. 단 한 번의 요란한 침입 대신, APT는 몇 주 또는 몇 달에 걸쳐 진행되는 느리고 조용한 침투입니다. 공격자들은 자신들의 악의적인 단계를 일상적인 컴퓨터 운영의 평범하고 지루한 소음 속에 숨기며, 이로 인해 일상적인 파일 업데이트와 비밀스러운 데이터 탈취를 구분하는 것을 거의 불가능하게 만듭니다. 이러한 은밀한 적들을 잡기 위해, 연구자들은 컴퓨터 활동의 전체 이력을 '프로비넌스 그래프(provenance graph)'라고 불리는 거대한 연결망으로 매핑하기 시작했습니다. 이 네트워크에서 모든 사용자, 파일, 프로그램은 하나의 점이 되고, 그들이 취하는 모든 행동은 그들을 연결하는 선이 됩니다. 목표는 이 거대하고 복ile한 지도 속에 숨겨진 아주 미세하고 의심스러운 패턴을 찾아내는 것입니다.

오랫동안 이 지도를 읽는 가장 좋은 도구들은 '자기 지도 학습(self-supervised learning)'이라 불리는 기술에 의존해 왔습니다. 학생이 많은 단어가 가려진 책을 읽으며 언어의 규칙을 배우려고 노력하는 상황을 상상해 보십시오. 학생은 주변 문맥을 바탕으로 가려진 단어를 추측해야 합니다. 만약 학생이 올바르게 추측한다면, 그 학생은 언어의 구조를 배우고 있는 것입니다. 컴퓨터 보안에서도 연구자들은 이와 유사한 방법을 사용합니다. 그들은 컴퓨터 활동 지도의 일부를 숨기고 AI에게 누락된 부분을 재구성하도록 요청합니다. 만약 AI가 이를 잘 수행한다면, 그것은 '정상적인' 행동이 무엇인지 학습했다는 뜻입니다. AI가 패턴이 잘못되어 재구성이 불가능한 새로운 지도를 마주하게 되면, 이를 잠재적인 공격으로 표시합니다. 이 접근 방식은 효과적이었지만, 한 가지 결함이 있었습니다. 지도의 일부를 숨기는 표준적인 방법은 무작위적이라는 점입니다. 즉, 어떤 것이 중요한지에 대해 고민하지 않고 단어를 가려버립니다. 컴퓨터 시스템에서 어떤 동작은 단순히 시간을 확인하는 프로그램처럼 배경 소음에 불과하지만, 어떤 동작은 사용자가 특정 파일을 연 후 비밀스러운 연결이 이루어지는 것과 같이 사건의 사슬에서 결정적인 연결 고리가 되기도 합니다. 결정적인 연결 고리를 무작위로 가려버리면 AI에게는 끊어진 이야기가 남게 되어, 공격의 진정한 형태를 학습하는 것을 더 어렵게 만듭니다.

시안 공업대학교의 연구팀은 무엇이 중요한지에 주의를 기울이는 새로운 교육 방식을 개발했습니다. 그들은 모든 컴퓨터 활동 지도의 구성 요소가 동일하게 중요하지 않다는 점을 깨달았습니다. 특정 파일이나 프로그램을 나타내는 노드(node)는 이야기의 중심이 될 수 있는 반면, 다른 것들은 그저 사소한 세부 사항일 뿐입니다. 그들의 새로운 방법인 AMH-APT는 게임의 규칙을 바꿉니다. 지도의 일부를 무작위로 가리는 대신, 시스템은 먼저 각 조각이 얼마나 중요한지를 계산합니다. 시스템은 각 조각이 얼마나 많은 연결을 가지고 있는지, 그리고 그 특징이 얼마나 독특한지를 살펴봅니다. 만약 어떤 조각이 네트워크의 주요 허브이거나 매우 독특한 행동 양식을 가지고 있다면, 시스템은 이를 가시적인 상태로 두기로 결정합니다. 대신 덜 중요하고 소음이 많은 부분만을 숨깁니다. 이는 AI가 누락된 정보를 추측할 때 가장 중요한 맥락을 바탕으로 작업하게 함으로써, 훈련 중에도 공격 경로의 골격을 보존할 수 있게 해줍니다.

연구자들은 또한 지도의 서로 다른 유형의 개체들에 대한 문제도 해결했습니다. 컴퓨터 시스템에는 사용자, 파일, 네트워크 연결, 프로세스가 존재하며, 이들은 모두 다르게 행동합니다. 기존의 방법들은 이 서로 다른 유형들을 하나의 균일한 공간에 억지로 밀어 넣으려 했고, 이는 그들의 고유한 특성을 흐릿하게 만들었습니다. 이는 마치 자동차, 새, 물고기를 설명할 때 오직 하나의 움직임 규칙만을 사용하는 것과 같았습니다. 새로운 접근 방식은 각 유형의 엔티티(entity)에 전용 공간을 부여하여 이해되도록 합니다. 시스템이 파일을 숨길 때, 그것을 단순히 일반적인 숨겨진 객체가 아니라 '숨겨진 파일'로서 취급합니다. 이는 AI가 객체의 라벨을 이용해 그 내용을 추측하는 것을 방지합니다. 사용자와 파일, 네트워크의 구별되는 정체성을 유지하면서도 이들이 서로 소통할 수 있게 함으로써, 시스템은 현재 무슨 일이 일어나고 있는지에 대해 훨씬 더 명확한 그림을 그려냅니다.

이러한 변화가 실제로 효과가 있는지 테스트하기 위해, 연구자들은 작은 시뮬레이션 공격부터 수천 개의 이벤트가 포함된 크고 복잡한 시나리오에 이르기까지 다섯 가지의 서로 다른 실제 데이터 세트에서 새로운 시스템을 실행했습니다. 그들은 결과를 무작위로 숨기는 방식에 의존했던 이전의 최선책과 비교했습니다. 결과는 명확했습니다. 새로운 시스템은 공격을 더 많이 찾아내는 동시에 실수는 훨씬 적게 저질렀습니다. CADETS라는 대규모 데이터 세트를 사용한 특정 테스트에서, 기존 방식은 정상적인 활동을 거의 2,900건이나 공격으로 잘못 표시하여 많은 오보를 발생시켰습니다. 새로운 시스템은 이 숫자를 1,100건 직후로 줄여, 악의적인 행위자를 잡아내면서도 오보를 절반 이상 줄였습니다. Wget이라는 또 다른 테스트에서는 공격을 정확히 식별하는 능력이 약 94.5%에서 거의 98.1%로 크게 향상되었습니다. 이러한 개선은 단순한 미세 조정이 아니었습니다. 이는 시스템이 일상의 소음과 정교한 침입자의 조용한 발걸음을 구별하는 법을 배우는 방식에 있어 근본적인 변화를 의미했습니다.

이 방법의 성공은 난이도와 명확성 사이의 균。형을 맞추는 능력에 달려 있습니다. 연구자들은 단순히 고정된 양의 데이터를 숨기는 것만으로는 충분하지 않다는 것을 발견했습니다. 대신, 그들은 처음에 더 쉬운 과제(더 적은 것을 숨김)로 시작하여 시스템이 학습함에 따라 점진적으로 난이도를 높이는 스케줄을 도입했습니다. 이를 통해 AI는 복잡하고 장기적인 연결 관계를 정의하는 공격을 이해하기 위한 도전에 직면하기 전에, 먼저 정상적인 행동의 국지적 패턴을 숙달할 수 있었습니다. 이러한 세심한 스케줄링과 중요한 노드를 보호하고 데이터 유형의 고유한 특성을 존중하는 전략을 결합함으로써, 시스템은 숲과 나무를 동시에 보는 법을 배웠습니다. 그 결과, 이 도구는 침해의 미묘한 징후에는 더 민감하면서도, 무해한 활동에 대해 경보를 울릴 가능성은 더 낮은 탐지 도구가 되었습니다.

이 연구는 사이버 보안의 미래가 새로운 복잡한 규칙을 찾는 것보다, 기계에게 '무엇에 주의를 기울여야 하는지'를 가르치는 것에 달려 있을 수 있음을 시사합니다. 모든 데이터 포인트가 동등하지 않으며, 서로 다른 유형의 디지털 객체는 서로 다른 종류의 이해를 필요로 한다는 점을 이해함으로써, 연구자들은 보이지 않는 것을 더 잘 포착하는 시스템을 구축했습니다. 이 연구는 사이버 위협 문제를 완전히 해결했다고 주장하는 것이 아니라, 디지털 활동의 혼돈을 바라보는 강력하고 새로운 렌즈를 제공하는 것입니다. 이는 우리가 기계에게 자신의 이력으로부터 학습하는 법을 가르치는 방식을 정교화함으로써, 기계를 더욱 날카롭고 정확하며 신뢰할 수 있는 디지털 세계의 파수꾼으로 만들 수 있음을 보여줍니다. 앞으로의 길은 이러한 방법들을 계속해서 정교화하여, 인간 방어자들이 실제 위협에 집중할 수 있도록 오보를 낮게 유지하면서도, 해를 끼치려는 자들의 끊임없이 변화하는 전술에 적응할 수 있도록 만드는 데 있습니다.

기술 요약: 적응형 동적 마스킹 및 이질성 인지 투영을 통한 지능형 지속 위협 탐지 (AMH-APT)

1. 문제 정의

지능형 지속 위협(APT)은 초기 침투, 측면 이동(lateral movement), 데이터 유출과 같은 여러 공격 단계에 걸쳐 발생하는 저빈도, 은밀함, 장기 지연 특성을 가집니다. 이러한 공격은 방대한 양의 정상 감사 로그(audit logs) 내에서 일반적인 시스템 작업으로 위장되는 경우가 많아 탐지가 매우 어렵습니다.

프로비넌스 그래프(Provenance graphs)는 시스템 엔티티(사용자, 프로세스, 파일, 소켓)를 노드로, 이들의 인과적 상호작용을 엣지로 표현함으로써 이러한 공격을 효과적으로 모델링할 수 있습니다. 그러나 마스크된 그래프 표현 학습(masked graph representation learning)에 기반한 기존 탐지 방법들은 두 가지 결정적인 한계점에 직면해 있습니다:

비효과적인 마스킹 전략: 기존 방식은 종종 무작위 또는 고정 비율의 마스킹을 사용합니다. 이는 모든 노드가 동일한 학습 가치를 가진다고 가정합니다. 그러나 APT 시나리오에서는 특정 프로세스 실행이나 교차 도메인 연결과 같은 핵심 공격 노드는 드물지만 가치가 높은 반면, 배경 노드(예: 임시 파일, 일상적인 읽기 작업)는 풍부하지만 가치가 낮습니다. 무작위 마스킹은 중요한 공격 컨텍스트를 가리거나, 학습 과제를 단순한 배경 노이즈 재구성 문제로 퇴화시킬 위험이 있습니다.
이질적 의미론적 혼선(Heterogeneous Semantic Confusion): 프로비넌스 그래프는 본질적으로 서로 다른 의미 공간을 가진 다양한 엔티티 유형을 포함하는 이질적인 구조를 가집니다. 기존 접근 방식은 공유된 선형 변환을 사용하여 모든 엔티티 유형을 통일된 특징 공간으로 투영합니다. 이는 유형별 구분을 압축하여 복잡한 공격 의미론을 표현하는 모델의 능력을 약화시키며, 모델이 사전 학습(pre-training) 중에 보존된 노드 유형을 통해 마스킹된 속성을 추론할 수 있게 함으로써 학습 목표를 왜곡할 수 있습니다.

2. 방법론: AMH-APT

본 논문은 MAGIC 프레임워크를 확장하여 표현 학습 단계에서 두 가지 주요 개선 사항을 적용한 AMH-APT(Adaptive Dynamic Masking and Heterogeneity-Aware Projection for APT Detection)를 제안합니다.

A. 노드 중요도 인지 동적 마스킹 (Node-Importance-Aware Dynamic Masking)

무작위 마스킹 대신, AMH-APT는 핵심적인 공격 컨텍스트를 보존하는 것을 우선시하는 전략을 채택합니다.

중요도 추정: 노드 중요도( $S(v)$ )는 위상적 연결성(정규화된 인입 차수 및 출차 차수)과 속성 구별성(특징 분산)을 융합하여 계산됩니다.
역중요도 샘플링 (Inverse-Importance Sampling): 마스킹 확률은 노드 중요도와 음의 상관관계를 갖습니다. 높은 중요도를 가진 노드(공격 체인의 일부일 가능성이 높은 노드)는 컨텍스트 내에 우선적으로 유지되는 반면, 낮은 중요도의 배경 노드는 마스킹될 확률이 더 높습니다. 이를 통해 모델이 단순한 노이즈가 아닌 의미 있는 구조적 의존성으로부터 학습하도록 보장합니다.
커리큘럼 기반 스케줄링: 마스킹 비율은 시그모이드 함수를 사용하여 학습 중에 동적으로 조정되며, 낮은 값(0.3)에서 높은 값(0.7)으로 증가합니다. 이를 통해 모델이 먼저 안정적인 로컬 패턴을 학습한 후, 점진적으로 고차원적인 컨텍스트 추론 능력을 발달시킬 수 있도록 합니다.

B. 이질성 인지 그래프 어텐션 인코더 (Heterogeneity-Aware Graph Attention Encoder)

통일된 특징 투영의 한계를 해결하기 위해, AMH-APT는 그래프 어텐션 네트워크(GAT) 인코더를 수정합니다.

유형별 투영 (Type-Specific Projections): 공유된 선형 변환 대신, 인코더는 각 노드 유형(예: 프로세스, 파일, 소켓)에 대해 독립적인 투영 행렬( $W_{\tau}$ )을 할당합니다. 이는 메시지 패싱 이전에 서로 다른 엔티티 유형의 고유한 의미적 뉘앙스를 보존합니다.
마스크 유형 인코딩 (Mask-Type Encoding): 사전 학습 중 노드의 속성이 마스킹될 때, 해당 노드의 원래 유형 또한 별도의 "마스크 유형"으로 대체됩니다. 이는 모델이 실제 노드 유형을 단서로 삼아 재구성을 수행하는 '지름길 학습(shortcut)'을 방지하여 사전 학습 목적을 강화합니다.
엣지 인지 어텐션 (Edge-Aware Attention): 어텐션 메커니즘은 소스 노드 표현, 타겟 노드 표현, 그리고 엣지 속성을 공동으로 고려하여 다중 유형 간의 의존성을 포착합니다.

C. 학습 및 탐지

자기 지도 학습 목적 함수: 모델은 두 가지 목적 함수를 사용하여 정상 그래프(benign graphs)에 대해 학습됩니다: 마스크된 특징 재구성(scaled cosine error 사용) 및 샘플링된 구조 재구성(엣지 존재 여부를 예측하기 위한 binary cross-entropy 사용).
이상 탐지: 추론 시에는 마스킹을 생략합니다. 학습된 인코더는 테스트 그래프 또는 노드에 대한 임베딩을 생성합니다. 이상 점수(anomaly score)는 K-최근접 이웃(KNN) 방식을 사용하여, 테스트 샘플이 정상 학습 임베딩 분포로부터 얼마나 떨어져 있는지 측정함으로써 계산됩니다.

3. 주요 기여

적응형 동적 마스킹: 위상적 차수와 속성 분산을 통합하여 마스킹을 유도함으로써, 핵심 공격 컨텍스트를 보존하는 동시에 배경 노이즈의 간섭을 줄이는 전략을 제시했습니다.
커리큘럼 기반 스케줄링: 마스킹 난이도를 점진적으로 높이는 메커니즘을 통해 미지의 공격 동작에 대한 모델의 일반화 성능을 향러합니다.
이질성 인지 투영: 유형별 투영과 명시적인 마스크 유형 인코딩을 활용하는 GAT 기반 인코더 설계를 통해, 의미적 구분을 유지하고 유형 정보의 누출을 방ร합니다.
실증적 검증: 5개의 공개 APT 데이터셋(StreamSpot, Unicorn Wget, Trace, THEIA, CADETS)에 대한 종합적인 평가를 통해 기존 베이스라인 대비 우수한 성능을 입증했습니다.

4. 실험 결과

실험은 배치 레벨 로그 탐지와 엔티티 레벨 탐지를 모두 포함하는 5개의 데이터셋에서 수행되었습니다.

성능 지표: AMH-APT는 모든 데이터셋에서 F1-score, 정밀도(Precision), 재현율(Recall) 측면에서 MAGIC 베이스라인 및 기타 최신 기법들(예: Log2vec, Flash, ThreatTrace)을 일관되적으로 상회했습니다.
- Wget 데이터셋: F1-score가 MAGIC의 0.9452에서 AMH-APT의 0.9810으로 향상되었습니다.
- CADETS 데이터셋: F1-score가 MAGIC의 0.8978에서 AMH-APT의 0.9563으로 향상되었습니다.
오탐(False Positive) 감소: 엔티티 레벨 탐지에서 오탐이 크게 감소했다는 점은 운영 보안 측면에서 매우 중요한 발견입니다.
- TRACE: 오탐이 849건에서 184건으로 감소했습니다.
- THEIA: 오탐이 522건에서 263건으로 감소했습니다.
- CADETS: 오탐이 2,888건에서 1,141건으로 감소했습니다.
소거 연구 (Ablation Studies): 동적 마스킹 또는 이질적 인코더 중 하나라도 제거할 경우 성능 저하가 발생하였으며, 이는 두 모듈이 상호 보완적인 개선(샘플 선택 vs. 의미론적 모델링)을 제공함을 확인시켜 줍니다.
시각화: t-SNE 및 이상 점수 분포 분석을 통해 AMH-APT가 정상 엔티티와 악성 엔티티를 명확히 구분하는, 더 분리 가능한 임베딩 공간을 생성함을 확인했습니다.

5. 의의 및 주장

본 논문은 AMH-APT가 자기 지도 학습 과정을 실제 공격 정보의 분포와 일치시킴으로써 프로비넌스 그래프에서의 APT 탐지 과제를 해결한다고 주장합니다. 핵심적인 공격 노드가 무작위로 마스킹되지 않도록 보장하고 시스템 엔티티의 이질적인 특성을 존중함으로써, 모델은 더욱 판별력 있는 표현을 학습하게 됩니다.

저자들은 경보 피로(alert fatigue)가 주요 관심사인 보안 운영 센터(SOC)의 실무 배포에 있어, 높은 탐지율을 유지하면서도 오탐을 크게 줄이는 본 방법론의 능력이 매우 적합하다는 점을 강조합니다. 결과적으로, 핵심 컨텍스트 보존과 이질적 의미론적 모델링 사이의 균형을 맞추는 것이 더욱 견고한 비지도 학습 기반 APT 탐지를 위한 유효한 경로임을 시사합니다.