🤖 machine learning

Building a Robust Risk-Based Access Control System to Combat Ransomware's Capability to Encrypt

이 논문은 머신러닝 추론과 SELinux 기반의 강제 접근 제어를 결합하여, ftrace 프레임워크의 고해상도 커널 함수 추적 데이터를 활용하고 해석 가능한 규칙을 적용함으로써 랜섬웨어의 암호화 행위를 실시간으로 탐지하고 차단하면서도 정상적인 암호화 작업은 방해하지 않는 위험 기반 접근 제어 아키텍처를 제안합니다.

원저자: Kenan Begovic, Abdulaziz Al-Ali, Qutaibah Malluhi

게시일 2026-03-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kenan Begovic, Abdulaziz Al-Ali, Qutaibah Malluhi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 랜섬웨어(악성 소프트웨어) 가 우리 컴퓨터의 파일을 암호화해 버리는 공격을 막기 위해 개발된 새로운 '지능형 보안 시스템'에 대한 이야기입니다.

기존의 보안 방식이 "문은 잠갔는가?"(정적 접근 제어) 에만 집중했다면, 이 시스템은 "누가, 언제, 왜 문을 열려고 하는가?"(위험 기반 접근 제어) 를 실시간으로 분석하여 막아냅니다.

이 복잡한 기술을 일반인도 쉽게 이해할 수 있도록 비유와 일상적인 언어로 설명해 드리겠습니다.

🏰 1. 핵심 아이디어: "지능형 경비원"과 "신원 확인 카드"

이 시스템은 건물의 경비실 (리눅스 운영체제) 에 두 명의 경비원을 배치한 것과 같습니다.

기존 보안 (SELinux): 마치 "이 사람은 VIP 라서 문은 열려 있어"라고 적힌 고정된 명찰만 보고 출입을 허가하는 시스템입니다. 하지만 해커가 VIP 명찰을 위조해서 들어오면 어쩔 수 없습니다.
이 시스템 (새로운 접근): 경비원 두 명이 실시간으로 행동을 감시합니다.
1. 규칙 기반 경비원 (Rule Layer): "갑자기 1 초 만에 100 개의 문을 두드리면 무조건 멈춰!" 같은 간단하고 빠른 규칙을 따릅니다.
2. AI 기반 경비원 (Model Layer): "이 사람의 손짓, 발걸음, 숨소리를 보면 도둑 같아"라고 복잡한 패턴을 분석하는 머신러닝 (AI) 을 사용합니다.

이 두 경비원은 서로 협력합니다. 규칙이 "도둑이다!"라고 외치면 바로 문을 닫고, AI 가 "뭔가 수상해"라고 하면 더 자세히 살피다가 문을 닫습니다.

🔍 2. 어떻게 감시할까? (ftrace 와 함수 그래프)

기존 보안 시스템들은 주로 "누가 문을 두드렸는가?"(시스템 호출) 만 봅니다. 하지만 이 시스템은 건물 내부의 모든 미세한 움직임을 봅니다.

비유:
- 기존 방식: 집 밖의 문 앞에 서서 "누가 왔나?"만 봅니다.
- 이 시스템 (ftrace): 집 안의 모든 방과 복도, 그리고 사람 손이 닿는 모든 물체를 CCTV 로 감시합니다.
- 함수 그래프 (Function Graph): 단순히 "누가 문을 열었나"가 아니라, "문을 열기 위해 어떤 버튼을 눌렀고, 그 버튼이 어떤 기계와 연결되어 있었나"까지 연결 고리 (그래프) 를 분석합니다.

랜섬웨어는 파일을 암호화할 때 특정한 패턴 (예: 파일을 열고, 암호화하고, 다시 저장하는 복잡한 춤) 을 춥니다. 이 시스템은 그 춤의 패턴을 실시간으로 포착하여, 파일이 암호화되기 시작하자마자 (수십 밀리초 내에) 차단합니다.

⚖️ 3. 위험 점수 (Risk Score) 계산하기

이 시스템은 무조건 막는 것이 아니라, 위험 점수를 매깁니다.

공식: 위험도 = (악성일 확률) × (해당 파일의 중요도)
상황:
- 상황 A: 일반 사용자가 자신의 집 ($HOME) 에서 OpenSSL(암호화 도구) 을 실행했다.
  - 판단: "오, 이 사람은 내 집 안에서 합법적인 암호화 도구를 쓰고 있군." → 허용 (Allow)
- 상황 B: 해커가 위조된 명찰로 OpenSSL 을 실행해서 서버의 중요한 데이터 (/srv/shared) 를 암호화하려 한다.
  - 판단: "이 사람은 권한이 없는 곳에서 암호화 도구를 쓰고 있어! 위험 점수 100 점!" → 차단 (Deny)

이처럼 누가 (사용자), 무엇을 (앱), 어디에 (경로) 접근하려 하는지에 따라 실시간으로 결정을 내립니다.

🚀 4. 왜 이 방식이 특별한가? (기존 방식과의 비교)

샌드박스 (가상화) 방식: 마치 가상의 방을 만들어서 그 안에서만 실행해 보는 방식입니다. 정확하지만 무겁고 느립니다. (실제 건물에 가상의 방을 짓는 것과 같음)
eBPF 방식: 커널 내부에 작은 프로그램을 심는 방식입니다. 빠르지만 복잡한 분석에는 한계가 있습니다.
이 시스템의 장점:
- 가볍고 빠름: 가상화 같은 무거운 장비를 쓰지 않습니다.
- 정교함: 단순한 시스템 호출이 아니라, 내부 함수의 연결 관계까지 분석해서 더 정확하게 도둑을 잡습니다.
- 설명 가능: AI 가 "이 사람이 도둑이다"라고만 말하는 게 아니라, "왜 도둑인지"에 대한 규칙과 이유를 남깁니다. (예: "파일 잠금 해제가 너무 빨라서")

🛠️ 5. 현실적인 문제와 해결책 (프로토타입의 한계)

논문의 저자들은 이 시스템이 아직 실험실 단계 (프로토타입) 라고 솔직하게 인정합니다.

문제점: 현재 이 시스템은 컴퓨터의 RAM(메모리) 을 많이 먹고, CPU 가 갑자기 뜨거워지는 현상이 있습니다. 마치 "초고속 카메라로 모든 것을 찍으려다 보니 배터리가 빨리 닳는 것"과 같습니다.
해결책: 이 문제를 해결하기 위해, 지금처럼 사용자 공간 (User Space) 에서 분석하는 것이 아니라, 운영체제의 핵심 (커널) 내부로 분석 기능을 옮기는 작업을 계획하고 있습니다. 그렇게 하면 속도는 훨씬 빨라지고 자원 소모는 줄어들 것입니다.

💡 요약: 이 연구가 우리에게 주는 메시지

이 논문은 "랜섬웨어는 더 이상 '잠금'으로 막을 수 없다" 는 것을 보여줍니다. 대신, "행동을 분석해서 위험한 순간에 즉시 차단하는 지능형 시스템" 이 필요합니다.

이 시스템은 마치 현명한 경비원처럼, 합법적인 암호화 작업은 방해하지 않으면서, 악의적인 암호화 시도는 파일이 조금이라도 손상되기 전에 순간적으로 문을 걸어 잠그는 역할을 합니다.

한 줄 요약:

"이 시스템은 랜섬웨어가 파일을 암호화하기 시작하는 순간을 포착해, 누가, 어디서, 무엇을 하려는지 분석하여 실시간으로 차단하는 지능형 보안 경비원입니다."

논문 요약: 랜섬웨어 암호화 능력에 대응하는 강력한 위험 기반 접근 제어 시스템 구축

1. 문제 정의 (Problem)

랜섬웨어의 진화: 랜섬웨어는 중요한 데이터를 무단으로 암호화하여 몸값을 요구하는 방식으로 진화하고 있으며, 기존 보안 프로토콜의 공백을 악용하고 있습니다.
기존 접근법의 한계:
- 정적 접근 제어: 전통적인 DAC, MAC, RBAC 등은 정적 환경에서는 효과적이지만, 실시간으로 변화하는 위협에 대응하는 확률적 적응성이 부족합니다.
- 기존 탐지 기술의 결함: 샌드박싱 (Sandboxing), 하이퍼바이저 인트로스펙션 (VMI), 또는 단순한 시스템 콜 (Syscall) 기반 감시는 오버헤드가 크거나 (가상화 비용), 행동의 세밀한 granularity(입자성) 가 부족하여 암호화 시작 시점에 실시간으로 차단하는 데 한계가 있습니다.
핵심 과제: 합법적인 암호화 작업 (예: OpenSSL, GnuPG) 은 방해하지 않으면서, 악성 암호화 활동을 실시간으로 식별하고 차단할 수 있는 확률적 위험 기반 접근 제어 (Risk-Based Access Control) 시스템의 필요성.

2. 방법론 (Methodology)

이 연구는 리눅스 커널의 **ftrace (function graph tracer)**를 활용하여 커널 함수 실행을 고해상도로 추적하고, 이를 머신러닝 (ML) 과 SELinux 기반의 강제 접근 제어 (MAC) 에 결합하는 이중 계층 (Dual-layer) 아키텍처를 제안합니다.

데이터 수집 및 특징 추출:
- ftrace Function Graph: 커널 함수 호출 관계, 계층 구조, 실행 순서를 추적하여 암호화 행위의 미세한 패턴을 포착합니다.
- 리소스 카운터: CPU 사용률, 메모리 (RSS/VMS), I/O (읽기/쓰기 횟수 및 바이트) 등을 수집합니다.
- 그래프 기반 특징: 호출 그래프에서 Betweenness Centrality(중심성) 와 Clustering Coefficient(군집 계수) 와 같은 그래프 메트릭을 추출하여 암호화 루틴의 중첩 및 재귀적 특성을 모델링합니다.
- 데이터셋: 113 개의 엔지니어링된 특징 (리소스 카운터, 그래프 메트릭, 함수 호출 빈도) 으로 구성된 커스텀 데이터셋을 구축했습니다.
이중 계층 탐지 및 제어 (Dual-Layer Enforcement):
1. 규칙 계층 (Rule Layer, $E_{RULE}$ ): 머신러닝 모델에서 추출한 해석 가능한 규칙 (Decision Tree) 을 사용합니다. 초기 36 개의 핵심 특징을 사용하여 빠른 결정 (Low Latency) 을 내립니다.
2. 모델 계층 (Model Layer, $E_{ML}$ ): XGBoost 분류기를 사용하여 고도의 정확도와 일반화 능력을 제공합니다.
- 위험 기반 의사결정: $R(x, ctx) = P_{enc}(x) \cdot I(ctx)$ 공식을 사용하여, 암호화 확률 ( $P_{enc}$ ) 과 컨텍스트 (사용자, 앱, 경로, 파일 타입) 의 영향력 ( $I$ ) 을 곱해 위험 점수를 계산합니다.
- SELinux 통합: 사용자 공간 데몬이 탐지 결과를 바탕으로 SELinux 의 Boolean 변수 (rule_block, ml_block) 를 토글합니다. 이는 write/append 권한을 실시간으로 차단하거나 허용하는 마스터 스위치 역할을 합니다.
화이트리스트 전략:
- 특정 사용자 (예: user1) 가 특정 경로 (예: $HOME/**) 에서만 특정 앱 (예: OpenSSL) 을 실행할 때 암호화 권한을 허용하는 세밀한 화이트리스트 정책을 SELinux CIL 모듈로 구현했습니다.

3. 주요 기여 (Key Contributions)

이중 계층 위험 기반 제어: 규칙 기반의 빠른 응답과 모델 기반의 높은 탐지 정확도를 결합하여, 암호화 시도 초기 (수십 밀리초, 수 KB 단위) 에 차단하는 시스템을 설계했습니다.
함수 레벨 추적 기반 보안 정책: 기존 syscall 추적이나 eBPF 와 달리, ftrace function graph를 활용하여 커널 함수 호출의 계층적 구조를 분석하고 이를 ML 기반 접근 제어 결정에 최초로 체계적으로 적용했습니다.
특징 선택 및 최적화: 113 개의 특징 중 36 개의 최적 특징 집합을 도출했습니다.
- 규칙 계층을 위해 'Elbow rule'을 적용하여 최소한의 특징 (초기에는 RSS, lock 제거 함수 등 2 개) 으로 빠른 규칙을 생성했으나, 실제 성능 향상을 위해 36 개 특징을 모두 사용하는 확장된 규칙 ( $E^{36}_{RULE}$ ) 으로 조정했습니다.
- 모델 계층을 위해 $\chi^2$ 테스트와 Defender-Centric Utility(위험 회피 우선) 를 기반으로 특징을 선택했습니다.
SELinux CIL 을 통한 실행 가능한 정책: Common Intermediate Language (CIL) 모듈을 사용하여 감사 가능하고 경량화된 SELinux 정책을 구현했습니다. 이는 커널 패치 없이도 배포 가능한 접근 제어 메커니즘을 제공합니다.
실제 환경 평가: 합법적인 암호화 도구, 시스템 유틸리티, 그리고 실제 랜섬웨어 샘플 (Linux 환경) 을 포함한 다양한 워크로드에서 시스템을 평가했습니다.

4. 실험 결과 (Results)

탐지 성능:
- 모델 (XGBoost): Macro-F1 점수 0.97, Defender Utility 1950을 기록했습니다.
- 규칙 (Decision Tree): F1 점수 0.95로 모델에 근접했으나, 결정 지연 시간 (Latency) 이 더 짧았습니다.
- 이중 계층 (OR 조합): 모델의 탐지력을 유지하면서 규칙의 빠른 응답 속도를 결합하여 F1 0.98, Utility 2050의 최적 성능을 달성했습니다.
대응 속도 (Latency):
- 규칙 계층: 평균 10~19ms, 차단 전 데이터 양 10~12KB.
- 모델 계층: 평균 24~31ms, 차단 전 데이터 양 16~20KB.
- 이는 랜섬웨어가 대량 암호화를 시작하기 전에 (First tens of milliseconds) 차단이 가능함을 의미합니다.
오류 (False Positive):
- 비암호화 워크로드 (tar, rsync 등) 에서 모델은 약 1-2%, 규칙은 0.5-1.0% 의 낮은 오검출률을 보였습니다.
- 화이트리스트 정책 (사용자/앱/경로) 을 적용하면 합법적인 암호화 도구는 정상 작동하며, 권한이 없는 경로나 사용자에서의 암호화는 즉시 차단됩니다.
오버헤드:
- 현재 프로토타입은 사용자 공간 (User-space) 에서 ftrace 를 파싱하므로 CPU 피크 시 95-100% 사용과 약 31-35GB 의 메모리 점유를 보입니다. 이는 커널 모듈로 최적화 시 대폭 감소할 수 있는 엔지니어링적 한계로 분석되었습니다.
비교 분석:
- eBPF (Brodzik et al.): 커널 내 처리 속도는 빠르나 (ns 단위), 복잡한 그래프 특징과 SELinux 통합이 제한적입니다.
- 샌드박스 (Cuckoo): 높은 오버헤드와 지연 시간을 보입니다.
- 본 연구: 밀리초 (ms) 단위의 실시간 대응과 SELinux 기반의 설명 가능한 정책 제어, 그리고 풍부한 컨텍스트 정보를 제공합니다.

5. 의의 및 결론 (Significance)

실용적 방어 체계: 이 연구는 머신러닝의 예측 능력과 SELinux 의 강력한 강제 접근 제어 (MAC) 를 결합하여, 랜섬웨어의 암호화 행위를 실시간으로 차단하면서도 합법적인 작업을 방해하지 않는 실용적인 방어 체계를 제시했습니다.
해석 가능성 (Explainability): 블랙박스 모델 대신 추출된 규칙과 SELinux 정책을 통해 "왜 차단되었는지"를 명확히 설명할 수 있어, 기업 환경에서의 도입 장벽을 낮춥니다.
미래 방향: 현재 프로토타입의 사용자 공간 오버헤드를 해결하기 위해 ftrace 수집 및 추론 로직을 커널 모듈 또는 eBPF로 이전하여, 메모리/CPU 오버헤드를 획기적으로 줄이고 상용 환경 (Enterprise) 에 배포 가능한 수준으로 고도화할 필요가 있음을 강조했습니다.

이 논문은 랜섬웨어 대응을 위한 새로운 패러다임인 **"행동 기반 추적 + 확률적 위험 평가 + OS 네이티브 강제 제어"**의 통합 모델을 성공적으로 입증했다는 점에서 의의가 큽니다.