💻 computer science

XTrust-Chain: An Explainable Intrusion Detection System with Trust-Based Automation and Immutable Decision Records

XTrust-Chain은 앙상블 분류기와 보정된 신뢰 지표, 그리고 암호학적으로 보안된 감사 추적을 결합하여, 여러 벤치마크 데이터셋에 걸쳐 경고의 불변적 검증을 보장하는 동시에 고신뢰 자동 의사결정을 가능하게 하는 다계층 침입 탐지 프레임워크이다.

원저자: Amjad Aldweesh

게시일 2026-09-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Amjad Aldweesh

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 세상에서 네트워크는 끊임없이 공격을 받고 있습니다. 보안 팀은 해커와 악성코드의 미세한 흔적을 찾기 위해 데이터의 흐름을 감시하는 자동화된 시스템에 의존합니다. 수년 동안 이러한 시스템은 거의 전적으로 단 하나의 숫자, 즉 얼마나 자주 정답을 맞히느냐에 따라 평가되어 왔습니다. 만약 어떤 시스템이 99%의 정확도를 주장한다면, 그것은 완벽해 보입니다. 하지만 긴박한 보안 운영 센터(SOC)의 현실에서, 그 단 하나의 숫자는 위험한 진실을 숨기고 있습니다. 그것은 분석가에게 어떤 경고를 무시해도 안전한지, 그리고 어떤 경고가 즉각적인 인간의 주의를 요하는지를 알려주지 않습니다. 또한 자동화된 조치의 기록이 나중에 몰래 수정될 수 없다는 보장도 제공하지 않습니다. 기계가 실수를 저질렀을 때, 인간 운영자는 경고를 믿어야 할지 아니면 무시해야 할지 갈피를 잡지 못하며, 이는 종종 피로감과 위협을 놓치는 결과로 이어집니다.

이를 해결하기 위해 연구자들은 단순히 트래픽을 분류하는 것을 넘어, 자신이 확신하지 못할 때를 아는 시스템을 구축하고 있습니다. 이 새로운 접근 방식은 세 가지 아이디어를 결합합니다. 첫째, "신뢰 점수(trust score)"를 사용하여 기계의 결정이 인간이 옆에서 지켜보지 않고도 실행할 만큼 신뢰할 수 있는지 결정합니다. 둘째, 왜 그런 결정이 내려졌는지에 대한 명확하고 이해 가능한 이유를 제공하여 인간이 그 논리를 검증할 수 있도록 합니다. 셋째, 모든 결정을 영구적이고 변경 불가능한 디지털 장부에 기록하여, 무슨 일이 언제 일어났는지에 대한 부정할 수 없는 기록을 생성합니다. 목표는 단순히 더 많은 악한 행위자를 잡는 것이 아니라, 운영자가 어떤 경고를 신뢰할 수 있고 어떤 것을 검토해야 하는지 정확히 알 수 있는 시스템을 만드는 것입니다.

사우디아라비아 샤크라 대학교(Shaqra University)의 연구원인 암자드 알드위시(Amjad Aldweesh)는 XTrust-Chain이라 불리는 이러한 시스템을 구축했습니다. 이 시스템은 단순히 결론을 내뱉는 하나의 '블랙박스' 알고리즘에 의존하는 대신, 함께 협력하는 전문가 패널처럼 작동합니다. 이 시스템은 세 가지 서로 다른 유형의 의사결정 모델을 병렬로 실행합니다. 네트워크 트래픽이 도착하면 세 모델이 모두 이를 분석합니다. 그런 다음 시스템은 모델들이 서로 일치하는지 확인합니다. 만약 세 모델이 높은 확신을 가지고 동일한 결론을 가리킨다면, 시스템은 해당 결정을 신뢰할 수 있는 것으로 표시합니다. 만약 모델들이 서로 의견이 다르거나 확신이 없어 보인다면, 시스템은 해당 사례를 인간 전문가가 검토하도록 플래그를 지정합니다. 이 과정은 단순한 추측이 아닙니다. 이는 모델들이 얼마나 확신하는지, 상충하는 답변들이 얼마나 근접해 있는지, 그리고 모델들 사이의 합의가 얼마나 이루어졌는지로부터 도출된 계산된 확실성의 척도입니다.

연구진은 이 프레임워크를 표준 기업 트래픽부터 복잡한 산업 환경에 이르기까지 다양한 실제 네트워크 데이터 세트 세트에 대해 테스트했습니다. 그 결과, 이 시스템이 안전한 결정과 위험한 결정을 분리하는 데 매우 효과적이라는 것을 발견했습니다. 한 데이터 세트에서 시스템은 모든 트래픽 결정의 거의 70%를 자동으로 처리하면서, 해당 자동화 그룹의 오류율을 거의 2%에서 거의 0%로 줄였습니다. 구분이 더 어려운 패턴을 가진 더 까다로운 데이터 세트에서도, 시스템은 스스로 내린 결정에 대해 오류율을 24.5%에서 9.7%로 절반 가까이 낮추면서도 약 70%의 작업을 자동화했습니다. 핵심적인 발견은 이 시스템이 모든 것을 자동화하는 것이 아니라, 언제 멈춰서 도움을 요청해야 할지를 안다는 것입니다. 시스템은 모델들을 혼란스럽게 만드는 특정 유형의 공격을 성공적으로 식별하여 인간에게 전달하는 한편, 명확한 사례들은 즉시 통과시켰습니다.

이 작업의 중요한 부분은 시스템의 설명이 정직함을 보장하는 것이었습니다. 연구진은 데이터의 어느 부분이 결정에 영향을 미쳤는지 강조하는 방법을 사용했는데, 이는 본질적으로 컴퓨터에게 증거를 가리키라고 요구하는 것과 같습니다. 그들은 컴퓨터가 자신이 사용한 특징들을 신뢰성 있게 식별할 수 있다는 것을 발견했지만, 그 설명들이 항상 안정적인 것은 아니라는 점도 발견했습니다. 만약 데이터가 약간만 바뀌어도 컴퓨터의 추론은 급격하게 변할 수 있었습니다. 이 발견은 연구팀에게 중요한 설계 선택으로 이어졌습니다. 그들은 이러한 변화무쌍한 설명을 자동화된 결정에 사용하지 않기로 했습니다. 대신, 더 안정적인 신뢰 점수와 모델 간의 합의에 의존하여 실행 여부나 참조 여부를 결정했습니다. 이는 상세한 추론이 고도의 자동화를 위해 신뢰하기에는 너무 취약할지라도, 자동화된 조치가 견고한 근거를 바탕으로 이루어지도록 보장합니다.

전체 과정의 무결성을 보호하기 위해, 시스템은 모든 결정을 보안 분산 장부에 기록합니다. 이 장부를 모든 항목이 고유한 디지털 지문으로 봉인된 공공의, 변경 불가능한 공책이라고 생각하십시오. 시스템이 결정을 내릴 때, 무엇을 보았고, 무엇을 결정했으며, 얼마나 확신했는지에 대한 영구적인 기록을 생성합니다. 이 기록은 두 곳에 저장됩니다. 전체 세부 사항은 쉬운 검토를 위해 표준 데이터베이스에 보관되지만, 그 기록의 아주 작은 32바이트 지문은 블록체인에 기록됩니다. 이 지문은 매우 작고 계산이 빨라 프로세스에 거의 지연을 주지 않으며, 약 16마이크로초밖에 걸리지 않습니다. 그럼에도 불구하고, 이는 강력한 보장을 제공합니다. 만약 누군가 과거의 결정을 수정하려고 시도하면 지문이 더 이상 일치하지 않게 되어 조작 사실이 즉시 탐지됩니다. 이는 모든 자동화된 조치에 대한 관리 연속성(chain of custody)을 생성하여, 시스템이 수행한 작업의 기록이 사후에 다시 쓰일 수 없도록 보장합니다.

연구진은 또한 기존의 인기 있는 세 가지 보안 시스템의 코드를 동일한 데이터로 다시 실행하여 어떻게 비교되는지 확인하는 이례적인 단계도 밟았습니다. 그들은 이전에 완벽에 가까운 점수를 주장했던 일부 시스템들이 실제 공격의 행동을 학습하는 대신, 테스트 데이터에 고유한 특정 주소 번호를 살펴보는 것과 같은 지름길(shortcuts)에 의존했다는 것을 발견했습니다. 그러한 지름길들이 제거되었을 때, 그 시스템들은 대부분의 효과를 잃었습니다. 반면, XTrust-Chain 시스템은 트래픽에 붙은 라벨이 아니라 트래픽 자체의 행동을 보도록 설계되었기 때문에 성능을 유지했습니다. 이러한 엄격한 테스트는 잘못된 결정을 걸러내는 이 새로운 시스템의 능력이 단순히 데이터 준비 과정에서 나타난 부산물이 아니라 실제임을 확인시켜 주었습니다.

궁극적으로, 이 연구는 보안에서의 자동화가 도박이 될 필요가 없음을 보여줍니다. 여러 모델을 결합하고, 확실성을 측정하며, 결정 사항을 변경 불가능한 기록에 고정함으로써, 자신의 한계를 아는 시스템을 구축하는 것이 가능합니다. 이 시스템은 완벽하다고 주장하지 않습니다. 대신, 자신이 언제 옳고 언제 옳지 않은지에 대해 정직하다고 주장합니다. 이 시스템은 보안 팀이 높은 확신을 가지고 업무의 대부분을 자동화할 수 있게 하면서, 진정으로 인간의 주의가 필요한 경우에만 인간의 관심을 할애할 수 있도록 합니다. 이 접근 방식은 보안 분석가의 역할을 경고에 휩쓸려 허우적거리는 사람에서, 일상적인 작업은 기계를 신뢰하고 기계가 도움이 필요하다고 신호를 보낼 때만 개입하는 감독자로 변화시킵니다. 그 결과, 디지털 네트워크를 보호하는 데 있어 더 효율적이고, 투명하며, 신뢰할 수 있는 방법이 탄생했습니다.

XTrust-Chain 기술 요약

문제 정의
현재의 머신러닝 기반 침입 탐지 시스템(IDS)은 일반적으로 집계된 분류 지표(예: 정확도, F1-score)만으로 평가됩니다. 이러한 접근 방식은 다음과 같은 두 가지 결정적인 운영상의 공백을 해결하지 못합니다:

실행 가능성(Actionability): 높은 집계 점수가 어떤 특정 경보를 인간의 검토 없이 자율적으로 조치할 수 있는지, 혹은 인간의 검토가 필요한지를 나타내지는 못합니다. 분석가들은 경보 피로(alert fatigue)에 직ка 직면해 있지만, 표준 지표는 분류(triage)를 가이드할 수 있는 레코드별 신뢰도를 제공하지 않습니다.
무결성 및 투명성(Integrity and Transparency): 기존 프레임워크는 자동화된 결정이 사후에 변경되지 않았음을 검증하는 메커니즘이 부족한 경우가 많습니다. 또한, 설명 방법(예: SHAP)이 널리 적용되고 있음에도 불구하고, 그 신뢰성(설명이 실제 모델의 로직을 반영하는가? 즉, 충실도(faithfulness))과 안정성(미세한 입력 섭동 하에서도 일관성을 유지하는가?)이 정량화되는 경우는 드뭅니다. 추가로, 확률 교정(probability calibration)이 거의 보고되지 않는데, 이는 신뢰 임계값이 교정되지 않은 과잉 확신적인 점수에 적용되는 경우가 많음을 의미합니다.

방법론: XTrust-Chain 프레임워크
본 논문은 탐지, 설명, 교정, 신뢰 기반 라우팅 및 로깅을 각각 측정 가능한 별도의 구성 요소로 분리하는 계층적 파이프라인인 XTrust-Chain을 소개합니다. 이 프레임워크는 다음과 같이 작동합니다:

탐지 계층(Detection Layer): 세 가지 트리 앙상블 분류기(히스토그램 기반 그래디언트 부스팅, 리프 단위 그래디언트 부스팅, 배깅 결정 트리) 세트를 활용합니다. 클래스 불균형은 분포 오류를 유발할 수 있는 합성 오버샘플링 대신 인스턴스 가중치 부여 방식을 통해 처리합니다.
설명 계층(Explanation Layer): 트리-정확(tree-exact) 알고리즘을 사용하여 사후 Shapley 가산 설명(SHAP)을 계산합니다. 본 연구는 충실도(삭제/삽입 곡선을 통해 측정)와 안정성(1% 입력 노이즈 하에서의 스피어먼 상관계수를 통해 측정)을 모두 평가합니다. 결정적으로, 관찰된 불안정성 때문에 신뢰 점수에는 속성 순위(attribution rankings)를 포함하지 않습니다.
교정 계층(Calibration Layer): 체계적인 과잉 확신을 교정하기 위해 사후 확률 교정(온도 스케일링 또는 등간 회귀)을 적용합니다. 방법론은 검증 세트에서 선택된 후 테스트 전에 동결됩니다.
신뢰 계층(Trust Layer): 다음 세 가지 신호를 기반으로 각 결정에 대한 스칼라 신뢰 점수 $T(x)$ $T (x)$ 를 생성합니다:
- 신뢰도 ( $c$ ): 가장 높은 교정된 확률.
- 마진 ( $m$ ): 상위 두 예측 클래스 간의 격차.
- 합의 ( $a$ ): 예측 클래스에 대해 일치하는 모델 세트의 비율.
  이들은 검증 데이터에서 최적화된 볼록 가중치( $w_1, w_2, w_3$ )를 통해 결합됩니다.
라우팅 메커니즘(Routing Mechanism): 검증 신뢰 분포에서 도출된 두 개의 임계값( $\tau_H, \tau_L$ $τ_{H}, τ_{L}$ )을 사용하여 결정을 다음과 같이 분류합니다:
- 실행(Act): 높은 신뢰도( $T \ge \tau_H$ ), 자율적으로 처리됨.
- 검토(Review): 중간 신뢰도( $\tau_L \le T < \tau_H$ ), 분석가에게 전달됨.
- 에스컬레이션(Escalate): 낮은 신뢰도( $T < \tau_L$ ), 우선 검토 대상으로 표시됨.
불변 로깅(Immutable Logging): 모든 결정 레코드는 정형적으로 직렬화되고, 해싱(SHA-256)되어, 32바이트 다이제스트로서 분산 원장에 기록됩니다. 전체 레코드는 오프체인(off-chain)에 저장됩니다. 이는 원장의 비대화를 방지하면서 결정 감사 추적의 무결성을 보장합니다.

실험 프로토콜
타당성을 확보하기 위해 저자는 다음을 수행했습니다:

수정된 버전의 세 가지 공개 벤치마크(CSE-CIC-IDS2018, ToN IoT(네트워크 서브셋), UNSW-NB15)를 사용했습니다.
식별자 필드(IP, 포트)를 제거하여 허위 상관관계(spurious correlations)를 방지하는 엄격한 훈련-테스트 격리를 포함한 균일한 전처리 파이프라인을 적용했습니다.
기존의 보고된 수치에 의존하는 대신, 동일한 동결 데이터 파티션 상에서 세 가지 기존 베이스라인 방법(HED-ID, HeXAI-AttentionCPS, 그리고 생체 모방 특징 선택 방식)을 재구현했습니다.

주요 결과

탐지 성능:
- CSE-CIC-IDS2018: 모든 모델에서 높은 성능(Macro-F1 $\approx$ 0.98).
- ToN IoT: 강력한 성능(Macro-F1 $\approx$ 0.96).
- UNSW-NB15: 고유한 데이터셋 분포 변화 및 클래스 중첩(예: Analysis, Backdoor, DoS가 Exploits와 중첩됨)으로 인해 현저히 낮은 성능(Macro-F1 $\approx$ 0.53).
- 베이스라인: 엄격한 전처리를 적용했을 때 재구현된 베이스라인들은 일반적으로 원래의 결과를 재현했습니다. 그러나 식별자 필드에 의존하는 방법(HeXAI-AttentionCPS)은 해당 필드를 제거했을 때 성능이 급락(보고된 정확도 99.8%에서 Macro-F1 47%로)하여, 허위 상관관계의 위험성을 드러냈습니다.
신뢰 및 라우팅 효능:
- 신뢰 메커니즘은 높은 커버리지( $\approx$ 69%)를 유지하면서 자동 결정 영역에서의 오류율을 성공적으로 감소시켰습니다.
- ToN IoT: 자동 결정 영역의 오류율이 1.84%에서 0.01%로 감소했습니다.
- UNSW-NB15: 오류율이 24.5%에서 9.7%로 감소했습니다.
- 시스템은 어려운 클래스(예: ToN IoT의 MITM, UNSW-NB15의 Analysis/Backdoor)를 효과적으로 식별하여 검토로 넘겼으며, 이는 신뢰 점수가 정답 레이블에 대한 접근 없이도 클래스별 정확도와 상관관계가 있음을 입증합니다.
설명 품질:
- 충실도: 높음; 상위 속성 특징을 제거했을 때 예측 신뢰도가 크게 감소했습니다.
- 안정성: 낮거나 보통. 1% 입력 노이즈 하에서 스피어먼 상관계수는 0.099에서 0.418 사이였습니다. 안정성은 모델 정확도가 낮아짐에 따라 감소했습니다. 이 결과는 단일 레코드의 속성 순위를 안정적인 산물로 신뢰하는 것에 반하는 근거가 됩니다.
로깅 오버헤드:
- 해시 계산은 결정당 약 16 마이크로초를 추가합니다.
- 온체인 저장소 증가량은 레코드 크기에 관계없이 결정당 32 바이트로 일정합니다.

의의 및 주장
본 논문은 XTrust-Chain이 탐지, 교정, 신뢰를 독립적으로 측정함으로써, 단일 점수로 통합하기보다 각 계층의 약점을 명확히 짚어낼 수 있게 함으로써 기존 IDS 연구의 다섯 가지 특정 공백(G1–G5)을 해결한다고 주장하며, 주로 운영 신뢰성으로 초점을 전환합니다.

구성 요소의 분리 가능성: 각 계층(탐지, 교정, 신뢰)을 독립적으로 측정함으로써, 시스템은 (예: 잘 교정되었으나 설명이 불안정한 모델과 같이) 단일 점수로 흡수되지 않고 약점을 정확히 파악할 수 있습니다.
신뢰 기반 자동화: 교정된 신뢰도, 마진, 모델 합의를 통해 도출된 신뢰 점수가 자율적 조치를 위한 결정을 효과적으로 필터링하여 감독 없는 오류의 위험을 크게 줄일 수 있음을 입증했습니다.
평가의 타당성: 동일하고 엄격하게 전처리된 데이터에 대한 베이스라인 재실행은, 보고된 성능이 알고리즘의 우월성보다는 데이터 준비 과정의 아티팩트(예: 식별자 필드)에 의존할 수 있음을 강조합니다.
무결성의 실현 가능성: 본 논문은 개별 결정 레코드를 암호학적으로 보호하는 것이 계산적으로 실현 가능하며(마이크로초 단위 지연 시간), 저장 효율적임을(일정한 원장 풋프린트) 입증하여, 탬퍼 증거(tamper-evident) 로깅이 자율 보안 파이프라인의 실행 가능한 구성 요소가 될 수 있음을 보여줍니다.

저자는 XTrust-Chain의 효능이 기초가 되는 탐지기의 능력에 의해 제한된다는 점(UNSW-NB15에서 확인됨)과, 속성 안정성이 침입 탐지를 위한 레코드별 해석 가능성에 있어 여전히 중요한 한계점으로 남아 있다는 점을 언급하며 결론을 맺습니다.

XTrust-Chain 기술 요약

유사한 논문