💻 computer science

An Explainable Agentic RAG Framework for Zero-Shot Phishing and Web Attack Detection

본 논문은 DeBERTa 인코더, 동적 위협 시그니처 검색, 자율적 추론을 활용하여 투명한 근거와 함께 피싱 및 웹 공격에 대한 고정밀 제로샷 탐지를 달성함으로써 재학습 없이 기존의 최첨단 방식들을 크게 능가하는 설명 가능한 에이전틱 RAG 프레임워크인 XAR-Detect를 소개한다.

원저자: Mohammad Zahangir Alam, Mahdi H Miraz, Elhan Ayath, Sharmin Sultana, Nowshad Amin

게시일 2026-09-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammad Zahangir Alam, Mahdi H Miraz, Elhan Ayath, Sharmin Sultana, Nowshad Amin

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 세계에서 가장 끈질긴 위협은 종종 평범한 메시지나 일상적인 웹 요청으로 위장하여 찾아옵니다. 비밀번호를 훔치기 위해 설계된 피싱 이메일과 서버 침입을 시도하는 웹 공격은 실제 정상적인 통신과 무서울 정도로 똑같이 흉내 낼 수 있을 만큼 정교해졌습니다. 수십 년 동안 보안 시스템은 인식 전략에 의존해 왔습니다. 즉, 과거 범죄의 특정 지문을 식출하도록 방대한 알려진 나쁜 사례의 라이브러리를 통해 학습하는 방식입니다. 그러나 이 접근 방식에는 근본적인 약점이 있습니다. 공격자가 이전에 본 적 없는 새로운 수법을 발명하면, 이러한 정적인 시스템은 참조할 지점이 없기 때문에 종종 실패하게 됩니다. 이를 해결하기 위해 연구자들은 이제 맥락으로부터 학습하는 능력과 실시간으로 새로운 정보를 찾아보는 능력을 결합하는, 마치 알려진 범죄자의 얼굴을 알 뿐만 아니라 군중 속의 낯선 사람을 식별하기 위해 최신 경보가 흐르는 라이브 피드를 소지한 보안 요원과 같은 경로를 탐구하고 있습니다.

한 연구팀은 정적인 학습과 동적인 현실 사이의 간극을 메우고자 하는 XAR-Detect라는 새로운 시스템을 개발했습니다. 학습을 마치는 순간 지식이 고정되는 사전 학습된 모델에만 의존하는 대신, 이 프레임워크는 지능적인 조사관처럼 작동합니다. 이 시스템은 의심스러운 이메일이나 웹 요청을 받으면 먼저 그 내용의 구조와 의미를 분석합니다. 그런 다음, 자신이 암기한 것에만 기반하여 추측하는 대신, 전 세계적인 위협 인텔리전스의 라이브 데이터베이스에 즉시 접속합니다. 이 데이터베이스는 알려진 피싱 링크, 악성 코드 및 최근의 취약점에 관한 수백만 개의 기록을 포함한 주요 보안 저장소의 정보로 끊임없이 업데이트됩니다. 시스템은 이 라이브 피드에서 가장 관련 있는 경고를 검색하고 이를 결정에 활용합니다. 만약 들어오는 메시지가 최근에 보고된 위협과 특성을 공유한다면, 시스템 자체는 해당 특정 유형의 공격에 대해 명시적으로 학습한 적이 없더라도 이를 위험한 것으로 분류할 수 있습니다.

핵심적인 혁신은 시스템이 이 정보를 처리하는 방식에 있습니다. 단순히 새로운 데이터를 기존 데이터에 더하는 것이 아니라, 비판적 사고를 수행하는 자율적 추론 에이전트를 채택합니다. 이 에이전트는 메시지 자체의 증거를 방금 검색한 신선한 인텔리전스와 대조하여 무게를 잽니다. 패턴이 일치하는지 스스로 묻고, 맥락을 고려하며, 메시지가 안전한지 아니면 악의적인지에 대한 가설을 세웁니다. 이러한 다단계 프로세스를 통해 시스템은 처음부터 다시 학습할 필요 없이 새로운 공격 전략에 적응할 수 있습니다. 연구진은 실험에서 수천 건의 피싱 이메일과 수백만 건의 웹 트래픽 기록을 포함한 다양한 실제 데이터셋을 통해 이 접근 방식을 테스트했습니다. 그 결과, 시스템이 알려진 공격을 거의 98%의 정확도로 올바르게 식별할 수 있음을 발견했으며, 이는 기존 방식들을 상당한 차이로 능가하는 성능 수준이었습니다. 더 중요한 것은, 훈련 데이터에서 숨겨진 완전히 새로운 유형의 공격에 대해서도 시스템이 88.3%의 정확도로 이를 탐지해냈다는 점입니다. 이는 실시간으로 현재의 위협을 찾아보는 능력이 미지의 위협에 대한 강력한 안전망을 제공한다는 것을 시사합니다.

연구진은 단순히 나쁜 행위자를 잡아내는 것을 넘어, 복잡한 컴퓨터 시스템이 인간이 이해할 수 없는 결정을 내리는 '블랙박스' 문제에 대해서도 우려했습니다. 이해관계가 큰 보안 분야에서는 시스템이 왜 메시지를 차단했는지 아는 것이 차단 자체만큼이나 중요합니다. XAR-Detect는 모든 결정에 대해 명확한 2단계 설명을 제공함으로써 이 문제를 해결합니다. 첫째, 어떤 특정 특징(예: 이상한 링크나 특이한 단어 선택)이 의심에 기여했는지 강조합니다. 둘째, 결론에 도달하기 위해 어떤 외부 위협 인텔리전스가 사용되었는지 보여줍니다. 이러한 투명성은 인간 보안 분석가가 시스템의 논리를 검증하여, 탐지가 무작위적인 추측이 아닌 탄탄한 증거에 기반했음을 보장할 수 있게 합니다. 연구진은 이러한 설명이 얼마나 신뢰할 수 있는지 측정하였으며, 입력값이 약간 재구성되더라도 시스템이 선택에 대해 안정적인 이유를 제공한다는 점에서 매우 일관적임을 발견했습니다.

이 연구는 또한 이 접근 방식의 한계도 밝혔습니다. 새로운 위협을 포착하는 시스템의 능력은 전적으로 시스템이 참조하는 라이브 데이터베이스의 품질과 범위에 달려 있습니다. 만약 전 세계적인 위협 저장소에 아직 기록되지 않은 완전히 새로운 공격이 나타난다면, 시스템은 이를 찾아볼 수 없으며 성능이 떨어질 수 있습니다. 연구진은 이 시스템이 진전된 단계이기는 하지만, 가능한 모든 미래의 위협에 대한 완벽한 방패는 아니라는 점을 인정합니다. 또한, 시스템의 추론 부분이 강력한 외부 컴퓨计算 서비스를 활용하기 때문에, 실제 배포 시에는 속도와 비용에 관한 실질적인 고려 사항이 관리되어야 합니다. 그럼에도 불구하고, 이러한 제약에도 불구하고 이 결과는 사이버 방어의 실행 가능한 경로를 보여줍니다. 언어에 대한 깊은 이해과 실시간 인텔리전스에 접근하는 능력을 결합함으로써, XAR-Detect는 이전에 본 적 없는 위협을 탐지할 수 있는 방법을 제시하며, 디지털 세계를 위한 더욱 유연하고 투명한 방어를 제공합니다.

기술 요약: 제로샷 피싱 및 웹 공격 탐지를 위한 설명 가능한 에이전트 기반 RAG 프레임워크

1. 문제 정의

피싱 및 웹 기반 공격(예: SQL 인젝션, XSS)은 산업 및 기업 시스템에 지속적인 위협이 되고 있으며, 공격 규모가 급격히 증가하고 빠르게 진화하고 있습니다. 기존의 탐지 프레임워크는 세 가지 주요 한계점에 직면해 있습니다:

정적 일반화(Static Generalization): 대부분의 지도 학습 및 자기 지도 학습 모델은 고정된 훈련 분포에 의존합니다. 일단 훈련되면, 재학습이나 미세 조정 없이 미지의 공격 패턴으로 일반화할 수 없습니다.
데이터 집약성(Data Intensity): 고성능 모델은 종종 대량의 수동 레이블링 데이터를 필요로 하지만, 새롭게 등장하는 위협에 대한 데이터는 매우 희소합니다.
투명성 부족(Lack of Transparency): 강화 학습(RL)이나 단독 LLM 분류기와 같은 많은 적응형 방법들은 "블랙박스"로 작동하며, 규제 준수(예: GDPR, NIS2) 및 분석가의 신뢰에 필요한 설명 가능성이 부족합니다.

현재의 접근 방식들은 이러한 과제 중 한 가지 측면만을 해결하는 경우가 일반적입니다(예: 설명 가능성 없는 적응성, 또는 제로샷 능력 없는 설명 가능성). 따라서 제로샷 일반화, 에이전트 기반 적응형 추론, 실시간 위협 지식 그라운딩, 그리고 투명한 설명 가능성을 결합한 통합 프레임워크에 대한 요구가 존재합니다.

2. 방법론: XAR-Detect

저자들은 훈련 데이터에 존재하지 않는 공격 클래스를 탐지해야 하는 "오픈 월드(open-world)" 환경에서 작동하도록 설계된 XAR-Detect(eXplainable Agentic Retrieval-Augmented Detection) 프레임워크를 제안합니다. 이 시스템은 네 가지 핵심 구성 요소로 통합됩니다:

A. 문맥 인코딩 (Contextual Encoding)

원시 이메일 및 HTTP 요청 데이터는 분리된 어텐션(disentangled attention) 메커니즘과 상대적 위치 인코딩을 위해 선택된 DeBERTa-v3를 사용하여 처리됩니다. 이 인코더는 입력 텍스트로부터 풍부한 문맥적 표현( $e_i$ )을 생성하여, 의미론적 내용과 구조적 속성을 모두 포착합니다.

B. 검색 증강 생성 (Retrieval-Augmented Generation, RAG)

정적 훈련 분포의 한계를 극복하기 위해, XAR-Detect는 RAG 모듈을 채택합니다. 추론 시, 문맥적 표현은 라이브 지식 베이스( $\mathcal{E}$ )에서 상위 $K$ 개의 의미론적으로 매칭되는 위협 시그니처를 검색하기 위한 쿼리 역할을 합니다. 이 지식 베이스는 다음 데이터를 집계합니다:

PhishTank (피싱 URL)
VirusTotal (멀웨어 시그니처)
CVE (Common Vulnerabilities and Exposures)

검색된 시그니처( $\mathcal{R}_i$ )는 어텐션 가중치 메커니즘을 통해 집계되며, 로컬 인코더 표현과 융합되어 증강된 입력( $\tilde{x}_i$ )을 생성합니다. 이를 통해 시스템은 훈련 세트에 포함되지 않은 공격에 대해서도 외부 위협 인텔리전스를 활용할 수 있습니다.

C. 에이전트 기반 추론 (Agentic Reasoning)

단순히 컨텍스트를 수동적으로 결합하는 표준 RAG 파이프라인과 달리, XAR-Detect는 증강된 증거를 처리하기 위해 자율적인 LLM 기반 추론 에이전트(구체적으로 GPT-4o)를 활용합니다. 이 에이전트는 구조화된 다단계 추론 프로세스를 수행합니다:

증거 평가 (Evidence Assessment): 로컬 특징과 검색된 위협 시그니처 간의 일관성을 평가합니다.
가설 형성 (Hypothesis Formation): 신뢰도 추정치를 포함한 후보 레이블(정상, 피싱, 웹 공격)을 생성합니다.
결정 통합 (Decision Consolidation): 경쟁하는 가설들을 해결하여 최종 예측을 도출합니다.

이 반복적인 프로세스는 강화 학습과 관련된 정책 훈련 사이클 없이도 검색된 증거를 바탕으로 결정을 정교화할 수 있게 합니다.

D. 이중 계층 설명 가능성 (Dual-Layer Explainability)

투명성을 보장하기 위해, 프레임워크는 두 가지 계층의 설명을 제공합니다:

글로벌 속성 (Global Attribution): SHAP(SHapley Additive exPlanations)을 사용하여 전체 모집단에 걸쳐 특정 특징과 검색된 위협 차원이 예측에 기여하는 한계 기여도를 결정합니다.
인스턴스 수준 속성 (Instance-Level Attribution): 인코더 레이어와 헤드 전반의 토큰 수준 어텐션 맵을 집계하여, 결정에 영향을 미친 입력의 정확한 부분과 검색된 증거를 강조함으로써 사례별 근거를 제공합니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 명시합니다:

통합 프레임워크: LLM 기반 추론, 동적 위협 인텔리전스 검색, 피싱 및 웹 공격 탐지를 위한 이중 계층 설명 가능성을 통합한 XAR-Detect를 제안합니다.
제로샷 메커니즘: 재학습이나 미세 조정 없이도 이전에 보지 못한 공격 변종을 탐지할 수 있는 RAG 강화 아키텍처를 제공합니다.
자율 추론 에이전트: 로컬 특징 표현을 검색된 증거와 결고하여 다단계 추론을 수행함으로써, 통합 위협 탐지로 에이전트 기반 RAG 패러다임을 확장합니다.
이중 계층 투명성: 모델 전반의 해석 가능성과 사례별 해석 가능성을 모두 제공하기 위해 글로벌 SHAP 분석과 인스턴스 수준 어텐션 속성을 결합하여 구현했습니다.
실증적 검증: 균형 잡힌, 불균형한, 그리고 제로샷 시나리오에서 최첨단 베이스라인보다 우수한 성능을 입증하는 종합적인 평가를 수행했습니다.

4. 실험 결과

프레임워크는 세 가지 피싱 코퍼스(Nazario, Enron, Subhadeep)와 SR-BH 웹 공격 벤치마크에서 평가되었습니다.

전반적인 성능 (균형 잡힌 데이터): XAR-Detect는 **F1-score 97.8%**와 **오탐률(FPR) 2.1%**를 달성했습니다. 이는 최상의 자기 지도 학습 앙상블(SSL Ensemble)보다 F1 점수에서 2.4%p 높았으며, FPR은 2.7%p 낮았습니다.
강건성 (불균형 데이터): 공격이 데이터의 약 15%를 차지하는 현실적인 분포 하에서도, XAR-Detect는 **F1 96.2%**와 **FPR 3.8%**를 유지하며 베이스라인들에 비해 현저히 적은 성능 저하를 보였습니다.
제로샷 일반화: 훈련에서 완전히 제외된 공격 클래스에 대해 테스트했을 때, XAR-Detect는 **F1 88.3%**를 달성했습니다. 이는 SSL Ensemble보다 34.2%p, CyberRAG보다 14.1%p 높은 수치로, 미지의 위협에 대한 검색 증강 추론의 효용성을 입증했습니다.
절제 연구 (Ablation Studies): RAG 모듈을 제거하면 F1이 1.7포인트 하락했고, 에이전트를 제거하면 2.1포인트 하락했습니다. 두 가지를 모두 결합했을 때는 인코더 전용 베이스라인보다 3.0포인트의 이득을 얻어, 이들의 상호 보완적인 성격을 확인했습니다.
설명 가능성 지표: 프레임워크는 사후(post-hoc) 베이스라인들과 비교하여 높은 설명 충실도(0.847)와 안정성(0.913)을 보여주었습니다.

5. 의의 및 주장

본 논문은 XAR-Detect가 지능형 사이버 위협 탐지를 향한 실용적이고, 해석 가능하며, 레이블 효율적인 경로를 제공한다고 주장합니다. 그 의의는 고정된 훈련 분포가 아닌 라이브 외부 위협 인텔리전스에 결정을 근거하게 함으로써 전통적인 모델의 "폐쇄형 세계(closed-world)" 한계를 해결한다는 데 있습니다.

저자들은 이 프레임워크가 인코딩된 표현과 공개된 인텔리전스 상에서 추론 모듈이 작동하므로, 프라이버시에 민감한 조직 간의 분산 배포를 지원하는 **연합 학습 준비(federated-ready)**가 되어 있음을 강조합니다. 그러나 논문은 다음과 같은 한계점에 대해서도 신중한 입장을 유지합니다:

커버리지 의존성: 제로샷 성능은 외부 지식 베이스의 커버리지 밀도( $\rho$ )에 의해 제한됩니다. 유사한 시그니처가 저장소에 없는 완전히 새로운 공격 군은 여로 높은 오류율을 보일 수 있습니다.
운영 제약: GPT-4o에 대한 의존은 API 의존성, 추론 지연 시간, 그리고 비용 문제를 야기하며, 이는 고처리량 실시간 배포를 제한할 수 있습니다.
분석가 검증: 설명의 충실도에 대한 기술적 지표는 강력하지만, 이러한 설명이 보안 분석가의 업무(예: 분류 시간 단축)에 미치는 실제 유용성은 아직 인간 대상 연구를 통해 검증되지 않았습니다.

결론적으로, XAR-Detect는 정적이고 데이터 집약적인 탐지에서 벗어나, 진화하는 사이버 위협 환경을 다룰 수 있는 적응형이고 지식 기반이며 투명한 시스템으로의 전환을 나타냅니다.