ProvAgent: Threat Detection Based on Identity-Behavior Binding and Multi-Agent Collaborative Attack Investigation

이 논문은 기존 인간과 모델의 협력 방식을 넘어 다중 에이전트 시스템과 전통적 모델이 협력하는 'ProvAgent' 프레임워크를 제안하여, 정교한 신원 - 행동 바인딩과 가설 검증 기반의 자율 조사를 통해 고급 지속 위협 (APT) 의 탐지 및 재구성을 효율적으로 수행함을 보여줍니다.

핵심

이 논문은 **'ProvAgent(프로브 에이전트)'**이라는 새로운 사이버 보안 시스템을 소개합니다. 이 시스템을 이해하기 위해 일상적인 비유를 들어 설명해 드리겠습니다.

🕵️‍♂️ 문제: "너무 많은 거짓 경보와 지친 경비원"

기존의 사이버 보안 시스템은 마치 거대한 쇼핑몰의 CCTV를 상상해 보세요.

• 과거의 방식: 쇼핑몰에 들어오는 모든 사람 (데이터) 을 CCTV 가 쫓아다닙니다. 하지만 "손을 흔들면 도둑이다", "가방을 들고 있으면 도둑이다" 같은 단순한 규칙만 적용하다 보니, 정직한 쇼핑객 (정상적인 업무) 도 도둑으로 오인해 경보를 울립니다.
• 결과: 보안 요원 (전문가) 은 하루 종일 "도둑이다!"라고 외치는 경보에 시달려 지쳐버립니다 (Alert Fatigue). 정작 진짜 도둑 (APT 공격) 은 그 소음 속에 숨어버려 놓치게 됩니다.

🚀 해결책: "ProvAgent"의 두 가지 핵심 전략

ProvAgent 는 이 문제를 해결하기 위해 두 명의 특수 요원이 팀을 이뤄 작동합니다.

1. 첫 번째 요원: "정체성 감별기" (EPD 모듈)

이 요원은 대규모 데이터를 빠르게 스크리닝하는 역할입니다.

• 비유: 쇼핑몰 입구에 서 있는 정교한 '신분증 + 행동' 감별기입니다.
• 기존 방식: "가방을 든 사람은 다 도둑이다"라고만 봤다면, 쇼핑객도 다 잡힙니다.
• ProvAgent 의 방식: "이 사람은 **'의사'**라는 신분증 (Identity) 을 뗐는데, **'목수'**처럼 망치를 들고 벽을 두드리는 행동 (Behavior) 을 하고 있네? 이상하다!"라고 판단합니다.
• 핵심: 시스템이 "나는 웹 서버야 (nginx)"라고 말하는데, 실제로는 "파일 검색기 (find)"처럼 움직인다면, 그 사람은 가짜 신분증을 쓴 도둑이라고 간파합니다.
• 효과: 이 감별기는 거짓 경보를 크게 줄여주어, 진짜 의심스러운 사건만 다음 단계로 넘겨줍니다.

2. 두 번째 요원: "수사 팀" (MAI 모듈)

이 요원은 인공지능 (LLM) 으로 구성된 다중 에이전트 팀입니다.

• 비유: 단순히 "도둑이다"라고만 알려주는 것이 아니라, 수사관, 전략가, 보고서 작성자로 구성된 수사 팀이 사건을 직접 파헤칩니다.
• 작동 방식 (가설 - 검증 루프):
  1. 수사관 (Investigator): "이 도둑이 어디로 갔을까?"라고 주변을 샅샅이 뒤져 새로운 단서를 찾습니다.
  2. 전략가 (Leader): "이 도둑이 저기서 저기로 이동했다면, 중간에 '비밀번호를 훔치는' 단계가 있었을 거야. 그걸 찾아봐!"라고 가설을 세우고 팀을 지시합니다.
  3. 검증관 (Analyst): "잠깐, 이 행동은 진짜 도둑질일까, 아니면 그냥 실수일까?"라고 다시 한번 확인합니다.
  4. 보고자 (Reporter): 모든 수사를 정리해서 "도둑이 어떻게 들어와서 무엇을 훔쳤는지"에 대한 완벽한 수사 보고서를 작성합니다.

이 팀은 혼자서 판단하지 않고 서로 대화하며 거짓말 (허위 경보) 을 걸러내고, 처음엔 놓쳤던 **진짜 공격의 전체 그림 (Kill Chain)**을 재구성합니다.

🌟 ProvAgent 의 놀라운 성과

이 시스템은 실제 데이터로 테스트했을 때 다음과 같은 결과를 보였습니다:

1. 정확도 향상: 기존 최고의 시스템들보다 훨씬 적은 거짓 경보로 진짜 공격을 찾아냈습니다.
2. 스스로 수사: 사람이 개입하지 않아도 공격의 전체 경로를 자동으로 재구성했습니다.
3. 저렴한 비용: 하루에 6 센트 (약 80 원) 정도의 비용으로 이 모든 수사를 완료했습니다. (기존 방식은 훨씬 비쌉니다.)
4. 미끼 공격 방어: 도둑이 위장술 (가장 공격) 을 써도, "신분과 행동이 안 맞는다"는 점을 간파해 잡아냈습니다.

💡 요약

ProvAgent는 "모든 사람을 도둑으로 의심하며 지친 경비원" 대신, **"신분과 행동을 꼼꼼히 비교하는 감별기"**와 **"서로 협력하며 사건을 파헤치는 AI 수사 팀"**을 도입했습니다.

이 덕분에 보안팀은 더 이상 소음에 시달리지 않고, 진짜 위험한 사건만 정확하게 찾아내고 그 전체 이야기를 매우 저렴하게 해결할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

현대 사이버 보안에서 지속적 위협 (APT, Advanced Persistent Threat) 은 다단계적이고 은밀한 특성으로 인해 기존 탐지 기법으로 대응하기 어렵습니다. 기존 연구와 현실적인 운영 환경 (SOC) 은 다음과 같은 두 가지 역설적인 문제에 직면해 있습니다.

• 전문가 회의론 (Expert Skepticism): 전통적인 탐지 모델은 복잡한 APT 공격을 식별하는 능력에 대해 인간 분석가들의 불신을 사고 있습니다.
• 전문가 의존성 (Expert Dependence): 대규모 로그를 수동으로 처리하여 위협을 탐지하는 것은 불가능하므로, 분석가들은 여전히 모델의 경보에 의존해야 합니다.
• 현황의 한계:
  • 과도한 경보 노이즈: 기존 탐지 시스템은 재현율 (Recall) 을 높이기 위해 많은 위양성 (False Positives) 을 발생시켜 분석가를 피로하게 만듭니다.
  • 신원 - 행동 불일치: 많은 기존 방법론이 엔티티의 '신원 (Identity)'과 '행동 (Behavior)' 간의 일관성을 고려하지 않아, 정상적인 관리 작업과 악성 행위를 구별하지 못합니다.
  • 피상적인 조사: LLM 기반 접근법은 주로 수동 워크플로우의 조언자 역할만 수행하거나, 국소적인 하위 그래프만 분석하여 전체 공격 서사를 재구성하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 ProvAgent라는 새로운 프레임워크를 제안하며, 이는 '인간 - 모델 협업'에서 '다중 에이전트 시스템 - 전통적 모델 협업' 으로 패러다임을 전환합니다. ProvAgent 는 두 가지 핵심 모듈로 구성됩니다.

A. 엔티티 프로필 기반 탐지 (EPD, Entity-Profile-based Detection)

대규모 감사 로그에서 고품질 경보를 생성하는 초기 탐지 단계입니다.

• 신원 - 행동 바인딩 (Identity-Behavior Binding): 그래프 대비 학습 (Graph Contrastive Learning) 을 통해 시스템 엔티티의 '신원' (예: 프로세스명, 파일 경로, 포트) 과 '행동' 간의 미세한 일관성을 강제합니다.
• 작동 원리:
  1. 그래프 구성: 감사 로그를 프로베넌스 (Provenance) 그래프로 변환하고 GNN 을 사용하여 노드 임베딩을 생성합니다.
  2. 프로필 학습: 정상 (Benign) 데이터로 학습하여 각 신원 (예: nginx 프로세스) 에 해당하는 행동 패턴의 기준선 (Baseline) 을 만듭니다.
  3. 이상 탐지: 관찰된 행동이 해당 엔티티의 선언된 신원에 부합하지 않을 때 (예: nginx 가 파일 검색 행동을 보임) 이상으로 간주합니다.
• 효과: 위양성을 크게 줄이고, 분석 가능한 설명 (Explainability) 을 제공하는 고품질 경보를 생성합니다.

B. 다중 에이전트 조사 (MAI, Multi-Agent Investigation)

EPD 가 생성한 경보를 기반으로 심층적인 공격 재구성을 수행하는 자율 조사 단계입니다.

• 가설 - 검증 (Hypothesis-Verification) 폐쇄 루프: LLM 기반의 다중 에이전트 시스템이 협력하여 공격 서사를 재구성합니다.
• 에이전트 역할:
  1. Analyst (분석가): 경보와 유사한 정상 행동을 비교하여 위양성을 필터링하고, 검증된 IOC(침해 지표) 를 선정합니다.
  2. Investigator (조사관): 검증된 IOC 를 기반으로 인접한 이벤트와 엔티티를 탐색하여 공격 단계 (Kill Chain) 를 확장하고 새로운 단서를 찾습니다.
  3. Leader (리더): 전체 공격 서사를 전략적으로 조율하며, 공격 단계 간의 공백을 가설로 설정하거나 위양성을 식별하여 조사관과 분석가에게 검증 작업을 지시합니다.
  4. Reporter (보고자): 검증된 정보를 바탕으로 분석가에게 이해하기 쉬운 공격 보고서와 재구성된 그래프를 생성합니다.
• 특징: 단일 에이전트의 환각 (Hallucination) 을 방지하기 위해 교차 검증 (Cross-validation) 을 수행하며, 증거 기반의 종료 조건을 갖습니다.

3. 주요 기여 (Key Contributions)

1. 시너지 프레임워크: 전통적 모델의 효율성과 다중 에이전트 아키텍처의 강력한 추론 능력을 결합한 새로운 위협 탐지 패러다임 제시.
2. EPD 모듈: 그래프 대비 학습을 활용한 정밀한 '신원 - 행동 바인딩'을 통해 위양성이 적은 고품질 경보 생성.
3. MAI 모듈: LLM 의 추론 능력을 활용하여 위양성을 제거하고 놓친 공격을 발견하며, 자율적인 '가설 - 검증' 사이클을 통한 심층 APT 분석.
4. 종합 평가: 실제 데이터셋 (DARPA E3, E5, OpTC) 을 통한 광범위한 실험으로 탐지 성능과 비용 효율성 입증.

4. 실험 결과 (Results)

• 이상 탐지 성능: DARPA E3, E5 및 OpTC 데이터셋에서 기존 6 가지 SOTA(최첨단) 방법론 (Threatrace, Kairos, Flash, Orthrus 등) 보다 뛰어난 성능을 보였습니다.
  • 특히 Orthrus는 위양성을 줄이기 위해 탐지율이 극도로 낮았으나, ProvAgent는 높은 탐지율 (TP) 을 유지하면서 위양성 (FP) 을 현저히 낮췄습니다.
• 공격 조사 및 재구성:
  • 초기 경보만으로는 놓쳤던 공격 단계를 발견하여 IOC(침해 지표) 수를 160.7% 증가시켰습니다 (OCR-APT 는 -61.5% 감소).
  • 거의 완전한 공격 서사 (Kill Chain) 를 재구성하여 초기 접근, 권한 상승, 이동, 데이터 유출 등 주요 단계를 성공적으로 식별했습니다.
• 비용 효율성:
  • 하루 최소 $0.06의 비용으로 심층 조사를 자동화할 수 있음을 입증했습니다.
  • 하루 평균 0.252 시간 내에 일일 작업량을 처리했습니다.
• 강건성 (Robustness): 모방 공격 (Mimicry Attacks, 정상 행동을 가장한 공격) 에 대해 기존 시스템보다 높은 강건성을 보였습니다. 이는 단순한 구조적 유사성이 아닌 '신원 - 행동'의 불일치를 탐지하기 때문입니다.

5. 의의 및 결론 (Significance & Conclusion)

ProvAgent 는 APT 탐지 및 대응 분야에서 다음과 같은 중요한 의의를 가집니다:

• 운영 효율성 혁신: 분석가의 피로 (Alert Fatigue) 를 유발하는 위양성을 줄이고, LLM 을 단순 조언자가 아닌 능동적인 조사관으로 활용하여 인적 자원의 부담을 획기적으로 경감합니다.
• 해석 가능성 강화: '신원 - 행동' 불일치 기반 탐지는 왜 해당 행위가 악성인지에 대한 명확한 논리적 근거를 제공하여 분석가의 신뢰를 높입니다.
• 자율적 대응: 다중 에이전트 시스템을 통해 수동 개입 없이도 복잡한 공격 서사를 재구성하고, 놓친 공격을 발견하는 완전한 자동화 파이프라인을 실현했습니다.

결론적으로, ProvAgent 는 대규모 로그 환경에서 정확성, 비용 효율성, 그리고 심층적인 조사 능력을 모두 충족시키는 차세대 위협 탐지 솔루션으로 평가됩니다.