기술 요약: Facade – 고정밀 내부자 위협 탐지

1. 문제 정의

내부자 위협은 조직에 막대한 재정적, 평판적 손실을 초래할 수 있는 치명적인 위험 요소입니다. 이러한 위협을 탐지하는 것은 매우 어렵습니다. 왜냐로 인해 악의적인 활동은 대규모의 정상적인 사용자 행동 속에 매우 드물게 산재되어 있기 때문입니다.

기존 문헌과 탐지 시스템들은 세 가지 주요 한계점으로 인해 대규모 기업 환경에 배포하기가 어렵습니다:

1. 비현실적인 데이터셋: 많은 연구가 (CERT와 같은) 합성된 정상 활동에 의존하고 있습니다. 이러한 데이터는 실제 기업 로그의 다양성과 예측 불가능성을 결os하지 못하여, 오탐률(FPR)을 과소평가하게 만듭니다.
2. 운영상의 FPR: 전통적인 이상 탐지 시스템은 종종 1% 이상의 FPR을 보고합니다. 하루 수십억 건의 이벤트가 발생하는 환경에서, 0.1%의 FPR조차도 수백만 건의 경고를 생성하여 분석가를 피로하게 만들고 시스템을 사용 불가능하게 만듭니다.
3. 세밀도(Granularity): 대부분의 시스템은 체적 수준(예: 대량의 데이터 유출 탐지)에서 작동하며, 단 하나의 민감한 문서에 접근하는 것과 같은 저용량의 표적 공격을 식별하는 데 실패합니다.

핵심 과제는 레이블이 지정된 공격 데이터에 의존하지 않고도, 대규모 환경에서 운영 가능한 수준(<0.01% 목표)의 낮은 FPR을 유지하면서 새롭고 저용량인 내부자 위협을 탐지하는 시스템을 개발하는 것입니다.

2. 방법론: Facade

Facade는 최후의 방어선으로 작동하도록 설계된 딥러닝 기반의 자기지도 학습형 맥락적 이상 탐지(self-supervised contextual anomaly detection) 시스템입니다. 이 시스템은 레이블이 없는 정상 데이터를 사용하여 지도 학습 과제를 수행하는 새로운 대조 학습(contrastive learning) 전략을 활용합니다.

2.1 핵심 아키텍처

Facade는 추천 시스템에서 영감을 받은 투 타워(two-tower) 모델 아키텍처를 사용하여 **주체(Principals)**와 리소스(Resources)(문서, SQL 테이블, HTTP/RPC 엔드포인트) 간의 관계를 학습합니다.

• 컨텍스트 타워 ($E_C$): 이벤트 발생 시점의 주체의 상태를 인코딩합니다. 특징으로는 직군(job family), 근속 기간, 그리고 회의, 코드 리뷰, 관리 체계, 비용 센터로부터 파생된 가중치가 부여된 동료 집합 등이 포함됩니다.
• 액션 타워 ($E_A$): 각 액션 유형(예: 문서 접근, SQL 접근)당 하나의 타워가 존재합니다. 이들은 접근 이력을 기반으로 리소스의 상태를 인코딩합니다. 정적인 리소스 ID를 임베딩하는 대신, 시스템은 리소스를 이전에 해당 리소스에 접근했던 사용자들의 가중치 집합으로 표현합니다. 이를 통해 모델은 새로운 리소스와 진화하는 접근 패턴에 일반화될 수 있습니다.
• 스코어링: 모델은 컨텍스트 임베딩과 액션 임베딩 사이의 코사인 거리를 계산합니다. 거리가 가까우면 정상적인 이벤트(높은 친화도)를 나타내며, 거리가 멀면 이상 징후를 나타냅니다.

2.2 학습: 포지티브 샘플링(Positive Sampling)

레이블이 지정된 공격 데이터는 희소하며 종종 필터링되므로, Facade는 문제를 단순화하기 위해 포지티브 샘플링이라는 자기지도 학습 기법을 채택하여 비지도 문제를 지도 학습 문제로 전환합니다.

• 자연스러운 쌍 (Negative Class): 실제로 관찰된 이벤트 $(a_i, c_i)$는 부정적 예시(정상)로 취급됩니다.
• 합성 쌍 (Positive Class): 시스템은 서로 다른 주체의 액션과 컨텍스트를 무작위로 섞음으로써 합성된 "이상치"를 생성합니다(즉, $p_i \neq p_j$인 경우의 액션 $a_i$와 컨텍스트 $c_j$를 쌍으로 묶음).
• 목표: 모델은 자연스러운 쌍과 이러한 합성된 포지티브 쌍을 구별하도록 학습됩니다. 이론적으로, 이 과제에 대한 손실(loss)을 최소화하는 것은 모델이 특정 컨텍스에 대해 드문 액션을 식별하는 데 효과적인 리프트(Lift)(결합 확률과 주변 확률의 비율)를 학습하도록 강제합니다.

2.3 추론 및 집계

필요한 낮은 FPR을 달urs하기 위해, Facade는 두 가지 사후 처리 기법을 사용합니다.

1. 공통 이벤트 필터링: 유사한 컨텍스트를 가진 서로 다른 주체들이 유사한 리소스에 접근하는 이벤트는 필터링됩니다. 이는 유사한 사용자들이 동일한 작업을 수행한다면 그것이 정당한 비즈니스 활동일 가능성이 높다는 가정에 기초합니다.
2. 주체별 집계 (Per-Principal Aggregation): 단일 이벤트를 감사하는 대신, 시스템은 특정 시간 창(예: 일주일) 동안 주체가 수행한 액션들의 점수를 집계합니다. 클러스터링 기반 집계기는 행동적으로 유사한 액션들을 그룹화하고 각 클러스터의 최대 점수를 합산합니다. 이는 단조성(monotonicity)을 보장하여(정상적인 액션을 추가한다고 해서 악의적인 액션이 숨겨질 수 없음) 행동적 중복성을 배제합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 제시합니다:

• Facade 시스템: 단일 접근 이벤트에 대해 **0.0003%**만큼 낮은 FPR을 달성하여 현실적인 레드팀 공격을 식별할 수 있는 최초의 고정밀 맥락적 이상 탐지 시스템입니다.
• 포지티브 샘플링 전략: 레이블이 지정된 사고 데이터 없이 오직 정상 데이터만을 사용하여 비지도 이상 탐지를 지도 학습 문제로 환원하는 새로운 학습 방법입니다.
• 멀티 모달 능력: 역사 기반 및 피어(peer) 기반 특징화를 통해 다양한 리소스 유형(클라우드 문서, SQL 데이터 스토어, 내부 HTTP/RPC) 전반에서 이상 징념을 탐지합니다.
• 강건성 및 일반화: 모델을 자주 재학습시키지 않고도 새로운 사용자 및 리소스에 일반화되며, 조직 개편(distribution shifts)이나 미세한 레이블 노이즈에 대해 견고함을 유지합니다.
• 다중 스케일 탐지: 단일의 중대한 이벤트와 다일(multi-day) 공격 캠페인을 모두 탐지할 수 있으며, 사용자당 일일 오탐 예산을 0.01% 미만으로 유지합니다.

4. 평가 및 결과

Facade는 10만 명 이상의 직원과 연간 100억 건의 이벤트를 처리하는 Google의 프로덕션 환경 내에서 평가되었습니다. 평가는 15명의 자원봉사자(소프트웨어 엔지니어)가 네 가지 도메인(미디어 공유, 하드웨어 제품, AI 연구, 보안 연구)에 걸쳐 민감한 정보에 접근하려고 시도하는 시뮬레이션된 내부자 위협 시나리오를 사용했습니다.

주요 결과:

• 오탐률 (False Positive Rate): 시스템은 전체적으로 0.01% 미만의 FPR을 달성했습니다. 단일 로그 이벤트(예: 민감한 문서에 대한 부당한 접근)의 경우, FPR은 0.0003%(100만 건 중 3건)까지 낮아졌습니다.
• 탐지 능력: 단 10명의 주체(10만 명 이상 중)만을 감사하는 일일 감사 예산 내에서, 시스템은 15명의 시뮬레이션된 공격자 중 3~4명을 성공적으로 탐지했습니다.
• 단일 이벤트 탐지: 가장 높은 순위의 공격 액션은 0.0003% 미만의 FPR을 기록했으며, 이는 100만 건의 이벤트 중 3건의 감사 비율로 탐지될 수 있음을 의미합니다.
• 강건성:
  • 모델 연령: 공격 시뮬레이션 1년 전에 학습된 모델이 신선한 모델과 비교했을 때 저(low)-FPR 영역에서 대등한 성능을 보였으며, 이는 조직 변화에 대한 탄력성을 입증합니다.
  • 레이블 노이즈: 시스템은 훈련 데이터 내의 최대 5% "오탐 노이즈"(실제로는 정상인 합성 쌍)를 허용했으며, 성능이 오히려 약간 향상되었습니다. 이는 규제화(regularization) 효과를 시사합니다.
  • 적대적 오염 (Adversarial Poisoning): 공격 이벤트가 훈련 데이터에 최대 4회(또는 더 높은 감사 예산에서 16회) 복제되더라도 시스템은 여전히 공격을 탐지할 수 있었습니다.

5. 의의 및 주장

본 논문은 Facade가 학술적 연구와 운영상의 현실 사이의 간극을 메움으로써 기업 내부자 위협 탐지의 중요한 진전을 이루었다고 주장합니다.

• 운영 가능성: FPR이 1%를 초과하는 기존 시스템들과 달리, Facade는 보안 팀을 압도하지 않고 대규모 기업 환경에서 사용 가능한 수준의 낮은 FPR을 제공하는 유일한 제안 시스템입니다.
• 데이터 효율성: 포지티브 샘플링을 활용함으로써, 분야의 주요 병목 현상인 레이블이 지정된 공격 데이터의 부족 문제를 극복합니다.
• 세밀도: 체적 분석(대량 데이터 덤프 포착)에서 단일 이벤트 맥락 분석(미묘한 정찰 및 데이터 탈취 포착)으로 탐지 패러다임을 전환합니다.
• 실제 환경 검증: 시뮬레이션된 데이터셋이 아닌, 수십억 건의 이벤트가 발생하는 실제 환경과 감독된 레드팀 훈련을 활용하여 전례 없는 규모와 현실성을 갖춘 평가를 수행했습니다.

저자들은 트레이드오프(recall과 FPR 사이의 관계)가 존재하지만, 극도로 낮은 오탐률을 달urs하는 Facade의 능력은 조직의 데이터를 악의적이거나 의도치 않은 내부자 위협으로부터 보호하기 위한 실질적인 "최후의 방어선"으로서 기능할 수 있다고 결론짓습니다.