📊 statistics

Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions

이 논문은 다변량 호크스 점프-확산(multivariate Hawkes jump-diffusions)에 의해 구동되는 비마르코프적 확률 제어 문제를 해결하기 위해, 먼저 시스템을 유한 차원의 마르코프화된 표현으로 근사화한 다음 결정론적 정책 경사 학습을 적용하는 모델 프리 연속 시간 강화 학습 알고리즘인 Hawkes-CT DDPG를 제안한다.

원저자: Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 세계에서 위협은 드물게 고립되거나 독립적인 사건으로 발생합니다. 대신, 하나의 침해나 공격이 두 번째 공격을 더 발생하기 쉽게 만드는 방식으로 군집을 이루며, 이는 연쇄적인 피해의 사슬을 형성하는 경향이 있습니다. 자기 흥분(self-excitation)이라고 알려진 이 행동 양식은 지진부터 금융 시장의 폭락에 이르기까지 모든 분야에서 나타나는 근본적인 패턴이며, 사이버 리스크를 이해하는 데 있어 점점 더 핵심적인 요소가 되고 있습니다. 이러한 리스크를 관리하기 위해 방어자들은 변화하는 위협 환경에 맞춰 한정된 보안 자원을 어떻게 할당할지에 대한 동적인 결정을 내려야 합니다. 그러나 이러한 결정을 최적화하기 위해 전통적으로 사용되는 수학적 도구들은 시스템의 기억이 복잡할 때 어려움을 겪습니다. 만약 공격의 가능성이 단순히 현재의 순간이 아니라 과거 사건들의 전체 이력에 의존한다면, 문제는 표준적인 방법들로는 효율적으로 해결하기에는 너무 얽히고설키게 됩니다.

한 연구팀은 이 복잡함을 풀어내기 위한 새로운 접근법을 개발하여, 밑바탕에 깔린 위협의 규칙을 알지 못하더라도 컴퓨터가 실시간으로 최적의 방어 전략을 학습할 수 있는 방법을 만들어냈습니다. 그들의 연구는 위협의 군집 행동을 포착하도록 설계된 호크스 프로세스(Hawkes process)라는 특정 유형의 수학적 모델에 초점을 맞추고 있습니다. 그들이 직면한 과제는 이 모델들이 '비마르코프적(non-Markovian)'이라는 점이었습니다. 즉, 시스템의 미래가 과거의 전체 이력에 의존하기 때문에, 오직 현재 상태만을 이용하는 표준적이고 효율적인 학습 알고리즘을 사용하는 것이 불가능하다는 뜻입니다. 이를 극복하기 위해 연구진은 시스템의 무한한 기억을 유한한 관측 가능한 신호 세트로 압축하는 방법을 고안해냈으며, 이를 통해 이력 의존적인 문제를 현대적인 머신러닝으로 해결할 수 있는 문제로 전환했습니다.

그들 솔루션의 핵심은 '마르코프화(Markovianization)'라고 불리는 기술을 포함합니다. 단순히 현재의 기온을 보는 것이 아니라 지난 세기 동안 내린 모든 빗방울을 기억하며 날씨를 예측하려고 노력하는 상황을 상상해 보십시오. 이것이 호크스 프로세스가 보유한 기억의 수준입니다. 연구진은 과거의 모든 사건을 기억하는 대신, 단순하고 감쇠하는 필터들의 집합을 사용하여 시스템의 기억을 근사할 수 있다는 점을 깨달았습니다. 그들은 현재의 시스템 상태와 함께, 과거의 사건들이 시간이 흐름에 따라 어떻게 사라지는지를 추적하는 일련의 필터들을 포함하는 새로운 상태를 구축했습니다. 이렇게 함으로써, 그들은 복잡하고 이력 의존적인 문제를 컴퓨터가 탐색할 수 있는 유한 차원의 관리 가능한 문제로 변형시켰습니다.

문제가 이처럼 더 단순한 형태로 재구성되자, 연구팀은 'Hawkes CT-DDPG'라고 명명한 연속 시간 강화 학습 알고리즘을 적용했습니다. 전통적인 방식이 이산적인 단계마다 학습하는 것과 달리, 이 알고리즘은 사건이 발생하는 동안 실시간으로 지속적으로 학습하며 전략을 조정합니다. 이 시스템은 '모델 프리(model-free)' 방식으로 작동하는데, 이는 공격을 지배하는 구체적인 수학적 공식이나 방어 메커니즘을 알 필요가 없음을 의미합니다. 대신, 시스템은 사건의 발생 시점, 시스템의 상태, 그리고 다양한 행동과 관련된 비용을 관찰함으로써 순수하게 학습합니다. 이 시스템은 결정이 얼마나 좋았는지를 평가하는 '비평가(critic)' 역할을 하는 신경망과, 다음에 취할 행동을 결정하는 '행위자(actor)' 역할을 하는 또 다른 신경망을 사용하여, 보안 사고의 총비용을 최소화하도록 정책을 끊임없이 정교화합니다.

이들의 방법을 테스트하기 위해 연구진은 과거의 사건이 미래에 영향을 미치는 방식이 각기 다른 세 가지 유형의 위협 환경을 시뮬레이션했습니다. 첫 번째 시나리오는 과거 사건의 영향이 빠르고 예측 가능하게 사라지는 단순 지수 패턴을 사용했습니다. 두 두 번째는 더 복잡한 다단계 감쇠 과정을 나타내는 얼랑(Erlang) 패턴을 사용했습니다. 세 번째이자 가장 어려운 시나리오는 과거 사건의 영향이 매우 느리게 감소하여 모델링하기 까다로운 긴 꼬리의 기억을 생성하는 멱법칙(power-law) 패턴을 사용했습니다. 각 경우에서, 그들은 이 연속 시간 학습법을 표준적인 이산 시간 학습 기법 및 모든 기저 규칙을 미리 알고 있는 완벽한 해답인 '오라클(oracle)'과 비교했습니다.

결과는 이 새로운 방법이 매우 효과적임을 보여주었습니다. 단순 지수 케이스에서 알고-리즘은 완벽한 오라클과 거의 대등한 성능을 보였으며, 정적인 방어 전략에 비해 비용을 크게 절감했습니다. 연구진이 더 복잡한 얼랑 및 멱법칙 시나리오로 넘어갔을 때, 그들의 접근 방식이 가진 이점은 더욱 명확해졌습니다. 메모리 필터를 사용하여 시스템의 이력을 근사한 알고리즘은 메모리 구조를 무시하는 표준 학습법보다 일관되게 우수한 성능을 보였습니다. 특히 정확한 단순 표현이 존재하지 않는 멱법칙 시나리오에서, 메모리 필터를 사용한 버전의 알고리즘은 필터를 사용하지 않은 버전에 비해 평균 비용을 거의 5% 감소시켰습니다. 이는 시스템의 이력을 필터를 통해 포착하는 것이 좋은 결정을 내리는 데 결정적임을 입증했습니다.

나아가, 본 연구는 위협의 구체적인 세부 사항을 모르는 상태에서도 이 접근법이 작동한다는 것을 증명했습니다. 알고리즘은 위협의 기억이 갖는 정확한 수학적 형태나 공격이 확산되는 방식을 결정하는 구체적인 계수를 전혀 전달받지 않고도 비용을 최소화하는 법을 성공적으로 학습했습니다. 사건의 도착 시간과 그에 따른 시스템 상태만을 관찰함으로써, 알고리즘은 최적의 방어 전략을 찾기에 충분한 내부 모델을 구축할 수 있었습니다. 연구진은 분석적 해답이 존재하는 곳에서는 이를 분석적 해와 비교하고, 그렇지 않은 곳에서는 고충실도 수치 벤치마크와 비교함으로써, 자신들의 방법이 테스트된 모든 학습 기법 중 일관되게 최선의 결과를 낸다는 것을 확인했습니다.

이 연구는 복잡하고 자기 흥분적인 시스템을 관리하는 데 있어 중요한 진전을 의미합니다. 이는 문제가 너무 많은 이력에 의존하여 해결하기 너무 얽혀 있는 것처럼 보일 때라도, 그 이력을 유한한 도구들로 근사함으로써 실질적인 해결책을 찾을 수 있음을 보여줍니다. 끊임없이 진화하는 사이버 공격의 위협에 직면한 조직들에게 이는, 위협의 복잡한 수학을 완전히 이해하지 않고도 매 사건으로부터 학습하여 다음 파도에 대비해 보안 자원을 동적으로 할당하기 위해 인공지능을 활용할 수 있는 실행 가능한 경로가 열렸음을 의미합니다.

기술 요약: 제어된 호크스 점프 확산(Hawkes Jump-Diffusions)을 위한 연속 시간 강화 학습

문제 정의

본 논문은 비마르코프적(non-Markovian) 환경에서의 다변량 호크스 구동 확률 미분 방정식(SDE)의 확률적 제어를 다룹니다. 핵심 과제는 호크스 프로세스에 내재된 경로 의존성(path dependence)에서 발생합니다. 즉, 미래 사건의 강도는 과거 사건의 전체 이력에 의존하며, 이는 커널이 단순 지수 형태가 아닐 경우 시스템을 비마르코프적으로 만듭니다. 이러한 메모리 의존성은 유한 차원 상태 공간에 의존하는 고전적인 확률 제어 이론 및 표준 동적 계획법 원칙(Hamilton-Jacobi-Bellman 방정식)의 직접적인 적용을 방해합니다.

구체적인 목표는 이러한 시스템에서 발생하는 연쇄 사고와 관련된 비용을 최소화하기 위한 모델 프리(model-free) 강화 학습(RL) 프레임워크를 개발하는 것입니다. 설정된 환경은 제어 동작이 확산의 드리프트(drift)/변동성(volatility)뿐만 아니라 호크스 메모리의 "판독(readout)"(커널 계수)에도 영향을 미치는 제어된 점프-확산 과정입니다. 이때 커널 계수는 학습자에게 알려지지 않은 상태로 유지됩니다.

방법론

1. 유한 차원 마르코프화(Finite-Dimensional Markovianization)

일반적인 호크스 커널의 비마르코프적 특성을 극복하기 위해, 저자들은 마르코프화 절차를 제안합니다.

근사화: 일반 커널 $\Phi(\tau, a)$ 를 다음과 같이 지수 혼합(mixture of exponentials)으로 근사합니다:
$\Phi(\tau, a) \approx \Phi_K(\tau, a) = \sum_{k=1}^K Q_k(a) e^{-\beta_k \tau}$
여기서 $Q_k(a)$ 는 행렬 계수(음수 값을 가질 수 있음)이고, $\beta_k$ 는 감쇠율입니다.
상태 리프팅(State Lifting): 이 근사화를 통해 무한 차원의 메모리를 유한한 보조 상태 변수 $Z^{K,k}_t$ 들의 집합으로 표현할 수 있습니다. 이 변수들은 과거 점프의 지수 가중 적분이며, 다음의 선형 점프-상미분 방정식(jump-ODE)을 만족합니다:
$dZ^{K,k}_t = -\beta_k Z^{K,k}_t dt + dN_t$
온라인 구축: 결정적으로, 상태 벡터 $S^K_t = (t, X_t, Z^{K,1}_t, \dots, Z^{K,K}_t)$ 는 하부 커널 계수, 기저 강도(baseline intensity) 또는 시스템 역학에 대한 지식 없이도 관측된 이벤트 시점과 구성 요소 레이블만을 사용하여 온라인으로 구축될 수 있습니다. 이는 모델 프리 접근을 가능하게 합니다.

2. Hawkes CT-DDPG 알고리즘

본 논문은 마르코프화된 호크스 시스템에 적합하도록 조정된 연속 시간 심층 결정론적 정책 경사(Continuous-Time Deep Deterministic Policy Gradient, CT-DDPG) 알고리즘을 정립합니다.

액터-크리틱(Actor-Critic) 구조:
- 크리틱(Critic): 가치 함수 $V(t, x, z)$ 와 어드밴티지-레이트(advantage-rate) 함수 $Q(t, x, z, a)$ 를 학습합니다. 훈련은 벨만 방정식과 관련된 마틴게일 성질에 의존합니다. 손실 함수는 일반화된 모멘트 방법(generalized moment method)의 잔차를 최소화합니다.
- 액터(Actor): 어드밴티지 레이트를 사용하여 결정론적 정책 $\pi_\zeta$ 를 업데이트합니다.
어드밴티지 레이트(Advantage Rate): 알고리즘은 다음과 같이 정의된 어드밴티지 레이트 함수를 활용합니다:
$A^\zeta_K(t, x, z, a) = \mathcal{L}^a_K J^\zeta_K - \rho J^\zeta_K + c(t, x, a)$
여기서 $\mathcal{L}^a_K$ 는 마르코프화된 시스템의 확장 생성자(extended generator)입니다.
훈련: 전이 $(S^K_t, a_t, \text{cost}, S^K_{t+1})$ 를 저장하기 위해 리플레이 버퍼를 사용하며, 네트워크를 업데이트하기 위해 다단계 시간 차분(multi-step TD) 타겟을 사용합니다.

주요 기여

수렴 이론: 저자들은 $K \to \infty$ 일 때 마르코프화된 근사 호크스 프로세스, 그 강도, 그리고 가치 함수가 원래의 비마르코프적 시스템 및 원형 문제 값(primal problem value)으로 수렴함을 증명합니다. 이는 무한 차원 메모리를 유한 차원 상태로 대체하는 것에 대한 이론적 토대를 제공합니다.
모델 프리 연속 시간 RL: 본 논문은 제어된 호크스 점프-확산을 해결할 수 있는 모델 프리 알고리즘인 Hawkes CT-DDPG를 도입합니다. 이 알고리즘은 커널 계수나 시스템의 드리프트/확산 파라미터를 알 필요 없이, 오직 관측된 이벤트 시점, SDE의 실현값, 그리고 선택된 감쇠 필터만을 관찰하여 작동합니다.
비마르코프적 커널 처리: 이 프레임워크는 상태 공간을 리프팅함으로써 복잡한 비마르코프적 커널(특히 Erlang 및 파워 로(power-law) 커널)을 가진 시스템으로 연속 시간 RL을 성공적으로 확장합니다. 이는 원시 이벤트 데이터에 직접 적용되는 표준 이산 시간 RL 방법에는 없는 능력입니다.

수치 결과

저자들은 세 가지 유형의 커널(단순 지수, Erlang, 파워 로)에 대해 Hawkes CT-DDPG를 평가합니다.

벤치마크:
- 지수 및 Erlang 커널의 경우, (이 커널들이 정확한 마르코프 표현을 허용하므로) 정확한 유한 차원 HJB 방정식을 풀기 위해 딥 갈레르킨 방법(Deep Galerkin Method, DGM)을 사용하여 "오라클(Oracle)" 벤치마크를 구축했습니다.
- 파워 로 커널의 경우(유한한 지수 혼합으로 커널을 근사하는 방식 기반), "혼합 DGM/HJB" 벤치마크를 사용했습니다.
- 제안된 방법은 검증을 통해 선택된 정적 정책(static policy) 및 이산 시간 RL 방법(SAC 및 DDPG)과 비교되었습니다.
결과:
- 성능: Hawkes CT-DDPG는 모든 커널 유형에 대해 이산 시간 RL 방법(SAC, DGG) 및 정적 정책보다 일관되게 우수한 성능을 보였습니다.
- 오라클 근접성: 모든 시나리오에서 Hawkes CT-DDPG는 각 오라클 벤치마크에 가장 가까운 근사치를 유지했습니다.
- 마르코프화의 영향: 지수 필터 뱅크(마르코프화)를 포함하는 것이 현재의 물리적 상태만을 사용하는 것보다 비용을 크게 감소시켰습니다. Erlang 커널의 경우, 필터링을 통해 CT-DDPG의 비용이 13.4% 감소했으며, 파워 로 커널의 경우 4.67% 감소했습니다.
- 강건성: 이 방법은 커널 파라미터와 시스템 역학이 에이전트에게 완전히 알려지지 않은 상황에서도 효과적임을 입증했습니다.

의의 및 주장

본 논문은 연속 시간에서 자기 흥분적 점프 프로세스(self-exciting jump processes)를 제어하기 위한 엄격한 이론적 및 실무적 프레임워크를 제공한다고 주장합니다. 주요 의의는 비마르코프적 성격의 호크스 프로세스와 현대적 연속 시간 강화 학습의 요구 사항 사이의 간극을 메우는 데 있습니다.

저자들은 자신들의 방법이 다음과 같은 기능을 갖추고 있다고 단언합니다:

연속 시간 RL(특히 CT-DDPG)의 성과를 호크스 구동 확산으로 성공적으로 확장함.
공격이 클러스터링되고 메모리 효과가 중요한 사이버 리스크 및 연쇄 사고를 제어하는 데 실행 가능한 솔루션을 제공함.
유한 차원 마르코프화(지수 혼합을 통한)가 일반적인 호크스 커널을 근사하는 견고한 전략임을 입증하여, 표준 액터-크리틱 구조를 연속 시간에서 사용할 수 있게 함.

이 연구는 비선형 폐루프 호크스 시스템에 대한 일반적인 존재성 이론을 해결하는 것을 목표로 하지 않으며, 구체적으로 근사와 제어 측면에 집중합니다. 또한, Hawkes CT-DDPG를 연속 시간 이벤트 도착 및 메모리 의존성이 특징인 문제에 대한 이산 시간 방법보다 우월한 대안으로 포지셔닝합니다.