📊 statistics

Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions

Este artigo propõe um algoritmo de aprendizado por reforço de tempo contínuo livre de modelo, o Hawkes-CT DDPG, que resolve problemas de controle estocástico não-markovianos impulsionados por difusões de saltos de Hawkes multivariados ao primeiro aproximar o sistema com uma representação markoviana de dimensão finita e, em seguida, aplicar o gradiente de política determinística.

Autores originais: Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

Publicado 2026-08-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo digital, as ameaças raramente chegam como eventos isolados e independentes. Em vez disso, elas tendem a se agrupar, onde uma violação ou ataque torna um segundo mais provável de ocorrer, criando uma cadeia de danos em cascata. Esse comportamento, conhecido como autoexcitação, é um padrão fundamental em tudo, desde terremotos até colapsos nos mercados financeiros, e é cada vez mais central para a compreensão do risco cibernético. Para gerenciar tais riscos, os defensores precisam tomar decisões dinâmicas sobre como alocar seus recursos de segurança limitados conforme o ambiente de ameaças muda. No entanto, as ferramentas matemáticas tradicionalmente usadas para otimizar essas decisões têm dificuldade quando a memória do sistema é complexa. Se a probabilidade de um ataque depende de todo o histórico de eventos passados, em vez de apenas do momento atual, o problema torna-se complexo demais para os métodos padrão resolverem com eficiência.

Uma equipe de pesquisadores desenvolveu uma nova abordagem para desvendar essa complexidade, criando um método que permite aos computadores aprender estratégias de defesa ideais em tempo real, mesmo quando as regras subjacentes da ameaça são desconhecidas. O trabalho deles foca em um tipo específico de modelo matemático chamado processo de Hawkes, que é projetado para capturar esse comportamento de agrupamento. O desafio enfrentado foi que esses modelos são "não-markovianos", o que significa que o futuro do sistema depende de todo o seu passado, tornando impossível usar algoritmos de aprendizado padrão e eficientes que dependem apenas do estado presente. Para superar isso, os pesquisadores conceberam uma maneira de comprimir a memória infinita do sistema em um conjunto finito de sinais observáveis, transformando efetivamente um problema dependente de histórico em um que pode ser resolvido com aprendizado de máquina moderno.

O núcleo de sua solução envolve uma técnica chamada "Markovianização". Imagine tentar prever o tempo não apenas olhando para a temperatura atual, mas lembrando de cada gota de chuva que caiu no último século. Esse é o nível de memória que um processo de Hawkes possui. Os pesquisadores perceberam que, em vez de tentar lembrar de cada evento passado, seria possível aproximar a memória do sistema usando uma coleção de filtros simples e decrescentes. Eles construíram um novo estado para o algoritmo de aprendizado que inclui o status atual do sistema mais um conjunto desses filtros, cada um rastreando como os eventos passados desapareceram ao longo do tempo. Ao fazer isso, eles transformaram o problema complexo e dependente de histórico em um problema finito e gerenciável que um computador pode navegar.

Uma vez que o problema foi remodelado para esta forma mais simples, a equipe aplicou um algoritmo de aprendizado por reforço em tempo contínuo, o qual nomearam como Hawkes CT-DDPG. Diferente dos métodos tradicionais que aprendem em etapas discretas, este algoritmo aprende continuamente, ajustando sua estratégia conforme os eventos acontecem em tempo real. O sistema opera de maneira "model-free" (livre de modelo), o que significa que não precisa conhecer as fórmulas matemáticas específicas que regem os ataques ou os mecanismos de defesa. Em vez disso, ele aprende puramente observando o tempo de chegada dos eventos, o estado do sistema e os custos associados a diferentes ações. Ele utiliza uma rede neural para atuar como um "crítico" que avalia o quão boa foi uma decisão, e outra rede como um "ator" que decide qual ação tomar a seguir, refinando constantemente sua política para minimizar o custo total dos incidentes de segurança.

Para testar seu método, os pesquisadores simularam três tipos diferentes de ambientes de ameaça, cada um com um padrão diferente de como os eventos passados influenciam o futuro. O primeiro cenário usou um padrão exponencial simples, onde a influência dos eventos passados desaparece de forma rápida e previsível. O segundo usou um padrão de Erlang, que representa um processo de desaparecimento mais complexo e de múltiplos estágios. O terceiro e mais difícil cenário usou um padrão de lei de potência (power-law), onde a influência dos eventos passados decai muito lentamente, criando uma cauda longa e pesada de memória que é notoriamente difícil de modelar. Em cada caso, eles compararam seu método de aprendizado contínuo contra técnicas de aprendizado de tempo discreto padrão e contra um "oráculo" teórico — uma solução perfeita que conhece todas as regras subjacentes antecipadamente.

Os resultados mostraram que o novo método foi altamente eficaz. No caso exponencial simples, o algoritmo teve um desempenho quase tão bom quanto o do oráculo perfeito, reduzindo os custos significativamente em comparação com estratégias de defesa estáticas. Quando os pesquisadores passaram para os cenários mais complexos de Erlang e lei de potência, a vantagem de sua abordagem tornou-se ainda mais clara. O algoritmo que utilizou os filtros de memória para aproximar o histórico do sistema superou consistentemente os métodos de aprendizado padrão que ignoravam a estrutura da memória. No cenário de lei de potência, que não possui uma representação simples exata, a versão filtrada de seu algoritmo reduziu o custo médio em quase cinco por cento em comparação com a versão que não utilizou os filtros de memória. Isso demonstrou que capturar o histórico do sistema através desses filtros era crucial para tomar boas decisões.

Além disso, o estudo provou que esta abordagem funciona mesmo quando os detalhes específicos da ameaça são desconhecidos. O algoritmo conseguiu aprender a minimizar os custos sem nunca ser informado sobre a forma matemática exata da memória da ameaça ou os coeficientes específicos que regem a propagação dos ataques. Ao observar apenas os tempos de chegada dos eventos e os estados resultantes do sistema, ele foi capaz de construir um modelo interno que era suficiente para encontrar estratégias de defesa próximas do ideal. Os pesquisadores verificaram suas descobertas comparando seus resultados com soluções analíticas onde existiam e com benchmarks numéricos de alta fidelidade onde não existiam, confirmando que seu método consistentemente produzia os melhores resultados entre todas as técnicas de aprendizado testadas.

Este trabalho representa um passo significativo no gerenciamento de sistemas autoexcitantes complexos. Mostra que, mesmo quando um problema parece complexo demais para ser resolvido porque depende de muito histórico, é possível encontrar uma solução prática ao aproximar esse histórico com um conjunto finito de ferramentas. Para organizações que enfrentam a constante e evolutiva ameaça de ataques cibernéticos, isso significa que há agora um caminho viável para usar a inteligência artificial para alocar dinamicamente recursos de segurança, aprendendo com cada incidente para melhor se proteger contra a próxima onda de ameaças, tudo isso sem a necessidade de compreender totalmente a matemática complexa do perigo em si.

Resumo Técnico: Aprendizado por Reforço em Tempo Contínuo para Difusões de Saltos de Hawkes Controladas

Definição do Problema

Este artigo aborda o controle estocástico de equações diferenciais estocásticas (SDEs) multivariadas impulsionadas por processos de Hawkes em um cenário não markoviano. O desafio central surge da dependência de trajetória inerente aos processos de Hawkes: a intensidade de eventos futuros depende de todo o histórico de eventos passados, tornando o sistema não markoviano, a menos que o núcleo seja uma exponencial simples. Essa dependência de memória impede a aplicação direta da teoria clássica de controle estocástico e dos princípios padrão de programação dinâmica (equações de Hamilton-Jacobi-Bellman), que dependem de espaços de estados de dimensão finita.

O objetivo específico é desenvolver uma estrutura de aprendizado por reforço (RL) livre de modelo para minimizar custos associados a incidentes de cascata em tais sistemas. O cenário envolve um processo de difusão de saltos controlado onde a ação de controle influencia tanto o drift/volatilidade da difusão quanto a "leitura" da memória de Hawkes (os coeficientes do núcleo), enquanto os próprios coeficientes do núcleo permanecem desconhecidos para o aprendiz.

Metodologia

1. Markovianização de Dimensão Finita

Para superar a natureza não markoviana de núcleos de Hawkes gerais, os autores propõem um procedimento de Markovianização.

Aproximação: Eles aproximam o núcleo geral $\Phi(\tau, a)$ usando uma mistura de exponenciais:
$\Phi(\tau, a) \approx \Phi_K(\tau, a) = \sum_{k=1}^K Q_k(a) e^{-\beta_k \tau}$
onde $Q_k(a)$ são coeficientes matriciais (potencialmente com entradas negativas) e $\beta_k$ são taxas de decaimento.
Elevação de Estado (State Lifting): Esta aproximação permite que a memória de dimensão infinita seja representada por um conjunto finito de variáveis de estado auxiliares $Z^{K,k}_t$ , que são integrais ponderadas exponencialmente de saltos passados. Estas variáveis satisfazem ODEs de saltos lineares:
$dZ^{K,k}_t = -\beta_k Z^{K,k}_t dt + dN_t$
Construção Online: Crucialmente, o vetor de estado $S^K_t = (t, X_t, Z^{K,1}_t, \dots, Z^{K,K}_t)$ pode ser construído online usando apenas tempos de eventos observados e rótulos de componentes, sem conhecimento dos coeficientes do núcleo subjacente, da intensidade de linha de base ou da dinâmica do sistema. Isso possibilita uma abordagem livre de modelo (model-free).

2. Algoritmo Hawkes CT-DDPG

O artigo formula um algoritmo de Gradiente de Política de Gradiente Determinístico Profundo em Tempo Contínuo (CT-DDPG) adaptado para o sistema de Hawkes Markovianizado.

Arquitetura Actor-Critic:
- Critic: Aprende a função de valor $V(t, x, z)$ e uma função de taxa de vantagem $Q(t, x, z, a)$ . O treinamento baseia-se na propriedade de martingala da integral estocástica associada à equação de Bellman. A função de perda minimiza o resíduo do método de momento generalizado.
- Actor: Atualiza a política determinística $\pi_\zeta$ usando o teorema do gradiente de política derivado da taxa de vantagem.
Taxa de Vantagem: O algoritmo utiliza uma função de taxa de vantagem definida como:
$A^\zeta_K(t, x, z, a) = \mathcal{L}^a_K J^\zeta_K - \rho J^\zeta_K + c(t, x, a)$
onde $\mathcal{L}^a_K$ é o gerador estendido do sistema Markovianizado.
Treinamento: O método emprega um buffer de replay para armazenar transições $(S^K_t, a_t, \text{custo}, S^K_{t+1})$ e utiliza alvos de diferença temporal (TD) de múltiplos passos para atualizar as redes.

Principais Contribuições

Teoria de Convergência: Os autores provam que a aproximação Markovianizada do processo de Hawkes, sua intensidade e a função de valor convergem para o sistema não markoviano original e para o valor do problema primal conforme o número de filtros exponenciais $K \to \infty$ . Isso fornece uma base teórica para substituir a memória de dimensão infinita por um estado de dimensão finita.
RL de Tempo Contínuo Livre de Modelo: O artigo introduz o Hawkes CT-DDPG, um algoritmo livre de modelo capaz de resolver difusões de saltos de Hawkes controladas. Ele opera observando apenas tempos de eventos, a realização da SDE e um conjunto escolhido de filtros de decaimento, sem exigir conhecimento dos coeficientes do núcleo ou dos parâmetros de drift/difusão do sistema.
Tratamento de Núcleos Não Markovianos: A estrutura estende com sucesso o aprendizado por reforço em tempo contínuo para sistemas com núcleos complexos e não markovianos (especificamente núcleos de Erlang e de lei de potência), uma capacidade que não está presente nos métodos padrão de RL de tempo discreto aplicados diretamente a dados brutos de eventos.

Resultados Numéricos

Os autores avaliam o Hawkes CT-DDPG contra três tipos de núcleos: exponencial simples, Erlang e lei de potência (power-law).

Benchmarks:
- Para os núcleos exponencial e Erlang, foram construídos benchmarks "Oracle" usando o Método de Galerkin Profundo (DGM) para resolver as equações HJB de dimensão finita exatas (já que esses núcleos admitem representações markovianas exatas).
- Para o núcleo de lei de potência (que não possui representação exata de dimensão finita), foi utilizado um benchmark de "Mistura DGM/HJB", baseado na aproximação do núcleo por uma mistura exponencial finita.
Comparações: O método proposto foi comparado contra:
- Uma política estática selecionada por validação.
- Métodos de RL de tempo discreto: Soft Actor-Critic (SAC) e Deep Deterministic Policy Gradient (DDPG).
- Estudos de ablação comparando a abordagem "filtrada" (Markovianizada) contra abordagens de "apenas estado atual" (sem memória).
Descobertas:
- Desempenho: O Hawkes CT-DDPG superou consistentemente os métodos de RL de tempo discreto (SAC e DDPG) e as políticas estáticas em todos os tipos de núcleos.
- Proximidade do Oracle: Em todos os cenários, o Hawkes CT-DDPG permaneceu como o aproximador mais próximo dos respectivos benchmarks Oracle.
- Impacto da Markovianização: A inclusão do banco de filtros exponenciais (Markovianização) reduziu significativamente os custos em comparação ao uso apenas do estado físico atual. Para o núcleo Erlang, a filtragem reduziu os custos em 13,4% para o CT-DDPG; para o núcleo de lei de potência, a redução foi de 4,67%.
- Robustez: O método demonstrou eficácia mesmo quando os parâmetros do núcleo subjacente e a dinâmica do sistema eram completamente desconhecidos para o agente.

Significância e Alegações

O artigo afirma fornecer uma estrutura teórica e prática rigorosa para controlar processos de saltos autoexcitáveis em tempo contínuo. Sua principal significância reside em preencher a lacuna entre a natureza não markoviana dos processos de Hawkes e os requisitos do aprendizado por reforço moderno em tempo contínuo.

Os autores afirmam que seu método:

Estende com sucesso as descobertas de RL em tempo contínuo (especificamente CT-DDPG) para difusões impulsionadas por Hawkes.
Oferece uma solução viável para controlar riscos cibernéticos e incidentes de cascata onde ataques se agrupam e efeitos de memória são críticos, e onde os parâmetros do sistema são desconhecidos.
Demonstra que a Markovianização de dimensão finita via misturas exponenciais é uma estratégia robusta para aproximar núcleos de Hawkes gerais, permitando o uso de arquiteturas actor-critic padrão em tempo contínuo.

O trabalho não pretende resolver a teoria geral de existência para sistemas de Hawkes não lineares de malha fechada, mas foca especificamente nos aspectos de aproximação e controle. Ele posiciona o Hawkes CT-DDPG como uma alternativa superior aos métodos de tempo discreto para problemas caracterizados por chegadas de eventos em tempo contínuo e dependência de memória.