In-Context Learning of Temporal Point Processes with Foundation Inference Models

O artigo apresenta o FIM-PP, um modelo de inferência fundacional pré-treinado que utiliza aprendizado em contexto para inferir funções de intensidade condicional de processos pontuais temporais marcados em dados do mundo real sem necessidade de treinamento adicional, alcançando desempenho comparável a modelos especializados.

O essencial

Imagine que você está tentando prever o futuro de um sistema caótico, como o trânsito de uma cidade, os tweets de uma rede social ou os cliques em um site de compras. Esses eventos não acontecem em horários fixos; eles são irregulares, imprevisíveis e muitas vezes dependem uns dos outros (um tweet viral pode gerar outros dez, ou um engarrafamento pode causar atrasos em cadeia).

Na ciência de dados, chamamos isso de Processos Pontuais Temporais. O problema é que, até agora, para prever o futuro de cada um desses sistemas, os cientistas tinham que "ensinar" um modelo do zero para cada situação específica. Era como se você precisasse aprender a dirigir um novo carro toda vez que trocasse de modelo, mesmo que todos tivessem volante e pedais.

Este artigo apresenta uma solução revolucionária chamada FIM-PP (Foundation Inference Model for Point Processes). Vamos explicar como funciona usando algumas analogias simples:

1. O Problema: O "Estudante de Cada Caso"

Antes, se você quisesse prever o trânsito de São Paulo, treinava um modelo. Se quisesse prever vendas na Amazon, treinava outro modelo do zero. Cada modelo era um especialista em apenas uma coisa. Se você mudasse o cenário, o modelo antigo não servia mais. Era caro, demorado e ineficiente.

2. A Solução: O "Polímata" (O Mestre de Tudo)

Os autores criaram o FIM-PP, que é como um super-estudante que aprendeu a dirigir todos os tipos de carros antes mesmo de ver um na rua.

Como eles fizeram isso?

• A Escola de Simulação (Pré-treinamento): Em vez de usar dados reais (que são escassos e específicos), eles criaram um "universo de ficção científica" gigante. Eles geraram milhões de cenários sintéticos: tráfego hipotético, redes sociais imaginárias, epidemias fictícias, com regras variadas (alguns eventos excitam outros, alguns inibem, alguns são aleatórios).
• A Lição de Casa: O modelo foi treinado nesses milhões de cenários sintéticos. Ele aprendeu a reconhecer padrões: "Ah, quando o evento A acontece, o evento B tende a seguir em 2 segundos", ou "Quando chove, o tráfego fica lento". Ele aprendeu a lógica por trás do caos, não apenas a decorar os dados.

3. O Superpoder: "Aprendizado em Contexto" (In-Context Learning)

Aqui está a parte mágica. Quando você chega com um problema real (ex: "Aqui estão os dados de trânsito de ontem"), você não precisa "ensinar" o modelo novamente.

Você apenas entrega os dados para o modelo e diz: "Olhe para esses exemplos (o contexto) e me diga o que vai acontecer agora."

É como se você mostrasse a um detetive experiente (o modelo pré-treinado) algumas fotos de uma cena de crime recente. Ele não precisa estudar a teoria da criminologia de novo; ele usa o que já aprendeu na escola (o pré-treinamento) e olha para as pistas que você deu (o contexto) para deduzir o que vem a seguir.

• Zero-shot (Sem treino extra): O modelo tenta adivinhar o futuro apenas olhando para os dados que você deu, sem nenhuma atualização. Ele já é bom o suficiente para competir com especialistas que foram treinados do zero.
• Fine-tuning (Ajuste Fino): Se você quiser que ele seja perfeito para aquele caso específico, basta dar um "empurrãozinho" rápido (alguns minutos de treino) para ele se adaptar às peculiaridades daquele sistema. É como ajustar o banco do carro para a sua altura, em vez de aprender a dirigir do zero.

4. A Analogia do "Chef de Cozinha"

Pense no FIM-PP como um Chef de Cozinha de Elite:

• Modelos antigos: Eram chefs que sabiam fazer apenas um prato (ex: apenas pizza). Se você pedisse sushi, eles não sabiam o que fazer.
• O FIM-PP: É um chef que passou anos estudando a química dos alimentos, testando milhões de combinações de ingredientes em laboratório (os dados sintéticos).
  • Quando você chega com uma receita nova (dados reais), ele não precisa aprender a cozinhar. Ele olha para os ingredientes que você tem na mesa (o contexto) e, baseado no que aprendeu, sabe exatamente como combinar e prever o sabor do prato final.
  • Se você quiser um toque especial, ele ajusta o tempero rapidamente (fine-tuning).

Por que isso é importante?

1. Velocidade: Você não perde dias treinando modelos novos.
2. Flexibilidade: O mesmo modelo serve para redes sociais, finanças, saúde e tráfego.
3. Eficiência: Ele generaliza bem. Mesmo que o mundo real seja um pouco diferente do que ele viu na "escola de ficção", ele consegue se adaptar.

Resumo em uma frase

O FIM-PP é um "cérebro artificial" que aprendeu a lógica do tempo e dos eventos em um universo de simulação, permitindo que ele preveja o futuro de sistemas do mundo real instantaneamente, apenas olhando para os dados atuais, sem precisar ser reensinado para cada novo problema.

Resumo técnico

Título: Aprendizado em Contexto de Processos Pontuais Temporais com Modelos de Inferência Fundamentais (FIM-PP)

1. O Problema

Os Processos Pontuais Temporais Marcados (MTPPs) são o framework padrão para modelar sequências de eventos irregulares e assíncronos (ex.: transações financeiras, retweets, atividade neural). O objetivo é prever o tempo e o tipo (marca) do próximo evento com base no histórico.

Limitações das abordagens atuais:

• Falta de Transferibilidade: Os modelos neurais existentes (como Processos de Hawkes Neurais ou modelos baseados em Transformers) exigem o treinamento de um modelo especializado do zero para cada novo conjunto de dados ou sistema dinâmico.
• Custo Computacional: O treinamento repetido para diferentes regimes dinâmicos é ineficiente e impede a aplicação rápida em novos cenários.
• Ausência de Modelos Fundamentais: Diferente do Processamento de Linguagem Natural (LLMs) ou de outros sistemas dinâmicos (como ODEs e SDEs), não existia um "modelo fundamental" pré-treinado capaz de inferir processos pontuais em zero-shot (sem treinamento adicional).

2. Metodologia: FIM-PP

Os autores propõem o FIM-PP (Foundation Inference Model for Point Processes), um modelo que utiliza aprendizado em contexto (in-context learning) e inferência amortizada. A abordagem segue três etapas principais:

A. Geração de Dados Sintéticos (Pré-treinamento)

• Criaram um framework para gerar um conjunto de dados massivo e diversificado de MTPPs sintéticos.
• Distribuição de Priori: Definiram uma família ampla de funções de intensidade condicional baseada em processos de Hawkes generalizados, variando:
  • Intensidades de base: Constantes, senoidais (periódicas), distribuições Gamma (alta excitação inicial).
  • Kernels de interação: Exponenciais, Rayleigh (não monotônicos), e kernels de lei de potência.
  • Tipos de interação: Excitatórios, inibitórios e neutros, com coeficientes aleatórios.
• O conjunto de dados contém 14,4 milhões de eventos provenientes de 72.000 processos distintos, cobrindo uma vasta gama de dinâmicas temporais.

B. Arquitetura do Modelo
O FIM-PP é baseado em uma arquitetura Transformer adaptada para inferência em contexto:

1. Codificação do Contexto ($C$): Um conjunto de múltiplas sequências de eventos observadas ($S_j$) é codificado independentemente por um encoder Transformer. Cada sequência é resumida em um vetor de embedding ($c_j$) que captura sua dinâmica global.
2. Codificação do Histórico ($H_t$): O histórico de eventos da sequência alvo até o tempo $t$ é codificado e tratado como queries (consultas).
3. Mecanismo de Atenção: O histórico (queries) atende ao contexto codificado (keys e values) através de um decoder Transformer. Isso permite que o modelo "leia" as dinâmicas dos dados de contexto para inferir a dinâmica do alvo.
4. Parametrização da Intensidade: A saída do modelo não é uma sequência direta, mas sim os parâmetros de uma função de intensidade condicional paramétrica $\hat{\lambda}(t, \kappa | H_t)$.
   • A função estimada segue a forma: $\hat{\lambda} = \hat{\mu} + (\hat{\alpha} - \hat{\mu}) \exp(-\hat{\beta}(t - t_{hist}))$.
   • Os parâmetros $\hat{\mu}$ (base), $\hat{\alpha}$ (pico após evento) e $\hat{\beta}$ (taxa de relaxamento) são aprendidos dinamicamente pelo modelo, permitindo capturar comportamentos locais ricos e interpretáveis.

C. Treinamento e Inferência

• Objetivo: Minimizar a Negativa Log-Verossimilhança (NLL) do próximo evento, dado o contexto e o histórico.
• Zero-Shot: O modelo pré-treinado pode ser aplicado diretamente a dados reais sem ajuste.
• Fine-tuning: O modelo pode ser rapidamente ajustado (em poucos minutos) a um conjunto de dados específico, utilizando o contexto do próprio conjunto de treino para refinar a inferência.

3. Contribuições Principais

1. Primeiro Modelo Fundamental para MTPPs: Introdução do FIM-PP, capaz de inferir funções de intensidade condicional em contexto, eliminando a necessidade de treinamento do zero para cada novo sistema.
2. Framework de Geração de Dados Sintéticos: Desenvolvimento de uma distribuição de prior ampla e diversificada que engloba processos de Hawkes clássicos, Poisson, periódicos e com kernels complexos, servindo como base robusta para o pré-treinamento.
3. Arquitetura Híbrida Interpretável: Combinação da capacidade de generalização de Transformers com uma parametrização de intensidade que mantém a interpretabilidade física (taxas de excitação e relaxamento), diferentemente de modelos "caixa-preta" puramente gerativos.
4. Desempenho Zero-Shot e Fine-tuning: Demonstração de que o modelo pré-treinado em dados sintéticos consegue generalizar para dados reais e superar modelos especializados após um ajuste fino rápido.

4. Resultados Experimentais

O modelo foi avaliado em cinco conjuntos de dados reais (TAXI, TAOBAO, STACKOVERFLOW, AMAZON, RETWEET) comparado a baselines de última geração (como CDiff, NHP, Dual-TPP).

• Modo Zero-Shot: O FIM-PP (sem ajuste) já alcança desempenho competitivo, muitas vezes igualando ou superando modelos especializados em métricas de previsão de múltiplos eventos (OTD, sMAPE), provando que o pré-treinamento sintético capturou padrões dinâmicos universais.
• Modo Fine-tuning: Ao ser ajustado nos dados de treino do conjunto de avaliação, o FIM-PP supera consistentemente todos os baselines em todas as métricas e horizontes de previsão.
  • Exemplo: No conjunto TAXI, o FIM-PP ajustado reduziu o OTD de ~21.6 (melhor baseline) para 17.9.
• Eficiência: O fine-tuning leva apenas alguns minutos e requer menos de 11 GB de memória, tornando-o viável para recursos computacionais limitados, ao contrário do treinamento de modelos do zero que pode levar horas.
• Generalização: O modelo demonstrou capacidade de generalizar para kernels não vistos no pré-treinamento (ex.: kernels de lei de potência), embora tenha dificuldades iniciais em padrões muito específicos de dados reais (ex.: alternância rígida entre duas marcas no dataset TAXI), que são corrigidos com o fine-tuning.

5. Significado e Impacto

Este trabalho representa um marco na interseção entre Aprendizado de Máquina Fundacional e Modelagem de Processos Estocásticos.

• Paradigma de "Modelo Único": Muda o paradigma de "um modelo por sistema" para "um modelo fundamental para todos os sistemas", permitindo que especialistas em domínio utilizem modelos complexos sem necessidade de expertise profunda em treinamento de redes neurais para cada novo caso.
• Interpretabilidade: Ao estimar diretamente os parâmetros da função de intensidade, o modelo oferece insights sobre a dinâmica do sistema (ex.: força de excitação, tempo de decaimento) que modelos puramente generativos muitas vezes ocultam.
• Aplicabilidade: A capacidade de inferir dinâmicas em zero-shot ou com fine-tuning rápido abre portas para aplicações em tempo real em áreas como detecção de anomalias financeiras, previsão de demanda em logística e monitoramento de epidemias, onde os dados chegam de forma contínua e os sistemas mudam rapidamente.

Em resumo, o FIM-PP estabelece a base para uma nova geração de modelos de processos pontuais que são ao mesmo tempo poderosos, generalizáveis e interpretáveis.