🤖 machine learning

DoTime: A Synthetic Benchmark Generator for Interventional and Counterfactual Time Series

O artigo apresenta o DoTime, um gerador de benchmarks sintéticos escalável e teoricamente fundamentado para modelos causais estruturais temporais multivariados que aborda a falta de dados de séries temporais intervencionais e contrafatuais ao fornecer ferramentas abertas, suítes de avaliação com a verdade fundamental exata e evidência empírica de que o treinamento intervencional melhora a precisão da direção causal em relação aos modelos observacionais.

Autores originais: Dennis Thumm, Billy Tim Anthony, Ying Chen

Publicado 2026-07-31

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dennis Thumm, Billy Tim Anthony, Ying Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas as únicas pistas que possui são uma pilha de fotos antigas e empoeiradas. Você consegue ver o que aconteceu no passado, mas nunca poderá ver o que teria aconteado se alguém tivesse feito uma escolha diferente. Este é o dilema diário dos cientistas que estudam a "causalidade" — a arte de descobrir o que causa o quê. No mundo real, muitas vezes apenas observamos as coisas acontecerem (dados observacionais), como observar uma planta crescendo ao sol. Mas para entender verdadeiramente a causa e o efeito, precisamos fazer perguntas de "E se?" (contrafatuais). E se regássemos a planta? E se desligássemos as luzes? Para responder a essas perguntas de "E se?", geralmente precisamos realizar experimentos, mas em campos como a medicina ou a ciência climática, realizar experimentos pode ser perigoso, caro ou impossível.

Por isso, os cientres começaram a construir "simuladores" — mundos digitais onde podem realizar experimentos com segurança. Eles criam dados falsos que seguem as regras de causa e efeito, treinam seus cérebros de computador (modelos de IA) nesses dados falsos e depois esperam que esses cérebros sejam inteligentes o suficiente para resolver mistérios do mundo real. A grande questão é: Como sabemos se esses mundos de teste digitais são bons o suficiente? Se o simulador for muito simples, a IA aprenderá lições erradas. Se for muito caótico, não poderemos dizer se a IA é realmente inteligente ou apenas sortuda. Precisamos de um campo de jogos perfeito, justo e desafiador para testar esses detetives de IA antes que eles saiam para o mundo real.

Apresentamos o DoTime, uma nova ferramenta criada pelos pesquisadores Dennis Thumm, Billy Tim Anthony e Ying Chen. Pense no DoTime como o "simulador de voo" definitivo para detetives que viajam no tempo. É um programa de computador que gera milhões de histórias falsas e complexas sobre como as coisas mudam ao longo do tempo, completas com uma "chave de respostas" secreta que lhe diz exatamente o que aconteceria se você mudasse o enredo.

O artigo apresenta o DoTime como uma forma de corrigir uma grande lacuna na forma como testamos a IA. A maioria dos mundos de teste existentes mostra à IA apenas o que aconteceu, não o que poderia ter acontecido. O DoTime é diferente porque permite que a IA pratique o pensamento "intervencionista". Ele cria cenários onde você pode dizer: "Ok, nesta história, vamos fingir que demos um remédio diferente ao paciente", e o simulador reescreve instantaneamente o futuro para mostrar o resultado, mantendo todo o resto exatamente igual. Ele possui até um modo especial de "ruído compartilhado", que é como ter dois gêmeos idênticos: um vive sua vida normal e o outro recebe um tratamento específico. Por serem gêmeos, qualquer diferença em suas vidas é garantida como sendo causada por esse tratamento, e não por sorte aleatória.

Os pesquisadores usaram o DoTime para testar uma ideia específica: O treinamento de uma IA nessas histórias de "E se?" a torna melhor em resolver problemas reais do que apenas observar histórias normais? Eles organizaram uma corrida justa entre dois modelos de IA do mesmo tamanho. Um modelo foi treinado apenas em histórias observacionais normais (observando o que acontece). O outro foi treinado nas histórias de intervenção "E se?". Os resultados foram claros e mensuráveis: o modelo treinado nas histórias de "E se?" acertou consistentemente a direção da causa e do efeito com mais frequência do que aquele que apenas observou. Em suas simulações, esse "treinamento intervencionista" deu à IA uma vantagem mensurável, melhorando sua precisão em cerca de 8 a 9 pontos percentuais em comparação com seu gêmeo observacional.

No entanto, os autores são cuidadosos ao não afirmar que resolveram os problemas do mundo. Eles descartam explicitamente a ideia de que a IA teve apenas sorte ou que simplesmente memorizou as respostas. Eles testaram a IA em diferentes tipos de histórias, diferentes durações de tempo e até em dados do mundo real (como experimentos de túnel de vento e reações de medicamentos) para ver se as habilidades eram transferíveis. Embora a IA tenha mostrado que poderia lidar com dados reais, os resultados foram mistos; ela foi boa em prever o "nível" geral de um resultado, mas às vezes teve dificuldade em rastrear os pequenos e rápidos oscilações nos dados. Isso sugere que, embora o DoTime seja um novo campo de treinamento poderoso, a IA ainda está aprendendo e não é perfeita.

Em suma, o DoTime é um campo de jogos massivo e de código aberto que permite aos cientistas construir melhores detetives de "viagem no tempo". Ele prova que ensinar uma IA a imaginar futuros diferentes a torna mais inteligente na compreensão de causa e efeito, mas também nos mostra exatamente onde esses cérebros digitais ainda tropeçam. É uma ferramenta para construir melhores modelos, não uma varinha mágica que resolve tudo da noite para o dia.

Resumo Técnico: DoTime

Definição do Problema

Os benchmarks atuais para inferência causal em séries temporais são predominantemente observacionais, de pequena escala ou restritos a domínios específicos. Isso deixa uma lacuna crítica na avaliação da estimativa intervencional e contrafactual, que são essenciais para aplicações de alto risco, como saúde, avaliação de políticas públicas e ciência climática. As ferramentas existentes sofrem de três limitações principais:

Viés Observacional: Geradores como Dream3 e NetSim focam na descoberta estrutural em vez da estimativa de efeito ($p(Y|do(A)$), treinando modelos em dados que nunca os expõem a intervenções.
Problemas de Escalabilidade: Conjuntos de dados intervencionais do mundo real (ex: Causal Chambers) são pequenos demais para treinar modelos de fundação.
Limitações Estáticas: Benchmarks estáticos (ACIC, IHDB) ignoram a dinâmica temporal, enquanto benchmarks dinâmicos recentes (CausalDynamics) focam na recuperação de grafos a partir de dados observacionais, em vez da estimativa de efeito intervencional.

Consequentemente, modelos treinados para responder a consultas $do(\cdot)$ são frequentemente ajustados e pontuados em dados puramente observacionais ( $p(Y|A)$ ), criando um desvio que falha em validar as verdadeiras capacidades de raciocínio causal.

Metodologia: O Framework DoTime

O DoTime é um gerador aberto, escalável e teoricamente fundamentado de Modelos Causais Estruturais Temporais (TSCMs) multivariados. Ele opera através de um pipeline que amostra priors estruturais, simula trajetórias sob condições tanto observacionais quanto intervencionais e fornece alvos exatos de verdade fundamental (ground-truth).

Componentes Principais

Modelos Causais Estruturais Temporais (TSCMs):
- Definidos por uma coleção de grafos $\mathcal{G} = (G_0, G_{1:K})$ , onde $G_0$ é um DAG instantâneo e $G_{1:K}$ são adjacências defasadas (lagged).
- A dinâmica segue $X^i_t = f_i(Pa^0_i(X_t), Pa^{1:K}_i(X_{t-1:t-K})) + \varepsilon^i_t$ .
- Intervenções substituem o mecanismo $f_i$ para nós alvo durante janelas de tempo específicas.
Níveis de Verdade Fundamental (Hierarquia de Pearl):
- Nível 2 (Intervencional): O braço intervencionado extrai um novo ruído exógeno do prior $P(\varepsilon)$ .
- Nível 3 (Contrafactual): O braço intervencionado reutiliza o mesmo fluxo de ruído $\varepsilon$ que gerou a trajetória observacional. A suíte de tempo contínuo do DoTime gera contrafatuais de Nível 3 por construção; as suítes de tempo discreto fornecem gêmeos intervencionais de Nível 2.
Principais Extensões Além dos Geradores Anteriores:
- Tipos de Intervenção: Suporta intervenções rígidas (hard - $do(A_t=v)$ ), suaves (deslocamentos aditivos) e intervenções variantes no tempo.
- Janelas de Tempo Contínuo: Generaliza intervenções de passo único para janelas $do(A[t_0, t_1]=v)$ usando integração Euler–Maruyama de SDEs subjacentes. Isso permite grades de observação irregulares (com jitter ou Poisson).
- Modos Contrafatuais: Inclui um "guarda de positividade" que limita os valores da intervenção ao suporte observado ( $\hat{\mu} \pm 3\hat{\sigma}$ ), distinguindo entre contrafatuais extrapolativos e dentro do suporte (in-support).
- Mudança de Regime (Regime-Switching): Implementa cadeias de regime de Markov persistentes sobre os parâmetros do SCM, generalizando designs de Séries Temporais Interrompidas (ITS) para trocas estocásticas e múltiplos regimes.
Priors de Grafo e Mecanismo:
- Grafos: $G_0$ é Erdős–Rényi com aciclicidade garantida por construção (máscara triangular superior). As arestas defasadas seguem um decaimento geométrico.
- Mecanismos: Amostrados uniformemente de um conjunto diversificado incluindo lineares, tanh, sin, cos, ReLU e composições.
- Ruído: Escalas amostradas de exponenciais deslocadas.

Principais Contribuições

O artigo lança o ecossistema DoTime, composto por:

O Pacote PyPI dotime: Contém o gerador, carregadores de suítes e o mecanismo de avaliação.
Quatro Suítes de Avaliação Congeladas:
- dot-Identifiability-v1: 10.800 trajetórias através de 8 estruturas de identificação nomeadas (ex: Back-Door, Front-Door, Variável Instrumental, Confundidor Não Observado).
- dot-RegimeSwitch-v1: 10.000 trajetórias com densidades de regime de 2, 3 ou 5.
- dot-Continuous-v1: 10.000 trajetórias com janelas de intervenção de tempo contínuo e diferentes offsets de consulta.
- dot-Generic-100k: 100.000 trajetórias do prior diversificado completo, dimensionadas para pré-treinamento de modelos de fundação.
Baselines de Referência: Implementações de heurísticas (TrajMean, AR1), métodos clássicos (VAR, BackDoorOLS, IV2SLS) e um Do-Over-Time-PFN (Rede Ajustada a Prior) treinado em contextos tanto intervencionais quanto observacionais.

Resultados

O artigo avalia o Do-Over-Time-PFN contra baselines e um gêmeo observacional de idêntica capacidade.

Limitações de Métricas: Nestes TSCMs não lineares, métricas padrão de RMSE estão quase saturadas (os modelos se agrupam em torno das médias). O artigo argumenta que a acurácia de direção (prever o sinal do efeito) é o sinal discriminante para a qualidade causal.
Treinamento Intervencional vs. Observacional:
- Um modelo treinado em dados intervencionais ( $PFN_{int}$ ) supera consistentemente um modelo idêntico treinado apenas em dados observacionais ( $PFN_{obs}$ ) em termos de acurácia de direção.
- Magnitude do Gap: Na suíte Identifiability, o $PFN_{int}$ alcança 0.66 de acurácia contra 0.57 do $PFN_{obs}$ (+0.08 de gap). No Generic, o gap é de +0.04.
- Robustez: Essa vantagem persiste através de três sementes de treinamento, quatro comprimentos de trajetória ( $T \in \{200, 500, 1000, 2000\}$ ) e três estruturas de identificação (Back-Door, Front-Door, IV). O gap agrupado é de +0.09 com um desvio padrão entre sementes de apenas 0.005.
Contexto de Tempo de Teste: A vantagem é atribuída ao pré-treinamento intervencional, não meramente ao ato de ver o valor da intervenção no tempo de teste. Modelos observacionais (TabPFN, Chronos-2) dados o valor da intervenção no tempo de teste não mostraram gap de acurácia.
Transferência Zero-Shot: O modelo treinado sinteticamente transfere-se para domínios do mundo real (túnel de vento Causal Chambers e farmacocinética de Warfarina). Embora não rastreie micro-oscilações de alta frequência, ele recupera com sucesso o relocamento de regime grosseiro (nível operacional pós-intervenção) onde baselines ingênuos falham.

Significância e Alegações

O artigo posiciona o DoTime como o primeiro benchmark aberto e escalável especificamente para séries temporais intervencionais e contrafatuais. Sua principal alegação é uma hipótese falseável: O treinamento intervencional compra uma vantagem mensurável de acurácia de direção sobre um modelo observacional de mesma capacidade.

Os autores demonstram que:

Compreensão Causal: O benchmark isola com sucesso a compreensão causal em capacidade fixa, onde métricas de regressão tradicionais falham.
Necessidade de Dados Sintéticos: Dados intervencionais do mundo real são escassos; o DoTime fornece uma alternativa principilada e teoricamente fundamentada para treinar modelos de fundação.
Limitações: Os autores são modestos quanto ao escopo. As suítes atuais usam $N \le 10$ variáveis e $K \le 3$ defasagens (embora o gerador suporte mais). Os dados sintéticos ainda não cobrem confundidores de tendência/sazonalidade ou observabilidade parcial além de confundidores ocultos. Os resultados de transferência para dados reais são apresentados como prova de conceito de "relocamento de regime" em vez de dominância competitiva sobre ferramentas específicas de domínio.

Em resumo, o DoTime fornece a infraestrutura para mover a inferência causal de séries temporais da descoberta estrutural em dados observacionais para a estimativa rigorosa de efeitos sob intervenção, validando que o treinamento em dados intervencionais sintéticos produz modelos com capacidades superiores de raciocínio causal.