Econometric vs. Causal Structure-Learning for Time-Series Policy Decisions: Evidence from the UK COVID-19 Policies

Este estudo compara o desempenho de métodos econométricos e de aprendizado causal na descoberta de estruturas temporais para decisões de políticas públicas, utilizando os dados da pandemia de COVID-19 no Reino Unido para demonstrar que, embora os métodos econométricos ofereçam regras claras para estruturas temporais, os algoritmos de aprendizado causal exploram um espaço de grafos mais amplo, resultando em estruturas mais densas que capturam um maior número de relações causais identificáveis.

O essencial

Imagine que você é o capitão de um navio gigante (a economia e a saúde pública) navegando em meio a uma tempestade violenta (a pandemia de COVID-19). Você precisa tomar decisões difíceis: "Devo fechar o navio? Devo mandar as pessoas para casa? Isso vai parar a tempestade ou apenas atrasar o barco?"

Para tomar essas decisões, você precisa de um mapa que mostre não apenas onde as coisas estão, mas o que causa o que. Se você vê que "chuva" e "piscinas cheias" acontecem juntos, isso não significa que a chuva enche a piscina (talvez alguém tenha ligado a mangueira). Você precisa saber a causa real.

Este artigo é uma batalha entre dois tipos de "cartógrafos" (pessoas que fazem mapas) tentando desenhar esse mapa de causas para o Reino Unido durante a pandemia:

1. Os Economistas (Os Veteranos): Eles usam métodos antigos e testados, como "LASSO" e "SIMONE". Pense neles como marinheiros experientes que olham para o relógio e dizem: "O que aconteceu ontem só pode afetar o que acontece hoje, nunca o contrário". Eles são muito rigorosos com a ordem do tempo.
2. Os Aprendizes de Máquina (Os Novatos): Eles usam Inteligência Artificial moderna (Causal ML). Pense neles como jovens gênios da tecnologia que olham para milhões de dados e tentam encontrar padrões complexos, sem se preocupar tanto se o efeito veio antes ou depois da causa no tempo. Eles são mais "livres" para desenhar conexões.

O Grande Experimento

Os autores pegaram dados reais do Reino Unido (número de casos, lockdowns, uso de transporte, vacinação, etc.) e pediram para esses dois grupos de cartógrafos desenhar o mapa das causas. Depois, eles testaram esses mapas para ver quem acertou melhor as previsões.

Aqui estão as descobertas principais, traduzidas para a vida real:

1. O Dilema do Mapa Densa vs. Mapa Limpo

• Os Aprendizes de Máquina (Causal ML): Eles desenharam mapas muito cheios e confusos. É como se eles dissessem: "Tudo está conectado com tudo!". Eles encontraram muitas causas possíveis para os casos de COVID, mas o mapa ficou tão cheio de linhas que é difícil saber qual é a verdade. Eles acharam muitas conexões, mas algumas podem ser falsas (como achar que "comer sorvete" causa "afogamentos" só porque ambos acontecem no verão).
• Os Economistas: Eles desenharam mapas mais limpos e ordenados. Eles foram mais conservadores. No entanto, eles às vezes perderam algumas conexões importantes porque eram muito rígidos com a regra de "tempo".

2. Quem acertou a direção da seta?

O objetivo não é apenas achar conexões, mas saber se uma ação aumenta ou diminui o problema.

• Os Aprendizes de Máquina: Como seus mapas eram tão cheios, eles conseguiram identificar muitas intervenções possíveis (27 delas!). Mas, como o mapa era bagunçado, apenas metade delas fazia sentido lógico (ex: "fechar escolas reduz casos").
• Os Economistas: Eles foram mais lentos. O método "JS" (um dos métodos econômicos) encontrou apenas 2 intervenções claras, mas ambas estavam corretas e faziam todo o sentido.

3. A Lição de Ouro (O que realmente funcionou?)

Ambos os grupos, quando conseguiram encontrar algo sólido, concordaram em uma coisa crucial: Reduzir viagens e encontros em restaurantes diminui o risco de reinfecção.

É como se os dois grupos, apesar de usarem bússolas diferentes, apontassem para a mesma ilha: "Para parar a tempestade, as pessoas precisam parar de se mover tanto e se encontrar em lugares fechados".

A Analogia Final: O Detetive e o Robô

• O Economista é como um detetive clássico. Ele segue regras estritas: "O crime só pode ter sido cometido por quem estava no local antes do crime". Ele não comete erros de lógica temporal, mas pode deixar escapar pistas sutis porque é muito cauteloso.
• O Aprendizado de Máquina é como um robô superpoderoso. Ele vê milhões de pistas ao mesmo tempo. Ele pode encontrar conexões que o detetive não viu, mas às vezes ele se perde em teorias da conspiração (conexões falsas) porque não tem a intuição humana de "o que faz sentido no tempo".

Conclusão Simples

O artigo diz que nenhum dos dois é perfeito sozinho.

• Se você quer um mapa que respeite a lógica do tempo e evite loucuras, use os métodos dos Economistas.
• Se você quer explorar todas as possibilidades e encontrar padrões ocultos, use a Inteligência Artificial, mas tenha cuidado com o excesso de informações.

A melhor estratégia para o futuro? Juntar os dois. Usar a disciplina temporal dos economistas para organizar a criatividade bagunçada da inteligência artificial. Assim, os governantes poderão tomar decisões melhores na próxima pandemia, sabendo exatamente quais ações (como reduzir viagens) vão realmente salvar vidas.

Resumo técnico

1. Problema e Motivação

O artigo aborda a dificuldade crítica de distinguir entre associações e relações de causa-efeito para a formulação de políticas públicas. Modelos tradicionais de Machine Learning (ML) focam em associações e não conseguem simular o impacto de ações hipotéticas (intervenção). Embora o Causal Machine Learning (Causal ML) tenha avançado, sua aplicação em dados de séries temporais ainda é limitada e menos desenvolvida do que em dados transversais.

Por outro lado, a econometria possui décadas de experiência em inferência causal com séries temporais, utilizando métodos como variáveis instrumentais e regressões. O objetivo do estudo é comparar o desempenho de métodos econométricos tradicionais (adaptados para descoberta de estrutura causal) contra algoritmos modernos de Causal ML na recuperação de estruturas causais a partir de dados observacionais de séries temporais, visando apoiar decisões de política pública. O caso de uso selecionado foi a resposta do Reino Unido à pandemia de COVID-19.

2. Metodologia

Dados

• Fonte: Dados agregados públicos do Reino Unido (30 de janeiro de 2020 a 13 de junho de 2022).
• Estrutura: 46 variáveis (contínuas e categóricas) e 866 linhas (diárias).
• Variáveis Chave: Incluem taxas de infecção, hospitalizações, mortalidade, políticas de restrição (lockdown, escolas, máscaras), índices de mobilidade (Google, Apple, TfL), testes e vacinação.
• Pré-processamento:
  • Imputação: Utilização de um modelo de espaço de estado com Filtro de Kalman para lidar com 14,23% de dados ausentes, preservando a dinâmica temporal.
  • Discretização: Variáveis contínuas foram discretizadas em três categorias (baixo, médio, alto) usando k-means para compatibilidade com a parametrização de Redes Bayesianas (BNs) no software bnlearn.

Abordagens Avaliadas

O estudo compara quatro métodos econométricos com onze algoritmos de Causal ML:

1. Métodos Econométricos (baseados em VAR - Vetor Autorregressivo):

   • LASSO (Least Absolute Shrinkage and Selection Operator): Seleção de variáveis via penalização L1 para criar grafos esparsos.
   • LAR (Least Angle Regression): Similar ao LASSO, focado em identificar subconjuntos de preditores.
   • JS (James-Stein Shrinkage): Transforma redes de correlação em DAGs (Grafos Acíclicos Direcionados) usando correlação parcial e ordem temporal.
   • SIMONE (Statistical Inference for Modular Networks): Identifica módulos (clusters) de variáveis interconectadas.
   • Média de Modelos: Combinação dos quatro grafos econométricos para obter uma estrutura consolidada.
   • Restrição Temporal: Todos os métodos econométricos foram configurados para respeitar a ordem temporal (causas no tempo $t-1$ afetam efeitos no tempo $t$), gerando Redes Bayesianas Dinâmicas (DBNs).

2. Algoritmos de Causal ML:

   • Baseados em Restrições: PC-Stable, GS, IAMB, Fast-IAMB, Inter-IAMB, IAMB-FDR.
   • Baseados em Pontuação (Score-based): Hill-Climbing (HC), Tabu Search.
   • Híbridos: H2PC, RSMAX2, MMHC.
   • Nota: A maioria dos algoritmos de ML não impôs restrições temporais explícitas durante a descoberta da estrutura, permitindo que aprendessem dependências sem a garantia de ordem temporal estrita.

Avaliação

As estruturas aprendidas foram avaliadas usando:

• Métricas Estruturais: Distância Hamming Estrutural (SHD) em relação a um "Grafo de Conhecimento" (baseado em literatura prévia), número de parâmetros livres, densidade de arestas e pontuações BIC/Log-Likelihood.
• Avaliação de Política: Simulação de intervenções (usando o operador do de Pearl) para estimar o Efeito Causal Médio (ACE). O foco foi verificar se a redução nos índices de mobilidade (interação social) levava à redução nas taxas de infecção/reinfecção, conforme o conhecimento de domínio.

3. Resultados Principais

Estrutura e Complexidade

• Divergência Estrutural: Houve uma grande variação nas estruturas aprendidas. O "Grafo de Conhecimento" (baseado em especialistas) teve o pior desempenho em BIC/Log-Likelihood, pois não foi otimizado para os dados.
• Métodos Econométricos:
  • O SIMONE apresentou o melhor ajuste (BIC e LL) entre os métodos econométricos, gerando grafos mais esparsos (66 arestas).
  • LASSO e LAR geraram grafos densos (161 e 163 arestas) com alto SHD em relação ao conhecimento prévio, indicando pouca sobreposição estrutural.
  • A média de modelos não superou o desempenho do SIMONE.
• Métodos de Causal ML:
  • Algoritmos baseados em pontuação (HC e TABU) produziram grafos extremamente densos (cerca de 700 arestas), resultando nos melhores scores de ajuste (BIC/LL), mas com alto custo de complexidade.
  • Algoritmos baseados em restrições produziram grafos mais esparsos, com desempenho competitivo em BIC.
  • A maioria dos métodos de ML teve SHD menor que os econométricos, exceto HC e TABU, devido à densidade excessiva.

Avaliação de Política (Efeitos Causais)

• Identificabilidade:
  • HC e TABU identificaram o maior número de efeitos causais (27 cada), mas apenas 14 e 12, respectivamente, alinharam-se com o conhecimento de domínio (ex: menos mobilidade = menos casos).
  • JS (Econométrico) identificou apenas 2 efeitos, mas ambos estavam corretos na direção e magnitude esperada.
  • Métodos como LASSO, LAR e SIMONE não identificaram efeitos causais significativos sob os critérios de teste.
• Direção e Magnitude:
  • As intervenções que reduziram a mobilidade (especificamente "Citymapper journeys" e "OpenTable restaurant") mostraram redução na probabilidade de reinfecções.
  • O efeito estimado pelo modelo JS foi robusto e consistente com os resultados de HC e TABU para essas variáveis específicas, embora os algoritmos de ML tenham encontrado mais falsos positivos devido à densidade do grafo.

4. Contribuições Chave

1. Comparação Sistemática: É um dos primeiros estudos a comparar diretamente métodos econométricos de séries temporais com algoritmos modernos de Causal ML para descoberta de estrutura.
2. Tradução de Métodos: O artigo fornece código e metodologia para traduzir resultados de métodos econométricos (como LASSO e SIMONE) para o formato de Redes Bayesianas (BNs) na biblioteca R bnlearn, facilitando a simulação de intervenções.
3. Análise de Trade-offs: Demonstra que não existe um método "superior" universal.
   • ML (Score-based): Oferece maior descoberta e identificabilidade de efeitos, mas gera grafos densos e complexos, muitas vezes ignorando a ordem temporal estrita.
   • Econométricos: Oferecem regras claras para estruturas temporais e modelos mais parcimoniosos (especialmente SIMONE), mas podem falhar em identificar uma gama mais ampla de relações causais em dados complexos e ruidosos.
4. Insight para Políticas: A confirmação de que a redução de interações sociais (viagens e restaurantes) reduz a transmissão, mesmo com tamanhos de efeito modestos no curto prazo, valida a utilidade desses modelos para stress-testing de políticas.

5. Significado e Conclusão

O estudo conclui que as abordagens são complementares.

• Os métodos econométricos fornecem uma estrutura temporal rigorosa e penalizam a complexidade, o que é crucial para a interpretabilidade de políticas.
• Os algoritmos de Causal ML exploram um espaço maior de estruturas, capturando mais relações identificáveis, mas tendem a gerar grafos densos que podem dificultar a interpretação causal direta.

A principal lição para a tomada de decisão é que, para políticas de saúde pública baseadas em séries temporais, modelos que incorporam explicitamente a estrutura temporal e penalizam a complexidade (como os econométricos ou ML com restrições temporais) podem ser mais confiáveis para validar intervenções, evitando a descoberta de relações espúrias comuns em grafos densos gerados por ML não restrito. O estudo destaca a necessidade de desenvolver metodologias híbridas que combinem a rigidez temporal da econometria com a capacidade de descoberta do ML.

Limitações: O estudo aponta erros não normais, autocorrelação residual em algumas séries e a possível omissão de variáveis latentes como fatores que podem levar a especificações incorretas do modelo. Além disso, a discretização dos dados pode ter atenuado sinais sutis.