Causal analyses using education-health linked data for England: a case study

Este artigo resume as lições aprendidas do estudo HOPE, demonstrando como a emulação de ensaios-alvo e a simulação de dados podem orientar a análise causal de dados administrativos sobre a eficácia do suporte educacional especial na saúde e educação, oferecendo código e dados simulados para facilitar a aplicação desses métodos.

O essencial

Imagine que você é um chef de cozinha tentando descobrir se um novo tempero (o "suporte educacional especial") realmente faz a comida (a saúde e o aprendizado das crianças) ficar mais gostosa. O problema é que você não pode fazer uma experiência controlada: não pode pegar 100 crianças, dar o tempero para metade e não dar para a outra, só para ver o que acontece. Isso seria antiético e impossível.

Em vez disso, você precisa olhar para o "livro de receitas" do passado (os dados administrativos do governo) para tentar entender o que aconteceu. É exatamente isso que este artigo faz, mas com um toque de "detetive científico".

Aqui está a explicação do estudo, traduzida para uma linguagem simples e cheia de analogias:

1. O Grande Mistério: "O que o tempero faz?"

Os pesquisadores queriam saber se o suporte educacional especial (chamado de SEND no texto) ajuda crianças com necessidades específicas (como lábio leporino ou paralisia cerebral) a terem menos faltas injustificadas na escola e melhores resultados de saúde.

Mas a pergunta inicial era muito vaga, como perguntar: "O tempero é bom?".

• O problema: Quando você adiciona o tempero? Só uma vez? O tempo todo? E quando você prova o prato? No dia seguinte ou depois de uma semana?
• A solução: Eles tiveram que refinar a pergunta. Em vez de uma pergunta gigante, fizeram três perguntas menores e específicas:
  1. O tempero dado no primeiro ano ajuda a longo prazo?
  2. O tempero dado este ano ajuda no próximo ano?
  3. O tempero dado por três anos seguidos faz diferença?

2. O "Simulador de Voo" (Dados Simulados)

Antes de analisar os dados reais de milhares de crianças (o que é como voar um avião de passageiros pela primeira vez), os pesquisadores decidiram construir um simulador de voo.

Eles criaram um universo fictício com 10.000 "crianças de computador". Como eles criaram esses dados, eles sabiam exatamente qual era a "verdade" (sabiam se o tempero funcionava ou não, e quanto funcionava).

• Por que fazer isso? Para testar suas ferramentas de medição. Se o simulador diz que o tempero funciona, mas a ferramenta deles diz que não, eles sabem que a ferramenta está quebrada. Isso é como treinar em um simulador antes de enfrentar a tempestade real.

3. As Ferramentas de Medição (Os Métodos)

Para medir o efeito do tempero, eles usaram três ferramentas matemáticas diferentes (chamadas de g-computation, IPW e AIPW). Pense nelas como três tipos diferentes de óculos de realidade aumentada:

• Óculos 1 (G-computation): Tenta prever o futuro baseando-se em um modelo complexo. Se o modelo estiver errado (como um mapa desatualizado), a previsão falha.
• Óculos 2 (IPW): Pesa as crianças para equilibrar a balança. Se uma criança é muito diferente das outras, essa ferramenta dá mais ou menos peso a ela para que a comparação seja justa.
• Óculos 3 (AIPW): É o "super-óculos". Ele combina os dois anteriores. Se um dos modelos estiver errado, o outro pode salvar a análise. Foi o mais robusto no teste.

4. O Que Eles Aprenderam (As Lições)

Ao testar essas ferramentas no "simulador", eles descobriram coisas importantes que servem de alerta para quem usa dados do governo:

• A pergunta precisa ser cirúrgica: Não adianta perguntar "funciona?". Você precisa perguntar "funciona para quem, quando e por quanto tempo?".
• Cuidado com os "óculos" sujos: Se você usar a ferramenta errada ou configurá-la de forma simples demais (como usar um mapa antigo), você pode chegar a conclusões erradas. No estudo, métodos simples de regressão (como olhar apenas para a média) falharam porque não conseguiram lidar com o fato de que as crianças mudam com o tempo.
• A "Verdade" é difícil de pegar: Mesmo com dados perfeitos, se você não considerar todas as variáveis (como se a criança foi hospitalizada no meio do caminho), você pode confundir causa e efeito.
• O método "Super-óculos" (AIPW) é o mais seguro: Ele foi o que mais se aproximou da verdade conhecida no simulador, mesmo quando as outras ferramentas erraram.

5. A Conclusão para o Mundo Real

O estudo não diz "o suporte educacional é ótimo" ou "é ruim". O que ele diz é: "Se você quer usar dados do governo para tomar decisões políticas, você precisa ser muito cuidadoso."

É como se eles dissessem: "Não confie apenas na primeira impressão. Use simuladores para treinar, escolha suas perguntas com precisão e use várias ferramentas diferentes para cruzar os dados. Só assim você saberá se o 'tempero' realmente salvou a receita ou se foi apenas uma ilusão."

Eles disponibilizaram o código e os dados simulados para que qualquer outro pesquisador possa pegar esses "óculos" e tentar entender melhor a realidade, evitando os erros que eles mesmos aprenderam a evitar.

Resumo em uma frase:
Este artigo é um manual de instruções para detetives de dados, ensinando como usar simulações e ferramentas matemáticas avançadas para descobrir a verdade sobre políticas públicas, evitando cair em armadilhas que parecem lógicas, mas que levam a conclusões erradas.

Resumo técnico

1. O Problema e o Contexto

O artigo aborda os desafios de realizar inferência causal utilizando grandes conjuntos de dados administrativos (especificamente os dados vinculados de Educação e Saúde Infantil - ECHILD, no Reino Unido) para avaliar a eficácia de intervenções políticas. O estudo de caso foca na Provisão de Necessidades Educacionais Especiais e Deficiência (SEND) na Inglaterra.

O problema central é que perguntas causais iniciais, como "Qual é o impacto da provisão SEND nos resultados de saúde e educação?", são frequentemente formuladas de maneira muito vaga para serem testadas causalmente. Elas carecem de definições precisas sobre:

• O momento da intervenção (ex: apenas no 1º ano ou sustentado?).
• A janela de tempo para os resultados.
• A população-alvo (a provisão SEND pode não ser adequada para toda a população geral).
• A qualidade e granularidade dos dados administrativos para ajustar confusores.

2. Metodologia

Os autores utilizaram uma abordagem estruturada baseada na "Roteiro Causal" (Causal Roadmap) e no quadro de Emulação de Ensaios Alvo (Target Trial Emulation - TTE). O processo seguiu cinco etapas iterativas:

1. Definição da Pergunta Causal: Refinamento da pergunta original em três questões específicas (Q1, Q2, Q3) focadas em um resultado exemplar: o número de faltas escolares não autorizadas (UA).
   • Q1: Efeito de longo prazo (Intervenção no Ano 1 vs. UA do Ano 2 ao 6).
   • Q2: Efeito de curto prazo (Intervenção no Ano t vs. UA no Ano t+1).
   • Q3: Efeito de provisão sustentada (Intervenção nos Anos 1, 2 e 3 vs. UA até o Ano 6).
2. Definição do Escopo: Restrição da população de interesse para crianças com condições clínicas específicas (fenda labial/palatina e paralisia cerebral) sem outras anomalias maiores, para garantir que a provisão SEND fosse relevante e que os dados permitissem ajustes adequados.
3. Definição dos Efeitos Causais: Uso do conceito de Resultados Potenciais (PO) para definir efeitos como o Efeito Médio do Tratamento (ATE) e o Efeito Médio do Tratamento nos Tratados (ATT), em escalas de Risco Relativo (RR) e Diferença de Risco (RD).
4. Suposições: Reconhecimento da necessidade de assumir "Sem Confundimento Não Medido" (NUC) ou o uso de Variáveis Instrumentais (VI).
5. Estimação e Interpretação: Aplicação de múltiplos métodos de estimação para comparar resultados e realizar análises de sensibilidade.

Uso de Dados Simulados:
Uma contribuição metodológica crucial foi a criação de dados simulados que espelham as características do ECHILD. Isso permitiu aos autores:

• Conhecer a "verdadeira" causalidade (pois geraram os dados).
• Testar a implementação de diferentes métodos (g-computation, IPW, AIPW, 2SLS).
• Avaliar o impacto de violações de suposições (ex: especificação incorreta de modelos de resultado ou de propensão).

Métodos de Estimação Utilizados:

• G-computation: Requer modelagem correta do resultado (Y).
• IPW (Pesagem por Probabilidade Inversa): Requer modelagem correta da pontuação de propensão (PS).
• AIPW (Pesagem Inversa Aumentada): Método "doubly robust" (duplamente robusto), que permanece consistente se o modelo Y ou o modelo PS estiver correto.
• 2SLS (Mínimos Quadrados em Dois Estágios): Utilizando uma variável instrumental simulada ("Região").

3. Resultados Principais

• Importância da Especificação do Modelo:

  • Para o g-computation, a especificação do modelo de resultado (Y) é crítica. Modelos sem interações suficientes ("versões incorretas") produziram estimativas distantes da verdade. Apenas modelos muito gerais e flexíveis recuperaram os efeitos verdadeiros.
  • Para o IPW, a especificação correta do modelo de pontuação de propensão (PS) foi essencial para obter estimativas não enviesadas e verificar a suposição de positividade.
  • O AIPW demonstrou ser o método mais robusto, fornecendo estimativas precisas mesmo quando um dos modelos (Y ou PS) estava mal especificado.

• Efeitos de Curto vs. Longo Prazo (Q1 e Q2):

  • Os efeitos da provisão SEND variam ao longo do tempo. O efeito de curto prazo (redução de faltas no ano seguinte) foi distinto do efeito de longo prazo (acumulado até o final do ensino primário).
  • Estimativas que ignoram a tendência temporal (assumindo efeitos constantes) podem mascarar aspectos importantes do processo causal.

• Confounders Variáveis no Tempo (Q3):

  • Para intervenções sustentadas, a análise de regressão tradicional (ajustando por confundidores variáveis no tempo) produziu estimativas enviesadas (23,5% de redução vs. verdade de 12,8%). Isso ocorre porque a regressão tradicional bloqueia efeitos indiretos e pode introduzir viés de colisor.
  • Métodos avançados como g-computation e IPW (quando corretamente implementados para intervenções sustentadas) conseguiram lidar com a confusão variável no tempo, aproximando-se dos valores verdadeiros.
  • O IPW foi preferido sobre o g-computation para intervenções sustentadas por depender de menos suposições de modelagem (apenas os modelos de PS em cada ponto de tempo).

• Variáveis Instrumentais (IV):

  • O uso de 2SLS com a variável "Região" produziu estimativas muito imprecisas (largos intervalos de confiança), apesar da forte associação com a intervenção, ilustrando o custo da variância ao usar IVs.

4. Contribuições Chave

1. Framework Prático: Demonstra como aplicar o quadro de Emulação de Ensaios Alvo (TTE) a dados administrativos complexos, transformando perguntas políticas vagas em questões de pesquisa causal testáveis.
2. Validação via Simulação: A criação e disponibilização de dados simulados e códigos (em R e Stata) que permitem aos pesquisadores praticar e validar métodos causais antes de aplicá-los a dados reais, onde a "verdade" é desconhecida.
3. Guia de Sensibilidade: Evidencia a importância de comparar múltiplos métodos de estimação (g-computation, IPW, AIPW) como ferramentas de sensibilidade. A concordância entre métodos robustos aumenta a confiança nos resultados.
4. Código Aberto: Disponibilização de código reprodutível para estimar efeitos causais em cenários de dados administrativos educacionais e de saúde.

5. Significado e Conclusão

O estudo conclui que o uso de dados administrativos para inferência causal é um processo iterativo que exige a reformulação contínua das perguntas de pesquisa para alinhar com a disponibilidade e qualidade dos dados.

A lição fundamental é que não existe um método "melhor" universal; a escolha do método depende das suposições que podem ser justificadas e da estrutura dos dados. A comparação de resultados obtidos por diferentes métodos (especialmente aqueles que lidam com confusão variável no tempo, como IPW e g-computation) é essencial para validar conclusões políticas. O estudo serve como um guia prático para pesquisadores e formuladores de políticas que buscam evidências robustas sobre a eficácia de intervenções em saúde e educação.