Bias-robust causal inference for panel data

Imagine que você é um detetive tentando resolver um mistério: "Esta nova política realmente mudou a vida das pessoas?" No mundo real, raramente conseguimos realizar experimentos perfeitos onde ligamos uma chave e atribuímos aleatoriamente algumas pessoas para receber a política enquanto outras não recebem. Em vez disso, temos que olhar para os dados observacionais bagunçados que já possuímos. Para descobrir o que teria acontecido sem a política (o "contrafactual"), estatísticos constroem modelos — como máquinas do tempo digitais — que tentam prever o futuro com base no passado. Eles frequentemente usam matemática sofisticada para encontrar padrões ocultos, como uma "tendência" ou "fator" comum que afeta a todos, e então usam esses padrões para adivinhar como o grupo tratado teria se comportado se nunca tivesse sido tratado. O problema é que essas máquinas do tempo não são perfeitas. Se o modelo perder um padrão oculto ou errar a tendência, a previsão estará errada. Os métodos tradicionais costem agir como se tivessem 100% de certeza de sua previsão, ignorando o fato de que sua "máquina do tempo" pode estar ligeiramente quebrada, levando a conclusões que parecem confiantes, mas que na verdade são instáveis.

Este artigo introduz uma maneira nova e mais cautelosa de realizar esse trabalho de detetive, especificamente para dados que rastreiam muitas pessoas ou lugares ao longo do tempo (chamados de dados de painel). O autor, Angelos Alexopoulos, argumenta que, em vez de fingir que nossas previsões são perfeitas, devemos admitir que elas podem estar erradas e construir essa incerteza diretamente em nossa resposta final. Pense nisso como uma previsão do tempo: em vez de apenas dizer "Vai chover às 14h", um método robusto ao viés diz: "Vai chover às 14h, mas se o nosso modelo estiver errado por uma certa quantidade, a chuva pode começar às 13h30 ou às 14h30". O artigo desenvolve um método que ajusta a previsão observando os erros "restantes" nos dados e cria uma rede de segurança (um intervalo mais amplo) que garante que a resposta verdadeira esteja dentro dele, mesmo que o modelo não seja perfeito.

A Máquina do Tempo e a Rede de Segurança

O artigo aborda um problema específico na economia e nas ciências sociais: como medir o efeito de uma política quando não podemos realizar um experimento controlado. A abordagem padrão, como o método "Controle Sintético Generalizado" (GSC), é como tentar combinar o visual de uma celebridade costurando peças de roupas de um grupo de pessoas comuns. Funciona bem se a celebridade e as pessoas comuns tiverem um estilo subjacente (fatores) muito semelhante. Mas se o modelo errar o estilo — por exemplo, se ele perder uma tendência sutil que apenas a celebridade segue — o visual "costurado" parecerá errado, e o efeito estimado da política será distorcido. Pior ainda, os métodos tradicionais calculam sua "confiança" como se a costura fosse perfeita, ignorando o fato de que o padrão pode estar errado.

O autor propõe um método "robusto ao viés". Imagine que você está tentando adivinhar o peso de uma caixa misteriosa. Você tem uma balança que pode estar ligeiramente desregulada. Em vez de apenas ler o número e dizer: "Ela pesa 10 quilos", você diz: "Ela pesa 10 quilos, mas minha balança pode estar errada em até 2 quilos, então o peso real está em algum lugar entre 8 e 12". O novo método faz exatamente isso para os efeitos de políticas. Ele pega a previsão padrão, verifica o quanto o modelo pode estar errado (o "erro contrafactual") e, então, adiciona uma "margem de segurança" ao resultado final. Ele utiliza um truque matemático chamado otimização "minimax", que é como um jogo onde você tenta encontrar a melhor estimativa que funcione mesmo no pior cenário de erro do seu modelo.

O Que as Simulações Mostraram

Para testar essa ideia, o autor realizou simulações computacionais — criando mundos falsos onde a resposta verdadeira era conhecida como sendo zero (significando que a política nada fez). Nessas simulações, o novo método provou ser um detetive confiável. Quando o método "Controle Sintético Generalizado" padrão tentava adivinhar o efeito, ele era frequentemente absurdamente confiante, mas completamente errado, errando a resposta verdadeira (zero) quase todas as vezes, especialmente quando o modelo não tinha "fatores" suficientes para descrever os dados. Em um cenário onde o modelo perdia uma tendência fundamental, os intervalos de confiança do método padrão eram tão estreitos que perdiam a verdade 100% das vezes.

Em contraste, os intervalos do novo método eram mais largos, mas sempre capturavam a resposta verdadeira. Era como uma rede de pesca que era maior e mais pesada, mas que nunca deixava o peixe escapar. O artigo observa que isso tem um custo: os intervalos são mais largos, o que significa que a estimativa é menos precisa. No entanto, o autor argumenta que ser ligeiramente menos preciso, mas de fato correto, é muito melhor do que ser muito preciso, mas errado. Nas simulações, o novo método manteve uma taxa de sucesso de 100% em capturar a verdade, enquanto a taxa de sucesso do método padrão caiu para perto de zero quando o modelo era ligeiramente imperfeito.

O Teste do Mundo Real: Registro Eleitoral no Dia da Eleição

O autor aplicou então este método a um caso do mundo real: o efeito do Registro Eleitoral no Dia da Eleição (EDR) na participação eleitoral. Estudos anteriores usando o método padrão estimaram que o EDR aumentou a participação em cerca de 4,9 pontos percentuais. Quando o autor aplicou o novo método robusto ao viés, a estimativa permaneceu muito semelhante (cerca de 4,99 pontos), mas a "rede de segurança" era muito mais larga.

A parte mais interessante deste teste do mundo real foi verificar o quanto de erro o método poderia tolerar antes que a conclusão mudasse. O autor descobriu que a conclusão (de que o EDR aumenta a participação) permaneceu válida mesmo se o erro de previsão do modelo fosse quase duas vezes maior do que os erros típicos vistos em testes de "placebo" (experimentos falsos onde a política não deveria ter efeito). No entanto, se o erro se tornasse grande demais — especificamente, se o modelo estivesse errado por uma quantidade massiva — a conclusão mudaria. O artigo destaca que, enquanto o método padrão oferece um intervalo estreito que parece impressionante, o novo método admite: "Estamos bastante certos de que o efeito é positivo, mas precisamos permitir a possibilidade de que nosso modelo esteja um pouco errado".

A Conclusão

Este artigo não afirma ter encontrado uma solução mágica que torne todos os modelos perfeitos. Em vez disso, oferece uma maneira mais honesta de relatar resultados. Sugere que, quando usamos modelos complexos para adivinhar o que teria acontecido, devemos considerar explicitamente a possibilidade de que nossa estimativa esteja errada. O novo método troca um pouco de precisão por muita confiabilidade. Ele nos diz que, embora não possamos conhecer o erro contrafactual exato, podemos estabelecer um limite para o quão grande esse erro pode ser e ainda assim confiar em nossa conclusão. No fim, o artigo argumenta que ser transparente sobre nossa incerteza é a única maneira de realmente saber se uma política funcionou, em vez de apenas fingir que nossa máquina do tempo é impecável.