Jackknife inference with two-way clustering

Este artigo propõe e valida uma nova família de estimadores de variância robusta ao agrupamento bidimensional baseada no jackknife de clusters, que, quando combinada com métodos para evitar matrizes de variância indefinidas, oferece inferências mais precisas em amostras finitas para modelos de efeitos fixos, com implementação disponível no pacote Stata `twowayjack`.

O essencial

Imagine que você é um detetive tentando descobrir se uma nova pílula de energia realmente funciona. Você testa em um grupo de pessoas. Mas, para ser justo, você precisa ter certeza de que os resultados não são apenas "sorte" ou "azar".

Na estatística, usamos uma ferramenta chamada Intervalo de Confiança (ou "margem de erro") para dizer: "Estamos 95% seguros de que o efeito real está entre X e Y". Se a margem de erro for muito pequena, podemos ter certeza. Se for grande, talvez não valha a pena confiar no resultado.

O problema que este artigo resolve é o seguinte: Como calcular essa margem de erro quando os dados vêm de grupos que se sobrepõem?

O Cenário: O "Café da Manhã" e o "Trânsito"

Vamos usar uma analogia simples. Imagine que você está estudando o tempo que as pessoas levam para chegar ao trabalho.

1. Dimensão 1 (Cidade): As pessoas moram em diferentes cidades. Pessoas da mesma cidade tendem a ter trânsito parecido.
2. Dimensão 2 (Empresa): As pessoas trabalham em diferentes empresas. Pessoas da mesma empresa podem ter horários de saída parecidos.

Aqui está o problema: Uma pessoa pode morar na Cidade A e trabalhar na Empresa B. Ela pertence a dois grupos ao mesmo tempo. Isso é o que os economistas chamam de Agrupamento Bidirecional (Two-Way Clustering).

O Problema: A "Balança Quebrada"

Para calcular a margem de erro correta, os estatísticos usam uma fórmula complexa (chamada de Estimador de Variância Robusta a Agrupamentos).

Imagine que essa fórmula é como uma balança de banheiro.

• O método antigo (chamado de CV1) tenta pesar o "Cidade", a "Empresa" e a "Interseção" (Cidade + Empresa) juntos.
• O problema é que, em amostras pequenas ou desequilibradas (ex: muita gente em São Paulo, pouca em uma cidadezinha), essa balança pode quebrar. Ela pode mostrar um peso negativo ou um número sem sentido.
• Quando a balança quebra, o computador diz: "Erro: Não consigo calcular". Ou pior, ele calcula um número que parece certo, mas está totalmente errado, fazendo você acreditar em algo que não é verdade (como achar que a pílula de energia funciona quando não funciona).

Os autores do artigo (MacKinnon, Nielsen e Webb) dizem: "Ei, essa balança antiga é perigosa. Vamos consertá-la ou usar uma nova."

A Solução 1: O "Método do Maior" (Max-SE)

Quando a balança antiga quebra, os autores sugerem uma solução inteligente e simples, que eles chamam de Procedimento Max-SE.

Imagine que você tem três balanças diferentes para pesar a mesma coisa:

1. Uma que pesa apenas o efeito da Cidade.
2. Uma que pesa apenas o efeito da Empresa.
3. Uma que tenta pesar Cidade + Empresa (a que costuma quebrar).

Se a balança 3 quebrar ou mostrar um peso estranho, o método diz: "Não se preocupe! Pegue o resultado da balança 1 e da 2. Qual delas deu o peso MAIOR? Use esse."

Por que o maior? Porque na estatística, ser conservador é bom. Se você escolher a margem de erro maior, você está dizendo: "Estou tão inseguro que vou aumentar minha margem de erro para garantir que não estou mentindo". Isso evita que você cometa erros de achar que descobriu algo novo quando não descobriu.

A Solução 2: O "Jackknife" (O Cortador de Pão)

A segunda grande contribuição do artigo é uma nova balança, chamada Jackknife de Agrupamento.

Imagine que você tem um pão inteiro (seus dados) e quer saber se ele está bem assado.

• O método antigo olha para o pão inteiro e tenta adivinhar.
• O método Jackknife é como tirar fatias do pão, uma de cada vez. Você tira uma fatia, pesa o resto, tira outra, pesa o resto... e vê como o peso muda.

Se, ao tirar uma fatia (um grupo de dados), o peso muda muito, significa que aquele grupo era muito importante e a margem de erro deve ser maior. Se o peso não muda, a margem pode ser menor.

Os autores criaram uma versão desse "cortador de pão" que funciona para os dois lados (Cidade e Empresa) ao mesmo tempo. Eles provaram matematicamente que essa nova balança é muito mais estável e não quebra, mesmo quando os dados são bagunçados.

O Resultado: Por que isso importa?

Os autores testaram isso com milhões de simulações de computador e com dados reais (como o impacto da mosca tsé-tsé no desenvolvimento da África e salários mínimos no Canadá).

O que eles descobriram?

1. O método antigo (CV1) frequentemente diz: "Olha, é significativo! É real!" (mas muitas vezes está mentindo).
2. O novo método (Jackknife + Max-SE) diz: "Espere. A margem de erro é maior. Não temos certeza suficiente para dizer que é real."

Em muitos casos, o método antigo nos fazia acreditar em descobertas que, na verdade, eram apenas ruído estatístico. O novo método é mais "cético" e, portanto, mais confiável.

Resumo para Levar para Casa

1. Dados agrupados em duas direções (ex: pessoas por cidade e por empresa) são comuns, mas difíceis de analisar.
2. Os métodos antigos muitas vezes falham ou dão resultados falsos quando os grupos são pequenos ou desiguais.
3. Os autores propõem duas soluções:
   • Usar sempre o maior erro entre as opções disponíveis (para ser seguro).
   • Usar uma nova técnica de "cortar fatias" (Jackknife) que é matematicamente mais robusta.
4. O benefício: Evita que cientistas, economistas e políticos tomem decisões baseadas em estatísticas que parecem boas, mas são ilusórias. É como trocar uma régua de plástico que estica por uma de aço inquebrável.

Eles até criaram um "kit de ferramentas" (um software chamado twowayjack) para que qualquer pessoa possa usar essa nova balança mais segura em seus próprios estudos.

Resumo técnico

Resumo Técnico: Inferência Jackknife com Agrupamento Bidimensional

1. O Problema

Em modelos de regressão linear com dados de corte transversal ou painéis, é comum assumir que os erros (distúrbios) apresentam correlação em duas dimensões (agrupamento bidimensional). Embora estimadores de variância robustos ao agrupamento (CRVE - Cluster-Robust Variance Estimators) sejam amplamente utilizados, as propriedades em amostras finitas para o caso bidimensional são frequentemente pobres.

Os principais desafios identificados pelos autores são:

• Não Positividade Definida: O estimador CRVE padrão de três termos (proposto por Cameron, Gelbach e Miller, 2011), denotado como $\hat{V}^{(3)}_1$, não é garantido de ser positivo definido em amostras finitas. Isso pode resultar em erros padrão indefinidos ou estatísticas de teste absurdamente grandes.
• Viés e Inconsistência: Alternativas comuns, como omitir o termo de interseção (estimador de dois termos, $\hat{V}^{(2)}_1$) ou usar decomposição espectral para corrigir autovalores negativos, podem levar a testes excessivamente conservadores (sub-rejeição) ou inconsistentes, especialmente quando há heterogeneidade no tamanho dos clusters ou efeitos fixos.
• Desempenho em Amostras Finitas: A inferência baseada nos estimadores tradicionais (CV1) tende a super-rejeitar a hipótese nula (tamanho do teste inflado) em cenários com poucos clusters, clusters de tamanhos variados ou efeitos fixos.

2. Metodologia Proposta

Os autores propõem e analisam uma família de novos estimadores de variância baseados no Jackknife de Cluster (CV3) adaptado para agrupamento bidimensional.

• Estimadores Jackknife Bidimensionais (CV3):
  A ideia central é calcular estimativas de parâmetros omitindo um cluster de cada vez em três dimensões:

  1. Dimensão G (clusters da primeira dimensão).
  2. Dimensão H (clusters da segunda dimensão).
  3. Dimensão I (interseções não vazias de G e H).

  O estimador final é construído analogamente ao caso de um termo: $\hat{V}^{(3)}_3 = \hat{V}^{JK}_G + \hat{V}^{JK}_H - \hat{V}^{JK}_I$.

• Procedimento "Max-SE" (Máximo Erro Padrão):
  Para resolver o problema de matrizes de variância que não são positivas definidas (ou que geram estatísticas de Wald negativas), os autores propõem um procedimento simples e robusto:

  • Calcular três estatísticas de teste (ou três erros padrão) baseados nas dimensões G, H e na interseção (ou no estimador de três termos).
  • Utilizar o maior erro padrão (ou a menor estatística de teste positiva) entre as três opções.
  • Formalmente, para uma restrição única, usa-se $\hat{V}^{(max)} = \max\{\hat{V}^{(3)}, \hat{V}_G, \hat{V}_H\}$. Isso evita erros padrão indefinidos e impede que a correção de autovalores (eigen-decomposition) distorça excessivamente os resultados.

• Tratamento de Efeitos Fixos:
  O artigo discute como lidar com efeitos fixos bidimensionais (comuns em dados de painel), onde a inversão direta de matrizes ao omitir clusters pode ser impossível. Eles propõem o uso de inversas generalizadas ou a exclusão de subamostras singulares, garantindo que o estimador Jackknife seja computável mesmo com efeitos fixos.

3. Contribuições Principais

1. Prova de Consistência: Os autores provam teoricamente que o estimador Jackknife bidimensional ($\hat{V}^{(3)}_3$) é consistente sob condições padrão de momentos e restrições de tamanho de cluster.
2. Novo Procedimento de Correção (Max-SE): Apresentam uma solução prática e computacionalmente eficiente para o problema da não positividade definida, que é superior às correções por autovalores em muitos cenários, pois preserva a estrutura do estimador sem introduzir viés de sub-rejeição excessivo.
3. Implementação de Software: Desenvolveram o pacote Stata twowayjack, que implementa os estimadores recomendados (CV3 e CV3 com Max-SE) e fornece estatísticas diagnósticas (como coeficientes de variação de alavancagem e número efetivo de clusters).
4. Análise de Simulação Abrangente: Realizaram extensas simulações cobrindo variações no tamanho dos clusters, correlação intra-cluster, número de regressores, presença de efeitos fixos e interseções vazias.

4. Resultados das Simulações e Evidências Empíricas

• Desempenho Superior do CV3: Em quase todos os cenários simulados, os testes baseados no estimador Jackknife (especialmente a versão CV(max)3) apresentam taxas de rejeição muito mais próximas do tamanho nominal (ex: 5%) do que os estimadores tradicionais (CV1).
• Robustez a Heterogeneidade: O estimador CV3 lida muito melhor com variações no tamanho dos clusters e com a presença de interseções vazias do que o CV1.
• Problemas do CV1: O estimador CV1 (três termos) tende a super-rejeitar severamente quando há poucos clusters, muitos regressores ou quando a correlação intra-cluster é fraca. A correção por autovalores (CV3+) muitas vezes piora o desempenho do CV3, tornando-o excessivamente conservador.
• Estudos de Caso Empíricos:
  • Exemplo 1 (Mosca Tse-Tse na África): A aplicação do método proposto alterou significativamente as conclusões estatísticas em relação ao estudo original, mostrando que a evidência para alguns resultados era mais fraca do que parecia com métodos convencionais.
  • Exemplo 2 (Salário Mínimo no Canadá): Com apenas 12 anos e 10 províncias (poucos clusters), os métodos convencionais indicavam significância estatística forte. No entanto, as simulações de "placebo" e os métodos Jackknife mostraram que essas conclusões eram espúrias, com taxas de rejeição de placebo muito acima de 5%. O método CV(max)3 forneceu resultados mais confiáveis.

5. Significado e Conclusão

O artigo estabelece que a inferência padrão com agrupamento bidimensional, baseada em estimadores de variância convencionais (CV1), é frequentemente não confiável em amostras finitas, especialmente na presença de efeitos fixos e heterogeneidade.

A principal conclusão é que a combinação do estimador Jackknife de Cluster (CV3) com o procedimento de máximo erro padrão (Max-SE) oferece uma abordagem superior para inferência estatística. Este método:

• Garante a positividade definida do estimador.
• Mantém o tamanho do teste próximo ao nominal mesmo em cenários adversos (poucos clusters, clusters desbalanceados).
• É implementável via software acessível (twowayjack para Stata).

Os autores recomendam que pesquisadores abandonem o uso cego de CRVEs tradicionais bidimensionais em favor dos métodos baseados em Jackknife, especialmente quando o número de clusters é pequeno ou a estrutura dos dados é complexa.