Propensity score adjustment when errors in achievement measures inform treatment assignment

Resumo Técnico: Ajuste de Escore de Propensão quando Erros em Medidas de Desempenho Informam a Atribuição de Tratamento

Problema
O artigo aborda um desafio específico na avaliação de intervenções em nível escolar, como a iniciativa de Dias Escolares Adicionais (ADSY) do Texas, onde a atribuição de tratamento é impulsionada por lacunas de desempenho em subgrupos demográficos. Em muitas escolas, esses subgrupos (por exemplo, grupos raciais/étnicos específicos) são pequenos, levando a pontuações de testes de final de ano que são medições ruidosas das pontuações médias "reais" dos estudantes.

Sob a teoria clássica dos testes, uma pontuação obtida ($W$) é a soma de uma pontuação verdadeira ($X$) e um erro aleatório ($\epsilon$). Embora o mecanismo de atribuição da intervenção ($T$) seja determinado pelas pontuações obtidas ($W$), os autores argumentam que, para uma inferência causal válida, o escore de propensão (PS) deve idealmente equilibrar as escolas nas pontuações verdadeiras não observadas ($X$). A estimativa padrão do escore de propensão usando as pontuações ruidosas obtidas ($W$) falha em equilibrar as pontuações verdadeiras ($X$) quando o erro de medição é "diferencial" — isto é, quando $W$ e $T$ não são condicionalmente independentes dado $X$. Isso ocorre porque o mecanismo de atribuição responde explicitamente ao $W$ ruidoso, não apenas ao $X$ subjacente. Além disso, os limiares de reporte público retêm as médias dos subgrupos para grupos muito pequenos, criando problemas de dados ausentes que impedem a estimativa padrão do PS para essas escolas.

Metodologia
Os autores propõem dois métodos para estimar escores de propensão que equilibram as pontuações médias verdadeiras dos subgrupos ($X$) em vez das pontuações obtidas ($W$), utilizando estimativas externas da variância do erro de medição (Erros Padrão Condicionais de Medição, ou CSEMs) fornecidas pelas agências estaduais de educação.

1. Escore de Propensão por Calibração de Regressão (RC):

   • Esta abordagem substitui as pontuações obtidas sujeitas a erro ($W$) no modelo de PS pelas previsões de Bayes Empírico (EB) das pontuações verdadeiras ($\hat{X}$).
   • As previsões de EB são derivadas de um Modelo Linear Hierárquico (HLM) de dois níveis que considera a variabilidade entre escolas e entre subgrupos dentro das escolas.
   • A estimativa externa da variância do erro de medição ($\Sigma_i$), derivada dos CSEMs, é crucial para identificar os efeitos aleatórios no HLM.
   • O modelo de PS é então uma regressão logística da atribuição de tratamento sobre as pontuações verdadeiras previstas ($\hat{X}$) e outras covariáveis livres de erro ($Z$).

2. Escore de Propensão por Máxima Verossimilhança (ML):

   • Esta abordagem modela conjuntamente a atribuição de tratamento ($T$) e as pontuações obtidas ($W$) condicionais às pontuações verdadeiras ($X$) e covariáveis livres de erro ($Z$).
   • Assume-se que $W$ captura todos os efeitos de $X$ sobre $T$ (ou seja, $T \perp W | X, Z$), reconhecendo que $W$ atua como um "substituto fraco".
   • O escore de propensão alvo, $e(X, Z)$, é obtido integrando $W$ para fora da distribuição conjunta de $T$ e $W$.
   • Como a integral resultante (uma integral logístico-normal) é analiticamente intratável, os autores utilizam uma aproximação rápida baseada em Monahan e Stefanski (1992), representando a integral como uma mistura de localização-escala de funções de distribuição normal.
   • Este método gera estimativas de PS que condicionam apenas em $X$ e $Z$, marginalizando efetivamente o ruído.

Principais Resultados
Os autores avaliaram esses métodos por meio de estudos de simulação e uma aplicação à iniciativa ADSY do Texas.

• Estudo de Simulação:

  • Sobreposição e Pareamento: Os métodos ML e RC melhoraram significativamente a sobreposição entre os grupos de intervenção e controle em comparação com uma abordagem "ingênua" (regressão logística padrão sobre $W$). Em cenários com subgrupos pequenos propensos a alto erro de medição, a abordagem ingênua excluiu até 21% das escolas de intervenção da análise devido à falta de correspondências (violações de positividade), enquanto a abordagem ML excluiu apenas 2%.
  • Equilíbrio: O pareamento utilizando estimativas ML e RC resultou em um melhor equilíbrio nas pontuações verdadeiras dos subgrupos ($X$) do que o pareamento com estimativas ingênuas.
  • Erro de Estimativa: As estimativas de efeito resultantes (Efeito Médio do Tratamento sobre os Tratados) apresentaram menor Erro Quadrático Médio (RMSE) quando utilizando estimativas de PS por ML ou RC. O estimador ML, em particular, mostrou uma relação favorável: embora tenha exibido um pouco mais de viés em cenários específicos de heterogeneidade de erro, demonstrou uma redução substancial na variância, levando a um RMSE superior no geral.

• Aplicação ao ADSY do Texas:

  • Os métodos foram aplicados a dados de nível escolar público onde as médias dos subgrupos para grupos pequenos foram retidas.
  • Ao contrário da abordagem ingênua, que requer a imputação de dados ausentes para funcionar, os métodos RC e ML podem gerar estimativas de PS para escolas com dados retidos usando apenas as previsões de EB e as estimativas de variância do erro.
  • O pareamento nas estimativas de PS por ML alcançou o melhor equilíbrio nas pontuações verdadeiras previstas entre os três métodos, com as menores diferenças padronizadas médias.
  • Um teste de placebo nas pontuações de 2019 para subgrupos não utilizados no modelo de PS (estudantes Asiáticos e Brancos) revelou desequilíbrios significativos para estudantes Asiáticos em todos os métodos, atribuídos a tamanhos de subgrupos extremamente pequenos (mediana de 0 estudantes em alguns casos), destacando os limites do equilíbrio quando os dados são escassos.

Significância e Alegações
O artigo afirma que seus métodos propostos oferecem uma solução prática para avaliar intervenções onde a atribuição de tratamento é impulsionada por medidas de desempenho ruidosas e de amostra pequena. As principais contribuições são:

1. Abordagem do Erro de Medição Diferencial: Os métodos consideram explicitamente o fato de que o erro de medição influencia a atribuição de tratamento, indo além da suposição de erro não diferencial frequentemente exigida pela calibração de regressão padrão.
2. Tratamento de Dados Ausentes: As abordagens permitem a estimativa de PS em escolas onde as médias dos subgrupos são retidas dos dados públicos, um problema comum na pesquisa educacional, sem exigir o acesso a dados de nível de estudante restritos para imputação.
3. Melhoria da Positividade: Ao reduzir a variabilidade das estimativas de PS, os métodos melhoram a sobreposição entre os grupos de tratamento e controle, reduzindo a necessidade de excluir escolas de intervenção da análise e preservando assim o tamanho da amostra e a precisão.
4. Compromisso Viés-Variância: O estimador ML oferece uma solução convincente para o compromisso entre o viés do confundidor e o viés de violações de positividade, proporcionando estimativas de efeito mais precisas na presença de erro de medição significativo.

Os autores observam que, embora seus métodos melhorem em relação ao ato de ignorar o erro de medição, eles dependem da disponibilidade de estimativas externas de erro de medição (CSEMs) e assumem que a distribuição do erro é Gaussiana (para o método ML). Eles reconhecem que trabalhos futuros são necessários para entender o comportamento do estimador ML quando diferentes subgrupos possuem distribuições de erro de medição distintas.