Sequential generalized kernel equating: Providing comparable scores across multiple test forms with nonequivalent groups and differently measured covariates

Resumo Técnico: Equação Sequencial de Kernel Generalizado

Declaração do Problema
A equação de testes é essencial para garantir a equidade ao comparar pontuações de múltiplas formas de teste administradas a diferentes grupos. Em situações onde os grupos não são equivalentes e não há um teste âncora (itens comuns) disponível, o desenho de Grupos Não Equivalentes com Covariáveis (NEC) é frequentemente empregado. Este desenho baseia-se na suposição crítica de distribuições condicionais invariantes à população: que, uma vez consideradas as covariáveis (por exemplo, notas escolares, pontuações em testes anteriores), a distribuição das pontuações do teste é idêntica entre os grupos.

No entanto, essa suposição é ameaçada quando as próprias covariáveis são medidas usando diferentes formas de teste com dificuldades ou escalas variadas entre os grupos. Nesses casos, a covariável não representa uma linha de base puramente pré-tratamento, mas é influenciada pela forma específica de teste administrada. Condicionar a tais covariáveis "pós-tratamento" ou não invariantes pode introduzir viés nos resultados da equação, pois a relação entre a covariável e a pontuação-alvo do teste pode diferir entre os grupos. O artigo aborda a falta de um método robusto para lidar com essas violações específicas dentro do quadro de equação de kernel.

Metodologia
Os autores propõem a Equação Sequencial de Kernel Generalizado (Equação Sequencial GKE), uma extensão em duas etapas do método padrão de Equação de Kernel Generalizado (GKE) projetado para o desenho NEC.

1. Contexto do GKE Padrão: O artigo utiliza o quadro padrão do GKE, que envolve cinco etapas: alisamento prévio (usando modelos log-lineares), estimativa de probabilidades de pontuação, continuização (usando kernels Gaussianos), definição da função de equação e cálculo de erros padrão. O GKE padrão assume que as covariáveis são medidas na mesma escala entre as populações.
2. A Abordagem Sequencial: Para abordar diferenças de escala nas covariáveis, o método proposto introduz uma etapa intermediária de equação:
   • Etapa 1 (Equação da Covariável): A covariável $C$ (especificamente aquela medida por diferentes formas) é primeiro equacionada entre as duas populações não equivalentes ($P$ e $Q$). Isso transforma os valores observados da covariável na população $Q$ ($C$) em valores equacionados ($C^*$) que são comparáveis à distribuição na população $P$. Esta etapa remove efetivamente os efeitos da forma da covariável antes que ela seja usada para ajustar as pontuações principais do teste.
   • Etapa 2 (Equação da Pontuação Principal): O procedimento padrão do GKE é então aplicado para equacionar as pontuações principais do teste ($X$ e $Y$). Crucialmente, as distribuições de probabilidade conjunta usadas nesta etapa incorporam os valores transformados e equacionados da covariável ($C^*$) em vez dos valores observados brutos. Isso garante que a suposição de distribuição condicional seja mais provável de se manter, pois a covariável agora está em uma escala comum.

Estudo de Simulação e Resultados
Os autores avaliaram o método proposto por meio de um estudo de simulação usando o desenho NEC, variando as dificuldades das formas de teste, a força da correlação entre a covariável e a pontuação do teste e os tamanhos de amostra.

• Violação de Suposição: Quando a covariável foi medida com diferentes dificuldades entre os grupos (violando a suposição de distribuição condicional invariante), o GKE padrão produziu viés significativo nas pontuações equacionadas. Esse viés foi particularmente pronunciado quando a correlação entre a covariável e a pontuação do teste era forte.
• Desempenho do GKE Sequencial: A aplicação da abordagem sequencial reduziu significativamente esse viés. Ao equacionar a covariável primeiro, o método restaurou a comparabilidade, levando a resultados de equação mais precisos.
• Compensações: Embora a equação da covariável tenha introduzido um ligeiro aumento no Erro Padrão de Equação (SEE) devido à variabilidade adicional da etapa de transformação, o Erro Quadrático Médio (RMSE) geral melhorou. Isso indica uma compensação favorável onde a redução no viés superou o pequeno aumento na variância, particularmente com tamanhos de amostra maiores.
• Correlação Fraca: Quando a relação entre a covariável e a pontuação do teste era fraca, o viés decorrente da violação da suposição foi menos severo, mas o método sequencial ainda forneceu melhorias sem inflação substancial do SEE.

Aplicação a Dados Reais
O método foi aplicado a dados de um exame nacional de conclusão do ensino médio (teste de Língua Inglesa) administrado nos períodos de primavera e outono ao longo de três anos. A pontuação do teste de Língua Nativa (NL) foi usada como covariável.

• Contexto: O teste de NL é obrigatório, mas o teste de Inglês é opcional. Os autores notaram que as pontuações de NL podem variar ligeiramente em dificuldade entre os períodos/anos.
• Descobertas: Neste conjunto de dados específico, as formas do teste de NL pareceram relativamente estáveis ao longo do tempo. Consequentemente, a diferença entre o uso de pontuações de NL brutas e pontuações de NL equacionadas no modelo de GKE sequencial foi mínima. As pontuações de Inglês equacionadas foram muito semelhantes entre as abordagens padrão e sequencial.
• Implicação: Isso sugere que, quando as covariáveis são estáveis, o passo extra pode não ser necessário. No entanto, os autores enfatizam que o método sequencial é uma salvaguarda contra o viés substancial observado na simulação quando a invariância da covariável é violada.

Significado e Alegações
O artigo alega que o GKE Sequencial oferece uma solução metodológica para avaliações educacionais de alto impacto onde:

1. Não há um teste âncora disponível.
2. Os grupos não são equivalentes.
3. As covariáveis de fundo são medidas usando diferentes instrumentos ou formas que podem não ser diretamente comparáveis.

Os autores afirmam que essa abordagem mitiga o risco de resultados de equação enviesados causados por violações da suposição de distribuições condicionais invariantes à população. Eles destacam que, embora o GKE padrão seja sensível a tais violações, a abordagem sequencial alinha as escalas de medição das covariáveis antes da equação principal, aumentando assim a equidade e a comparabilidade das pontuações. O estudo conclui que os praticantes devem verificar empiricamente a estabilidade da covariável; se houver suspeita de violação da invariância, o GKE sequencial fornece um mecanismo robusto para corrigir essas discrepâncias, mesmo que a aplicação no mundo real tenha mostrado apenas desvios menores devido à estabilidade dos dados específicos utilizados.