A median-based estimate of effect size - toward more intuitive comparisons in mathematics education research

Resumo Técnico: Uma Estimativa de Tamanho de Efeito Baseada na Mediana

Problema
A pesquisa em educação matemática frequentemente se baseia em Testes de Hipótese Nula (NHST), que gera conclusões binárias de "significativo/não significativo" fortemente dependentes do tamanho da amostra. Embora as estimativas de tamanho de efeito (como o d de Cohen) abordem a magnitude das diferenças, os autores argumentam que as medidas padrão muitas vezes falham em fornecer interpretações intuitivas ou significativas para a natureza específica dos dados da educação matemática. Problemas comuns incluem:

1. Suposições Distribuicionais: O d de Cohen e o g de Hedges assumem dados com distribuição normal e dependem de médias e desvios padrão, tornando-os vulneráveis à assimetria, caudas pesadas e valores atípicos (outliers) — características comuns em pontuações de testes, escalas Likert e ganhos de aprendizagem.
2. Interpretabilidade: Diferenças de médias padronizadas são sem unidade e frequentemente difíceis de serem interpretadas contextualmente pelos profissionais.
3. Tipos de Dados: Muitos dados da educação matemática são "naturalísticos" (por exemplo, avaliações de sala de aula) em vez de estritamente experimentais ou amostras aleatórias, tornando as suposições de amostragem tradicionais e os testes de significância potencialmente desonestos ou mal aplicados.
4. Dependência Excessiva de Estimativas Pontuais: Relatar apenas estimativas pontuais sem intervalos de confiança (IC) pode levar à sobreinterpretação de efeitos, particularmente em conjuntos de dados pequenos ou com baixa variância.

Metodologia
Os autores propõem um indicador de tamanho de efeito baseado na mediana, denotado como M(A, B), projetado para comparar dois conjuntos de dados numéricos, A e B.

• Definição: O estimador é definido como $M(A, B) = 2|\gamma(A)|/|A| - 1$, onde $\gamma(A) = \{a \in A : a \geq \text{mediana}(B)\}$. Conceitualmente, isso mede a probabilidade de um dado aleatório de A ser maior ou igual à mediana de B, ajustada para uma escala de [-1, 1].
• Propriedades Teóricas:
  • Funciona como uma "probabilidade de dominância baseada na mediana", contrastando com a dominância estocástica clássica (Prob(A > B)) usada em testes Mann-Whitney U.
  • É resistente à assimetria, caudas pesadas e valores atípicos porque se baseia na mediana em vez da média.
  • Para dados com distribuição normal, possui uma relação funcional não linear com o d de Cohen ($M = 2\Phi(d) - 1$), mas os autores argumentam que essa relação não deve ser usada para derivar M a partir de d para dados não normais.
  • Aproxima-se do delta de Cliff quando as distribuições são simétricas, mas comporta-se de forma mais robusta que o delta de Cliff quando os dados são assimétricos.
• Procedimento de Inferência: Para abordar a incerteza das estimativas pontuais, os autores empregam um procedimento de bootstrap frequentista. Eles geram distribuições de probabilidade tanto para o estimador baseado na mediana quanto para o d de Cohen por meio de reamostragem com reposição (ex: $10^4$ a $10^5$ vezes). Isso permite o cálculo de intervalos de confiança (IC) de 95% para as médias dos tamanhos de efeito, proporcionando uma visão transparente da confiabilidade da estimativa.

Principais Contribuições e Resultados
O artigo introduz o estimador baseado na mediana como uma ferramenta complementar às medidas existentes, demonstrando sua utilidade através de uma série de exemplos extraídos da literatura e de conjuntos de dados da educação matemática.

1. Robustez à Não-Normalidade: Em exemplos envolvendo distribuições assimétricas (ex: ganhos de pré-teste/pós-teste, dados de intervenção de álgebra precoce), o estimador baseado na mediana forneceu resultados estáveis onde o d de Cohen era potencialmente enganoso devido à não-normalidade ou valores atípicos extremos.
2. Interpretação Intuitiva: Os autores demonstram que o $M(A, B)$ pode ser interpretado visualmente (a proporção de uma distribuição excedendo a mediana de outra) e probabilisticamente (ex: "equivalente a retirar uma bola preta de uma urna").
3. Exemplos Empíricos:
   • Efeitos Grandes: Em casos como o impacto de uma intervenção de álgebra precoce (Blanton et al., 2015) ou diferenças de nível de série no pré-teste, o estimador baseado na mediana confirmou efeitos grandes (ex: $M \approx 0,93$) com intervalos de confiança estreitos, alinhando-se aos histogramas visuais.
   • Efeitos Médios: Comparações de tipos de problemas (prática intercalada vs. prática em bloco) e modelos curriculares mostraram efeitos moderados ($M \approx 0,38 - 0,47$) com intervalos de confiança afastados de zero.
   • Efeitos Pequenos/Nulos: Em comparações de diferenças de gênero em pontuações do TIMSS ou eficácia de livros didáticos, o estimador baseado na mediana apresentou estimativas pontuais pequenas ($M \approx 0,16$). Crucialmente, os intervalos de confiança do bootstrap para esses casos frequentemente incluíram o zero (ex: $[-0,19, 0,51]$), sinalizando que as diferenças observadas poderiam ser devidas ao acaso, uma nuance por vezes obscurecida apenas pelas estimativas pontuais.
4. Comparação com o d de Cohen: O estudo destaca que, embora o d de Cohen e o estimador baseado na mediana frequentemente correlacionem, eles podem divergir significativamente em dados assimétricos ou quando as variâncias são pequenas. Os autores observam que pequenas variâncias podem inflar artificialmente o d de Cohen, enquanto a abordagem baseada na mediana permanece estável.

Significância e Alegações
Os autores não alegam que o estimador baseado na mediana deva substituir o d de Cohen, o g de Hedges ou outras medidas estabelecidas. Em vez disso, posicionam-no como uma adição produtiva ao repertório do pesquisador para quantificar e interpretar diferenças de dados.

A principal significância do artigo reside na sua defesa de:

• Fundamentação Contextual: Fornecer uma métrica de tamanho de efeito que se alinhe mais proximamente à forma como pesquisadores e profissionais raciocinam sobre o desempenho dos alunos (ex: "quantos alunos melhoraram além da mediana do grupo de controle?").
• Transparência e Honestidade: Enfatizar que o tamanho de efeito é uma distribuição de probabilidade, não apenas um número. Os autores argumentam que relatar intervalos de confiança de 95% via métodos de bootstrap é essencial para um relato honesto, particularmente para conjuntos de dados pequenos ou com baixa variância, para evitar a sobreinterpretação de estimativas pontuais.
• Robustez: Oferecer um método que não exige a suposição de normalidade, tornando-o adequado para os dados "naturalísticos", assimétricos e heterogêneos frequentemente encontrados na pesquisa em educação matemática.

Em última análise, o artigo sugere que combinar o estimador baseado na mediana com intervalos de confiança e representações visuais de dados (histogramas suaves) aborda melhor as questões fundamentais de se um efeito é real, quão grande ele é e se é praticamente útil.