📊 statistics

A Bayesian Approach to Estimating Effect Sizes in Educational Research

Este artigo apresenta uma abordagem puramente bayesiana para estimar tamanhos de efeito dentro e entre grupos em pesquisas educacionais, utilizando o pacote `brms` no R para modelar a estrutura multinível e variâncias residuais heterogêneas, com o objetivo de avaliar a eficácia diferencial de intervenções educacionais.

Autores originais: Yannis Bähni

Publicado 2026-04-02

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yannis Bähni

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um professor tentando descobrir se um novo método de ensino (vamos chamar de "Método Mágico") funciona melhor do que o método tradicional. Você testa isso em várias turmas diferentes. O problema é que as turmas não são todas iguais: algumas têm alunos mais rápidos, outras mais lentos, e o "Método Mágico" pode funcionar maravilhosamente bem em uma turma, mas ser apenas "ok" em outra.

Até agora, a ciência educacional usava uma régua muito simples (chamada estatística clássica) para medir isso. Essa régua dava um único número: "O método funcionou!" ou "Não funcionou". Mas essa régua era cega para as diferenças entre as turmas e muitas vezes superestimava o sucesso, como se todos os alunos aprendessem exatamente da mesma forma.

Este artigo, escrito por Yannis Bähni, propõe uma nova ferramenta: uma lupa bayesiana multivariada. Em vez de uma régua única, essa lupa nos permite ver a "nuvem" inteira de resultados, entendendo que cada turma é um mundo à parte.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema da "Fotografia Única" vs. O "Filme Completo"

Imagine que você quer medir o crescimento de plantas em diferentes vasos.

O jeito antigo (Frequentista): Você tira uma foto média de todas as plantas e diz: "Elas cresceram 5 cm". Se uma planta cresceu 10 cm e outra 0 cm, a média é 5 cm. Mas essa foto esconde o fato de que o vaso de barro funcionou muito melhor que o de plástico.
O jeito novo (Bayesiano): Em vez de uma foto, você faz um filme. Você vê que o vaso de barro cresceu 10 cm, o de plástico 0 cm, e o de vidro 7 cm. Você não apenas mede o crescimento, mas mede quão variável foi esse crescimento.

O artigo diz que, na educação, precisamos desse "filme". O novo método calcula não apenas o tamanho do efeito (quanto o aluno aprendeu), mas também o desvio padrão desse efeito entre as turmas. Isso nos diz: "O método funciona bem em média, mas é muito instável; em algumas turmas é incrível, em outras, quase não funciona."

2. As Três Réguas do "D" (ds, dz, dn)

O artigo fala sobre diferentes formas de medir o "tamanho do efeito" (como a famosa "d de Cohen"). Pense nelas como diferentes tipos de réguas para medir o mesmo objeto, dependendo de como você o segura:

A Régua ds (Entre Grupos): Imagine comparar duas equipes de futebol diferentes (uma treinada com o método novo, outra com o antigo) em um único dia. Essa régula mede a diferença entre as duas equipes. É útil para saber quem venceu a partida.
A Régua dz (Dentro do Mesmo Grupo - Pareada): Agora, imagine medir o mesmo time antes e depois do treino. O problema aqui é que os jogadores já têm um nível de habilidade natural. Se você apenas subtrair o "antes" do "depois", pode achar que o treino foi melhor do que foi, porque os jogadores já eram bons. A régua dz corrige isso, descontando a "memória" do jogador (a correlação entre o teste inicial e o final). É como medir o ganho real, limpando o ruído do talento natural.
A Régua dn (Ganhos Normalizados): Imagine um aluno que já sabe 99% da matéria. Ele não pode aprender "mais 50%", porque o teto é 100%. Se ele aprender mais 1%, isso é um feito enorme! Mas uma régua comum diria que ele aprendeu pouco. A régua dn ajusta a medida para o "teto" do conhecimento, sendo justa para quem já sabe muito.

3. A Estrutura Multinível: O "Ninho de Pássaros"

Na educação, os alunos não são soltos no mundo; eles estão em turmas, e as turmas estão em escolas.

O jeito antigo: Tratava todos os 1.377 alunos como se estivessem numa sala gigante, ignorando que eles estavam em 62 turmas diferentes.
O jeito novo: Reconhece a estrutura de "ninho". Os alunos são os filhotes, as turmas são os ninhos. O método bayesiano permite ver se o "Método Mágico" funciona bem em todos os ninhos ou apenas em alguns.

Se você ignorar os ninhos, pode achar que o método é ótimo, quando na verdade ele só funciona bem em turmas com professores experientes. O novo método mostra essa variação: "O efeito médio é positivo, mas a variação entre as turmas é alta, então cuidado ao aplicar em qualquer lugar."

4. Por que usar o "Bayesiano"? (A Diferença entre "Sim/Não" e "Probabilidade")

O jeito antigo (P-valor): É como um semáforo. Se a luz estiver verde, você diz "Funciona!". Se estiver vermelha, "Não funciona!". É tudo ou nada.
O jeito novo (Bayesiano): É como um mapa de densidade de tráfego. Em vez de dizer "o trânsito está parado", ele diz: "Há 95% de chance de que o efeito esteja entre 0,2 e 0,4, e aqui está a forma exata da curva de probabilidade".
- Isso permite ver a incerteza. Você não precisa de um "Sim" absoluto. Você pode dizer: "É muito provável que funcione, mas há uma pequena chance de não funcionar em certas condições".

5. O Resultado Prático: "Eficácia Diferencial"

A grande descoberta do artigo é o conceito de Eficácia Diferencial.
Ao usar essa nova ferramenta, os pesquisadores descobriram que o "Método Mágico" não é um "tamanho único".

Na pré-avaliação (antes da aula), a vantagem do método era parecida em todas as turmas (homogênea).
Na pós-avaliação (depois da aula), a vantagem se espalhou. Em algumas turmas, o método foi incrível; em outras, foi mediano; e em algumas raras, a turma de controle (método antigo) até venceu.

A lição final: Se você usar o método antigo, você diria "O método funcionou bem". Se usar o novo, você dirá: "O método funcionou bem em média, mas é muito sensível ao tipo de turma. Se você aplicar em uma turma difícil sem ajustes, pode não funcionar."

Resumo para o Professor ou Gestor

Este artigo ensina que, para avaliar se uma nova técnica de ensino funciona, não basta olhar a média geral. É preciso usar uma abordagem estatística mais sofisticada (Bayesiana) que:

Reconhece que turmas são diferentes (não tratamos todos como iguais).
Usa várias réguas (ds, dz, dn) para medir o aprendizado de formas diferentes.
Mostra não apenas se funcionou, mas quão consistente foi o sucesso entre diferentes grupos.

É como passar de uma fotografia em preto e branco e borrada para um filme em 4K com som surround: você vê os detalhes, as sombras e a realidade complexa do que realmente acontece na sala de aula.

Resumo Técnico: Abordagem Bayesiana para Tamanhos de Efeito em Pesquisa Educacional

1. O Problema

A pesquisa educacional frequentemente lida com dados complexos que possuem uma estrutura multinível (alunos aninhados em turmas) e variâncias residuais heterogêneas entre grupos e momentos temporais. Os métodos tradicionais de cálculo de tamanhos de efeito (como o Cohen's d ou Hedges' g) apresentam várias limitações neste contexto:

Estimativas Pontuais: Fornecem apenas um valor único, ignorando a incerteza e a distribuição completa do efeito.
Ignorância da Estrutura Multinível: A maioria dos métodos clássicos não leva em conta a dependência dos dados (alunos dentro de turmas), o que pode levar a sub ou superestimação dos efeitos.
Assunções Rígidas: Frequentemente assumem homocedasticidade (variâncias iguais) e normalidade estrita, o que raramente ocorre em cenários reais de ensino e aprendizagem.
Falta de Consistência na Definição: Em designs de medidas repetidas (pré-teste/pós-teste), há múltiplas fórmulas para "Cohen's d" ( $d_s$ , $d_z$ ), e a escolha inadequada pode resultar em viés ou falta de reprodutibilidade.
Viés de Publicação: Meta-análises frequentistas tendem a superestimar efeitos devido à publicação seletiva de resultados positivos.

2. Metodologia

O artigo propõe uma abordagem puramente Bayesiana para estimar tamanhos de efeito, utilizando o pacote brms no R (que atua como interface para a linguagem de programação probabilística Stan).

Modelagem Hierárquica (Multinível): O estudo utiliza modelos lineares hierárquicos que incluem:
- Efeitos Fixos: Para estimar médias populacionais e diferenças entre condições (controle vs. intervenção).
- Efeitos Aleatórios: Para capturar a variabilidade entre turmas (interceptos aleatórios) e, crucialmente, inclui inclinações aleatórias (random slopes) para interações tempo x condição, permitindo que o efeito da intervenção varie entre turmas.
Variâncias Residuais Heterogêneas: Ao contrário dos modelos ANOVA tradicionais que assumem variância constante, este modelo permite que a variância residual ( $\sigma$ ) varie dependendo do tempo (pré/pós) e da condição (controle/intervenção), utilizando a especificação sigma ~ ... no brms.
Distribuições Robustas: Utiliza a distribuição Student-t (família student()) para os dados, tornando o modelo mais robusto a outliers e distribuições não normais, em vez de assumir estritamente a normalidade.
Cálculo de Tamanhos de Efeito:
- Design Agrupado (Between-Group): Calcula $d_s$ (semelhante ao Cohen's d) usando a variância total, incorporando componentes de variância dos efeitos aleatórios e residuais.
- Design Emparelhado (Within-Group): Calcula tanto $d_s$ (ignora correlação) quanto $d_z$ (considera a correlação entre pré e pós-teste, análogo ao teste t pareado).
- Ganhos Normalizados: Introduz também $d_n$ para ganhos de aprendizagem normalizados, útil quando há efeitos de teto.
Inferência: Em vez de intervalos de confiança baseados em bootstrapping, o método gera distribuições posteriores completas para os tamanhos de efeito, permitindo a extração de Intervalos Credíveis (CrI) e a análise da variabilidade do efeito entre turmas.

3. Contribuições Principais

Tutorial de Implementação: Fornece um guia prático e detalhado de como implementar modelos multiníveis bayesianos com variâncias heterogêneas no brms para pesquisa educacional.
Fórmulas de Variância Total: Adapta as ideias de Hedges (2007) para o contexto bayesiano multinível, criando fórmulas para $d_s$ e $d_z$ que somam todas as fontes de variância (residual, entre indivíduos e entre turmas).
Análise de Eficácia Diferencial: Demonstra que, além da média do efeito, é crucial reportar o desvio padrão do efeito entre as turmas. Isso revela se uma intervenção é consistentemente eficaz ou se seu sucesso depende fortemente do contexto da turma.
Comparação de Métricas: Estabelece diretrizes claras sobre quando usar $d_s$ , $d_z$ ou $d_n$ em diferentes designs de randomização (dentro da turma vs. entre turmas), recomendando o reporte de múltiplas métricas com seus respectivos intervalos credíveis.

4. Resultados (Baseados no Estudo de Caso)

O estudo utilizou um conjunto de dados real de um desenho pré-teste/pós-teste com 1.377 alunos em 62 turmas (939 no controle, 438 na intervenção).

Ajuste do Modelo: O modelo com variâncias residuais heterogêneas e estrutura multinível (Listing 4) apresentou um ajuste superior aos modelos clássicos, capturando melhor a assimetria (skewness) dos dados.
Tamanhos de Efeito ( $d_s$ ):
- Pré-teste: $d_s \approx 0.22$ (IC 95% [0.07, 0.37]). A intervenção superou o controle.
- Pós-teste: $d_s \approx 0.21$ (IC 95% [0.05, 0.37]).
- Comparação: Os valores bayesianos foram semelhantes aos clássicos, mas a abordagem bayesiana revelou que a variabilidade entre turmas era significativa (desvio padrão de $d_s$ entre turmas de 0.09 no pré-teste e 0.18 no pós-teste).
Eficácia Diferencial: A análise mostrou que, embora a média fosse positiva, a eficácia variava entre turmas. Em algumas turmas, a condição de controle superou a intervenção (valores negativos de $d_s$ ), algo que uma média agregada ocultaria.
Tamanhos de Efeito Emparelhados ( $d_z$ ):
- Para o grupo controle: $d_z \approx 1.11$ (IC 95% [0.88, 1.30]).
- Para o grupo intervenção: $d_z \approx 1.20$ (IC 95% [0.91, 1.43]).
- Observou-se que $d_z < d_s$ , como esperado ao corrigir pela correlação, mas a diferença foi pequena neste caso específico.
Validação: O uso de verificações preditivas posteriores (PPC) e validação cruzada LOO (Leave-One-Out) confirmou que o modelo era robusto e que a escolha de priores (impróprios vs. normais) não alterou significativamente os resultados.

5. Significado e Implicações

Mudança de Paradigma: O artigo defende a transição de estimativas pontuais para a análise de distribuições completas de tamanhos de efeito, oferecendo uma visão mais rica e matizada da eficácia de intervenções educacionais.
Precisão na Interpretação: Ao quantificar a variabilidade entre turmas (desvio padrão do efeito), os pesquisadores podem evitar a superestimação de efeitos e entender melhor para quem e em que contextos uma intervenção funciona.
Reprodutibilidade e Transparência: A abordagem exige a reportagem de especificações completas do modelo, priores e diagnósticos de convergência, aumentando a transparência na pesquisa educacional.
Diretrizes Práticas: O artigo conclui com uma tabela de diretrizes (Tabela 7) recomendando quais tamanhos de efeito reportar dependendo do desenho do estudo (aleatorização dentro ou entre turmas), enfatizando a necessidade de reportar o desvio padrão do efeito através da estrutura multinível.

Em suma, o trabalho demonstra que a estatística bayesiana multinível, implementada via brms, oferece ferramentas superiores para lidar com a complexidade inerente aos dados educacionais, permitindo uma avaliação mais justa e detalhada da eficácia de intervenções pedagógicas.