Active Learning vs Traditional Lecturing in Introductory Mechanics: A Pooled Pass-Rate Benchmark Under Common Departmental Assessments from a Latin American Institutional Change Initiative

Resumo Técnico: Aprendizagem Ativa vs. Aula Tradicional em Mecânica Elementar

Problema e Contexto
Melhorar o sucesso dos estudantes em física introdutória continua sendo um desafio persistente, particularmente em contextos latino-americanos onde os recursos são escassos e a preparação de entrada dos alunos é heterogênea. Embora a Pesquisa em Ensino de Física (PER) tenha estabelecido a eficácia da Aprendizagem Ativa (AL) sobre a Aula Tradicional (TL) em universidades norte-americanas e europeias de pesquisa intensiva, há uma carência significativa de literatura que descreva a implementação e os resultados dessas práticas em instituições públicas latinas de grande porte. Este estudo aborda essa lacuna ao relatar uma iniciativa piloto de mudança institucional na Universidad Autónoma Metropolitana-Iztapalapa (UAM-I), no México. O problema específico é fornecer um parâmetro transparente dos resultados de aprovação dos alunos em "Mecânica Elementar I" (EM1) sob condições de AL versus TL, utilizando avaliações departamentais comuns para garantir a comparabilidade entre as seções.

Metodologia
O estudo analisa dados do trimestre de outono 2025 (codificado como 25-O) na UAM-I. A implementação envolveu oito seções de EM1: duas seções ministradas por instrutores treinados em métodos de AL (rotuladas como AL) e seis seções ministradas por instrutores utilizando métodos tradicionais (rotuladas como TL).

• Definições Operacionais: Os rótulos AL e TL são operacionais, refletindo a implementação específica pelos docentes em vez de um protocolo rígido e padronizado. As seções AL envolveram instrutores e assistentes de ensino (TAs) que passaram por uma sequência de workshops, preparação de materiais e suporte contínuo, utilizando técnicas como trabalho em grupo e facilitação. As seções TL foram ministradas por instrutores experientes que não participaram da sequência de treinamento de AL.
• Fonte de Dados: A análise baseia-se exclusivamente em contagens agregadas e desidentificadas por seção provenientes de relatórios oficiais de final de período. Dados ao nível do aluno, demográficos e pontuações por item não foram utilizados.
• Avaliações: Quatro resultados foram analisados: o primeiro exame parcial, o segundo exame parcial, um exame global comum (elaborado por um comitê independente) e a nota final do curso. Os três primeiros exames constituem 50% da nota final; os 5 0% restantes são determinados pelos instrutores.
• Análise Estatística:
  • Abordagem Frequentista: Probabilidades de aprovação agrupadas ($p_{\beta,a}$) foram estimadas para cada modalidade ($\beta \in \{AL, TL\}$) e avaliação ($a$). A incerteza foi quantificada usando intervalos de confiança binomiais de Wilson. A métrica principal de tamanho de efeito foi a Diferença de Risco ($RD_a = p_{AL,a} - p_{TL,a}$), com intervalos de confiança de 95% calculados usando o método Newcombe–Wilson para evitar a falta de confiabilidade dos intervalos de Wald para proporções próximas de 0 ou 1.
  • Abordagem Bayesiana: Uma análise de referência utilizando priors de Jeffreys ($Beta(1/2, 1/2)$) foi empregada para gerar distribuições posteriores para as taxas de aprovação e diferenças de risco.
  • Análise de Sensibilidade: Para abordar potenciais efeitos de agrupamento (correlação de resultados dentro das seções) e a falta de randomização, um modelo Bayesiano hierárquico com um intercepto aleatório para as seções foi ajustado. Este modelo mapeou as previsões ao nível da seção de volta para estimandos agrupados ponderados pelo aluno para garantir a comparabilidade com o modelo binomial simples.
  • Suporte Qualitativo: As práticas de sala de aula foram monitoradas utilizando o Protocolo de Observação de Sala de Aula para Graduação em STEM (COPUS) para validar que as seções de AL e TL exibiram padrões de interação distintos (ex: trabalho em grupo vs. aula expositiva).
• Resultados Principais
  Em todas as avaliações, as taxas de aprovação agrupadas foram maiores nas seções de AL do que nas seções de TL.
• Taxas de Aprovação: As seções de AL superaram consistentemente as seções de TL. Para o exame global, a taxa de aprovação agrupada foi de 55,6% (AL) versus 32,6% (TL). Para a nota final, as taxas foram de 67,7% (AL) versus 45,1% (TL).
• Diferenças de Risco: A diferença de risco ($RD$) foi positiva para todas as avaliações. A separação mais robusta foi observada no exame global ($RD = 22,9$ pontos percentuais, IC 95% [5,1, 39,5]) e na nota final ($RD = 22,6$ pontos percentuais, IC 95% [6,6, 37,2]). Os intervalos de confiança de 95% para estas duas avaliações não incluíram o zero.
• Exames Parciais: O primeiro e o segundo exames parciais mostraram diferenças de risco positivas (12,3 e 6,2 pontos percentuais, respectivamente), mas seus intervalos de confiança incluíram o zero, indicando que os dados são compatíveis tanto com um efeito positivo quanto com nenhum efeito ao nível de 95% para estas avaliações específicas.
• Robustez: A análise de sensibilidade Bayesiana hierárquica, que considerou o agrupamento ao nível da seção, produziu resultados altamente consistentes com o modelo binomial agrupado simples. A conclusão qualitativa de que as seções de AL exibiram maiores taxas de aprovação permaneceu inalterada.
• Achados do COPUS: As observações confirmaram que as seções de AL apresentaram maior prevalência de trabalho em grupo dos alunos e facilitação do instrutor, enquanto as seções de TL foram dominadas por aulas expositivas e escrita no quadro, validando a distinção operacional entre as modalidades.

Alegações e Significância
O artigo enquadra explicitamente sua contribuição como um parâmetro transparente em vez de uma identificação causal de uma técnica de ensino específica.

• Alegações Modestas: Os autores enfatizam que o estudo não isola o efeito causal de qualquer técnica de ensino específica (ex: clickers ou instrução por pares) nem reivindica um tamanho de efeito universal. Os resultados refletem "AL conforme implementada" versus "TL conforme implementada" em um cenário institucional específico e com recursos limitados. O design não é randomizado, e a autoseleção dos alunos para as seções impede o ajuste para diferenças composicionais.
• Significância:
  1. Evidência Contextual: Fornece os primeiros resultados documentados de uma implementação de AL em escala institucional em uma grande universidade pública mexicana, abordando a escassez de literatura de PER na América Latina.
  2. Viabilidade: Demonstra que, mesmo com uma curva de aprendizado acentuada para os instrutores e recursos limitados, uma implementação de AL apoiada pode estar associada a melhores resultados de aprovação em disciplinas de base.
  3. Modelo Metodológico: O estudo oferece um modelo prático para departamentos que desejam avaliar mudanças instrucionais utilizando dados administrativos agregados. Destaca o valor de avaliações departamentais comuns para comparação entre seções e delineia um caminho para futuras avaliações envolvendo covariáveis ao nível do aluno e uma análise qualitativa mais robusta.
  4. Fatores de Implementação: Os resultados sugerem que os suportes de implementação (treinamento, preparação de materiais, equipe de TAs) são integrais à intervenção de AL e devem ser considerados parte do modelo de mudança, e não detalhes incidentais.

Em resumo, o artigo conclui que, sob as restrições de relatórios institucionais agregados e de um único trimestre, a implementação de AL foi associada a maiores probabilidades de aprovação agrupadas, particularmente no exame global comum e na nota final, fornecendo um sinal encorajador para a tomada de decisão departamental em contextos semelhantes.