Quantifying Student Success with Generative AI: A Monte Carlo Simulation Informed by Systematic Review

Título: Quantificando o Sucesso Estudantil com IA Generativa: Uma Simulação de Monte Carlo Informada por Revisão Sistemática

Autor: Seyma Yaman Kayadibi (Victoria University, Austrália)

---

1. Problema e Contexto

A rápida adoção de ferramentas de Inteligência Artificial Generativa (GenAI), como o ChatGPT, no ensino superior gerou debates intensos sobre integridade acadêmica, pedagogia e impacto na aprendizagem. Embora existam numerosos estudos de pesquisa sobre as percepções dos estudantes, há uma lacuna metodológica significativa:

• A maioria das pesquisas baseia-se em médias descritivas simples ou sínteses temáticas qualitativas.
• Existe uma falta de modelos probabilísticos estruturados que traduzam as percepções dos estudantes em indicadores compostos de "sucesso".
• A disponibilidade de dados micro (dados individuais dos alunos) é frequentemente limitada devido a questões de privacidade, dificultando análises preditivas robustas.

O objetivo deste estudo é preencher essa lacuna desenvolvendo um modelo probabilístico que quantifique o "Sucesso Estudantil baseado em Percepção" ao utilizar GenAI, utilizando apenas estatísticas resumidas publicadas (médias e desvios padrão).

2. Metodologia

O estudo emprega um desenho híbrido combinando uma Revisão Sistemática da Literatura (SLR) guiada pelo PRISMA com uma Simulação de Monte Carlo.

A. Revisão Sistemática (SLR)

• Fonte de Dados: Busca na base Scopus (2023–2025) com foco em artigos empíricos sobre percepções de GenAI no ensino superior.
• Seleção: De 2.191 registros iniciais, foram filtrados 19 artigos empíricos. Desses, apenas 6 estudos forneceram dados quantitativos completos (médias e desvios padrão por item de escala Likert) necessários para a modelagem.
• Conjunto de Dados Canônico: Um dos estudos ([23]) foi selecionado como base para a simulação devido à sua estrutura clara de escala Likert de 10 itens, 5 pontos, focada em usabilidade.

B. Estruturação dos Temas

Os itens do instrumento canônico foram reorganizados em três domínios perceptuais principais:

1. Facilidade de Uso e Aprendizado (Tema 1): Inclui itens sobre uso regular, facilidade e confiança.
2. Eficiência do Sistema e Carga de Aprendizado (Tema 2): Itens negativos (reversos) sobre complexidade, necessidade de assistência técnica e carga de aprendizado.
3. Complexidade Percebida e Integração (Tema 3): Itens sobre integração de funções e inconsistências.

Nota: Itens negativos foram recodificados (reversão) para que pontuações mais altas indicassem sempre percepções mais favoráveis.

C. Simulação de Monte Carlo

O núcleo da metodologia é a geração de um Escores de Sucesso Composto através de simulação:

1. Pesagem Inversa da Variância: Os itens foram ponderados com base na precisão estatística ($w_i = 1/s_i^2$), onde itens com menor variância (maior precisão) recebem maior peso.
2. Correção de Bessel: Aplicada para estimar a variância no nível do tema, evitando viés de subestimação em conjuntos de dados pequenos.
3. Geração de Dados Sintéticos: Foram simulados 10.000 estudantes virtuais. Para cada tema, foram geradas pontuações a partir de distribuições normais parametrizadas pelas médias e variâncias ponderadas dos estudos reais.
4. Cálculo do Escore Composto: O Escore de Sucesso ($S_t$) foi calculado como uma média ponderada inversa dos três temas, adicionando um termo de ruído gaussiano ($\epsilon_t$) para representar variações idiossincráticas (motivação, familiaridade com a tarefa).
5. Limitação: Os valores foram "recortados" (clipped) para permanecerem na escala original de 1 a 5.

3. Resultados Principais

A. Estatísticas Descritivas da Simulação

• A distribuição do Escore de Sucesso Simulado concentrou-se fortemente na parte superior da escala, com uma média de 4,07 (SD = 0,096) em uma escala de 1 a 5.
• Isso indica que, no modelo, os estudantes avaliam suas próprias experiências de sucesso com GenAI de forma geralmente favorável.
• O escore médio foi convertido para um índice equivalente ao SUS (System Usability Scale) de 0-100, resultando em 76,75.

B. Análise de Regressão e Contribuição dos Temas

Um modelo de regressão linear múltipla foi ajustado para determinar a contribuição relativa de cada tema para o Escore de Sucesso:

• Tema 2 (Eficiência do Sistema & Carga de Aprendizado): Foi o preditor mais influente, com coeficiente $\beta_2 = 0,7823$ ($p < 0,001$). Devido à sua menor variância nos dados originais, recebeu o maior peso na ponderação inversa.
• Tema 3 (Complexidade Percebida & Integração): Contribuição moderada ($\beta_3 = 0,1381$).
• Tema 1 (Facilidade de Uso & Aprendizado): Contribuição estatisticamente significativa, mas menor ($\beta_1 = 0,0856$).
• Ajuste do Modelo: O modelo apresentou alto poder explicativo ($R^2 = 0,724$), confirmando que a construção do escore composto segue logicamente a ponderação aplicada.

C. Análise de Sensibilidade

Foram testados três esquemas de ponderação:

1. Pesos Inversos à Variância (Base): Resultado descrito acima.
2. Pesos Iguais: Todos os temas contribuíram quase igualmente.
3. Pesos "Gap Reduzido": Uma média entre os dois anteriores.
   Conclusão: A predominância do Tema 2 persistiu na maioria dos cenários plausíveis, indicando que a descoberta não é um artefato de um único ajuste de pesos, mas reflete a maior precisão estatística dos dados relacionados à eficiência do sistema.

4. Contribuições Chave

1. Abordagem de Privacidade: O método permite a modelagem probabilística e a criação de indicadores compostos utilizando apenas estatísticas resumidas publicadas (médias e desvios padrão), sem necessidade de acesso a dados individuais sensíveis dos alunos.
2. Ponte entre Revisão e Modelagem: Estabelece um pipeline replicável que transforma sínteses de revisão sistemática em modelos quantitativos preditivos, superando a limitação de apenas relatar médias descritivas.
3. Quantificação do "Sucesso": Define operacionalmente o sucesso na educação com GenAI como uma métrica composta e probabilística, permitindo análises de cenários (ex: o que acontece se a variância de um tema mudar?).
4. Insights Práticos: Identifica que a Eficiência do Sistema e a Redução da Carga Cognitiva são fatores mais críticos para a percepção de sucesso do que a simples "facilidade de uso" básica.

5. Significado e Implicações

• Para Instituições de Ensino: A pesquisa sugere que a implementação de ferramentas de IA deve priorizar a redução da carga cognitiva e a integração fluida com sistemas existentes (LMS), em vez de focar apenas em funcionalidades novas ou complexas.
• Para Desenvolvedores de Ferramentas: A ênfase na "Eficiência do Sistema" indica que ferramentas que exigem muito aprendizado técnico ou assistência frequente são percebidas como menos bem-sucedidas pelos estudantes.
• Limitações: O estudo baseia-se em um único conjunto de dados canônico para a simulação devido à escassez de estudos com estatísticas de itens completos. A validação externa contra resultados acadêmicos reais (notas, retenção) é necessária para trabalhos futuros.
• Futuro: O framework é projetado para ser expandido, incorporando moderadores (disciplina, nível de estudo) e validação longitudinal.

Em resumo, o artigo propõe uma metodologia inovadora para transformar dados de pesquisas educacionais dispersos em um indicador robusto e probabilístico de sucesso, destacando que a eficiência operacional e a redução da carga de trabalho são os pilares centrais da adoção bem-sucedida de IA generativa na educação.