Generative AI Availability, Grades, and Student Satisfaction at a Large University
Utilizando uma análise de diferenças-em-diferenças de larga escala envolvendo mais de 138.000 estudantes, este estudo não encontra evidências de que a disponibilidade de IA generativa tenha inflacionado desproporcionalmente as notas ou reduzido a satisfação dos alunos em cursos suscetíveis à substituição por IA, atenuando, assim, as preocupações de que os alunos estejam transferindo o esforço cognitivo para a IA sem aprender.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde um assistente robô mágico e superinteligente aparece da noite para o dia. Este robô pode escrever ensaios, resolver problemas matemáticos e redigir códigos mais rápido do que qualquer ser humano. De repente, uma grande questão surge nas escolas em todos os lugares: se os alunos usarem este robô para fazer o dever de casa, eles ainda aprenderão de fato o conteúdo? Ou eles apenas tirarão notas perfeitas sem nunca abrir um livro didático? Este é o cerne de um debate na ciência da educação. Pesquisadores estão tentando descobrir se esta "ajuda do robô" é uma ferramenta útil que impulsiona o aprendizado ou um "atalho cognitivo" que permite aos alunos pular o trabalho árduo de pensar. Isso importa porque as notas são como um sinal para o futuro; elas dizem às faculdades e empregadores o que um aluno sabe. Se as notas começarem a significar menos porque todos usaram o robô, todo o sistema de classificação de estudantes em empregos e carreiras pode ficar bagunçado.
Agora, vamos dar um zoom em um estudo massivo de uma enorme universidade no Meio-Oeste americano que tentou resolver este mistério. Os pesquisadores eram como detetives procurando por um tipo específico de "truque de mágica". Eles sabiam que nem todas as aulas são iguais. Algumas aulas são como um "teste para levar para casa", onde você pode trabalhar sozinho em seu quarto com seu laptop — estas são as aulas mais propensas a serem "suscetíveis" à ajuda do robô. Outras aulas são como uma "performance ao vivo" ou um exame de livro fechado, onde você tem que mostrar suas habilidades em tempo real na frente de um professor — estas são muito mais difíceis para um robô simular.
A equipe reuniu uma montanha de dados: programas de ensino, notas e questionários de estudantes de mais de 138.000 alunos em milhares de aulas, observando os anos antes e depois do lançamento do famoso chatbot de IA (ChatGPT) no final de 2022. Eles usaram um truque estatístico inteligente chamado abordagem de "diferença em diferenças". Pense nisso como comparar dois grupos de corredores: um grupo correndo em uma pista onde podem usar uma scooter motorizada (as aulas suscetíveis) e outro grupo correndo em uma pista onde devem correr a pé (as aulas não suscetíveis). Eles queriam ver se, após as scooters serem introduzidas, o grupo da scooter subitamente começou a terminar muito mais rápido do que os corredores a pé.
Aqui está a reviravolta: o estudo descobriu que o grupo da scooter não acelerou subitamente. Na verdade, os pesquisadores descobriram que não houve diferença significativa nas notas finais entre as aulas que podiam facilmente usar IA e aquelas que não podiam. Quer o estudante fosse um aluno de alto desempenho ou alguém que costumava ter dificuldades, a IA não parece ter dado a eles um aumento mágico nas notas. O "robô" não causou uma onda de inflação de notas.
Os pesquisadores também verificaram se os alunos se sentiam de forma diferente sobre suas aulas. Eles sentiram que entendiam menos o material? Perderam o interesse? O trabalho pareceu mais fácil? Novamente, a resposta foi majoritariamente "não". Uma vez que levaram em conta os anos confusos e bagunçados da pandemia (que já haviam mudado a forma como as escolas funcionavam), a introdução da IA não pareceu fazer com que os alunos se sentissem menos engajados ou menos satisfeitos.
Então, qual é o veredito? O estudo sugere que o medo de que os alunos estejam usando a IA para "substituir" seu próprio esforço e conseguir notas altas fáceis pode estar exagerado, pelo menos neste grande ambiente universitário. Embora a IA esteja definitivamente sendo usada, ela não quebrou o sistema de avaliação nem fez os alunos pararem de aprender. O "sinal" de uma nota ainda parece significar o que sempre significou. Os pesquisadores são cuidadosos ao dizer que isso não significa que a IA não tenha nenhum efeito, mas significa que a ideia assustadora de que as notas agora são sem sentido por causa dos robôs não é sustentada pelos dados que eles coletaram. As notas não subiram, os alunos não se desconectaram e o sinal de aprendizado permanece intacto.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.