Measuring Changes in Instructor Class Design and Student Learning After the Release of Large Language Models (LLMs)

Resumo Técnico: Medindo Mudanças no Design de Cursos de Instrutores e na Aprendizagem dos Estudantes Após o Lançamento de Modelos de Linguagem de Grande Escala (LLMs)

Declaração do Problema
O lançamento público generalizado de Modelos de Linguagem de Grande Escala (LLMs) no final de 2022 precipitou uma mudança no ensino superior, contudo, evidências empíricas sobre seu impacto nos comportamentos de aprendizagem dos estudantes, no design de cursos por parte do corpo docente e na validade das métricas tradicionais de avaliação permanecem escassas. Os autores identificam uma lacuna metodológica crítica: métricas tradicionais, como as notas, estão cada vez mais comprometidas como proxies para a aprendizagem. Essa distorção decorre de três fatores: (1) a dinâmica de "gato e rato", onde instrutores redesenham tarefas para serem resistentes a LLMs, quebrando a comparabilidade longitudinal; (2) o potencial de uso não detectado de LLMs inflar artificialmente as notas sem ganhos correspondentes de aprendizagem; e (3) a penalização de estudantes pegos usando LLMs, o que pode resultar em notas reprovatórias apesar da compreensão conceitual real. Consequentemente, há uma falta de dados triangulados que combinem registros históricos de notas com percepções qualitativas de ambos, docentes e estudantes, para avaliar tendências de aprendizagem na "era pós-LLM".

Metodologia
Este estudo emprega um desenho de métodos mistos e múltiplos cursos conduzido na Universidade de Massachusetts, Boston (UMass Boston). A pesquisa triangula três fontes distintas de dados:

1. Análise Quantitativa Retrospectiva: Dados históricos de notas abrangendo até dez anos em aproximadamente quinze cursos foram obtidos junto ao registro universitário. Esses dados permitem uma comparação das Médias de Pontos Cumulativos (GPA), taxas de desistência e taxas de reprovação entre a era pré-LLM (antes da Primavera de 2023) e a era pós-LLM.
2. Pesquisas com Instrutores: Uma pesquisa foi distribuída ao corpo docente para documentar mudanças na estrutura do curso, no design de tarefas e nos critérios de avaliação. Dezoito instrutores completaram a pesquisa de investigação. A pesquisa utilizou escalas Likert e questões de resposta livre para capturar a extensão e a natureza das adaptações pedagógicas.
3. Pesquisas com Estudantes: Pesquisas anônimas foram administradas a estudantes (principalmente de programas relacionados à computação) para avaliar a frequência de uso autorrelatado de LLMs, comportamentos de estudo, compreensão conceitual e percepções sobre a validade das notas. Para abordar o viés de desejabilidade social, o estudo empregou uma abordagem de duas frentes: questionamento direto sobre o uso pessoal e questionamento indireto sobre o uso por pares para calcular um "índice de subnotificação".

O estudo utilizou análise temática (Braun & Clarke) para dados qualitativos e análise estatística (correlações de Spearman, testes t de Welch) para dados quantitativos. A validade de conteúdo dos instrumentos de pesquisa foi estabelecida por meio de uma revisão por especialistas de cinco professores universitários, alcançando uma classificação geral de concordância de 94,00% após o refinamento dos itens.

Principais Contribuições

• Evidência Triangulada: Este é o primeiro estudo a examinar simultaneamente dados de notas, percepções docentes e autorrelatos de estudantes para analisar o fenômeno dos LLMs no ensino superior.
• Quantificação da Mudança Pedagógica: O estudo documenta a linha do tempo específica e a magnitude das redesenhas de cursos, identificando um atraso entre a disponibilidade de LLMs e a adaptação significativa do corpo docente.
• Índice de Subnotificação: A pesquisa fornece uma abordagem metodológica para estimar a lacuna entre o uso autorrelatado e o uso real de LLMs, comparando estimativas de uso pessoal e uso por pares.
• Discrepância Nota-Aprendizagem: O estudo oferece evidências empíricas ligando a falta de redesenho de cursos a notas artificialmente infladas, sugerindo que, em cursos não modificados, o acesso a LLMs correlaciona-se com notas mais altas, mas potencialmente com uma aprendizagem autêntica menor.

Resultados

• Adaptação dos Instrutores: 86,7% dos instrutores que responderam modificaram seus cursos em resposta à IA Generativa. As mudanças mais comuns envolveram a transição para trabalhos em sala de aula, avaliações em sala de aula e tarefas de raciocínio conceitual (Figura 3). A severidade do redesenho aumentou significativamente após a Primavera de 2023, com muitos instrutores alterando 20–40% ou mais de suas tarefas.
• Tendências de Notas: Na era pós-LLM, a média de GPA dos estudantes aumentou ligeiramente de 2,96 para 3,00 (significativa estatisticamente, mas com tamanho de efeito negligenciável, d de Cohen = 0,04). As taxas de desistência e reprovação também diminuíram ligeiramente.
• A Anomalia do Curso "Inalterado": Uma descoberta crítica emergiu em relação aos dois instrutores que relataram nenhuma mudança no design de seus cursos. Seus cursos mostraram um aumento substancialmente maior na média de GPA (+0,25 pontos) em comparação com cursos ministrados por instrutores que redesenharam suas tarefas (+0,01 pontos). As taxas de desistência também declinaram mais acentuadamente nesses cursos não modificados.
• Comportamento e Percepção dos Estudantes: Os estudantes subnotificaram seu uso pessoal de LLMs para tarefas avaliadas em comparação com suas estimativas sobre o uso por pares. Um maior uso autorrelatado de LLMs correlacionou-se com uma menor crença de que as notas refletem com precisão a aprendizagem. No entanto, nesta amostra, o uso autorrelatado de LLMs não mostrou uma correlação estatisticamente significativa com GPA, tempo de estudo ou pontuações de compreensão conceitual (ConCal).
• Preocupações dos Estudantes: Os estudantes expressaram ansiedade significativa sobre serem punidos por usar IA (mesmo quando não o faziam) e sobre a justiça do sistema, onde pares poderiam usar IA para alcançar notas mais altas. Houve uma forte demanda não solicitada por orientação institucional e oficinas sobre o uso de IA.

Significância e Alegações
Os autores posicionam este trabalho como um estudo piloto destinado a informar pesquisas institucionais mais amplas e políticas. O artigo alega que sua principal significância reside em fornecer uma avaliação baseada em evidências das tendências de aprendizagem usando dados triangulados, o que é necessário para que as universidades naveguem na política de IA Generativa.

O estudo conclui que, embora a maioria dos docentes esteja ativamente redesenhando cursos para mitigar a dependência de IA, aqueles que não se adaptaram estão vendo uma inflação de notas substancial em suas turmas. Isso sugere que, sem adaptação pedagógica, o acesso a LLMs pode criar uma desvantagem competitiva para estudantes que não usam IA, enquanto simultaneamente obscurece o estado real da aprendizagem dos estudantes. Os autores afirmam que os dados atuais suportam a necessidade de políticas de nível universitário e orientação voltada para os estudantes, observando que os recursos institucionais existentes focam quase exclusivamente no corpo docente. O artigo evita explicitamente fazer generalizações amplas devido à sua natureza de amostragem de conveniência em um único local, instando que essas descobertas sirvam como base para estudos maiores e multi-institucionais.