💻 computer science

Prediction Model of Motivators and Demotivators of Integrating Large Language Models in Software Engineering Education: An Empirical Study

Este estudo desenvolve e valida um modelo de previsão consciente de custos que integra as percepções das partes interessadas sobre motivadores e desmotivadores de LLMs com análise probabilística e otimização por algoritmo genético para orientar a integração estratégica, focada em governança, de Modelos de Linguagem de Grande Porte no ensino de engenharia de software.

Autores originais: Maryam Khan, Muhammad Azeem Akbar, Jussi Kasurinen, Estefanía Martín-Barroso

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Maryam Khan, Muhammad Azeem Akbar, Jussi Kasurinen, Estefanía Martín-Barroso

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o diretor de uma escola e uma nova ferramenta incrivelmente poderosa acabou de chegar: um "Super-Cérebro" (Modelo de Linguagem de Grande Escala, ou LLM) capaz de escrever código, resolver problemas matemáticos e explicar ideias complexas instantaneamente. Você deseja permitir que seus alunos a utilizem, mas está preocupado. Se permitir que a usem com muita liberdade, eles podem trapacear ou deixar de pensar por si mesmos. Se a banir, estará perdendo uma enorme oportunidade de aprendizado.

Este artigo é como um plano estratégico para líderes escolares que tentam encontrar o equilíbrio perfeito. Em vez de apenas adivinhar, os autores construíram um "GPS" matemático para ajudá-los a decidir onde gastar seu orçamento e energia limitados.

Veja como eles fizeram isso, explicado de forma simples:

1. O Mapa: O Que as Pessoas Realmente Pensam?

Primeiro, os pesquisadores não apenas adivinharam o que professores e alunos queriam. Eles pediram a 126 especialistas de universidades ao redor do mundo (como Finlândia, Arábia Saudita e China) que preenchessem uma pesquisa.

Pense nisso como perguntar a um grupo de caminhantes experientes: "Quais são as melhores trilhas (Motivadores) e quais são os penhascos perigosos (Desmotivadores) nesta montanha?"

As Trilhas Boas (Motivadores): Os caminhantes disseram que o Super-Cérebro é incrível para ajudar a depurar código (corrigir erros), oferecer ajuda personalizada (como um tutor particular) e atuar como um parceiro de aprendizado.
Os Penhascos Perigosos (Desmotivadores): Os maiores medos foram trapaça/plágio, alunos confiando demais na ferramenta a ponto de parar de pensar, e a ferramenta mentindo (fornecendo respostas erradas ou informações tendenciosas).

2. A Bússola: O Modelo de Previsão

Os pesquisadores pegaram essas opiniões e as inseriram em um programa de computador. Eles não queriam apenas saber o que as pessoas pensavam; queriam saber: "Se nos concentrarmos em resolver esses problemas específicos, qual é a probabilidade de a escola adotar com sucesso essa tecnologia?"

Eles usaram dois tipos de "motores de adivinhação" (Naïve Bayes e Regressão Logística) para criar um mapa de probabilidade. Imagine esse mapa como uma previsão do tempo. Ele não diz exatamente como será o tempo, mas indica a chance de chuva com base nas condições atuais. Aqui, calcula a chance de adoção bem-sucedida com base no quanto de esforço você investe em diferentes áreas.

3. O Orçamento: O Algoritmo Genético (O "Comprador Inteligente")

Aqui está a parte inteligente. Escolas têm dinheiro e tempo limitados. Você não pode resolver todos os problemas de uma vez. É preciso escolher.

Os pesquisadores usaram uma técnica computacional chamada Algoritmo Genético. Pense nisso como um comprador superinteligente que tenta comprar os melhores mantimentos para uma festa de jantar com um orçamento rigoroso.

Os "mantimentos" são os diferentes fatores (como "corrigir políticas de trapaça" ou "ensinar alunos a programar").
O "orçamento" é o esforço e o custo da escola.
O "sucesso da festa de jantar" é a probabilidade de os alunos realmente aprenderem bem com a nova ferramenta.

O computador testou milhares de combinações diferentes de "mantimentos" para encontrar aquela que proporcionasse o melhor "jantar" (alto sucesso) pelo menor "custo" (esforço).

4. Os Resultados: O Que as Escolas Devem Fazer Primeiro?

O "Comprador Inteligente" forneceu uma lista de compras muito específica. Não disse à escola para comprar tudo. Disse para priorizar em uma ordem específica:

Passo 1: Construa a Cerca (Governança Primeiro)
Antes de deixar os alunos correrem soltos com o Super-Cérebro, você deve construir uma cerca forte. O modelo indicou que o primeiro passo mais eficaz em termos de custo é corrigir regras sobre trapaça e ética.

Analogia: Você não abriria uma piscina ao público sem colocar uma cerca e contratar um salva-vidas primeiro. O estudo diz que as escolas devem estabelecer políticas de integridade e diretrizes éticas antes de tentar ensinar com a ferramenta.

Passo 2: Concentre-se no Pensamento Profundo, Não Apenas na Velocidade
Uma vez estabelecidas as regras, o modelo sugeriu focar na aprendizagem profunda (compreensão de conceitos e resolução de problemas) em vez de apenas usar a ferramenta para acelerar a lição de casa.

Analogia: Não use o Super-Cérebro apenas para escrever o ensaio para o aluno. Use-o para ajudar o aluno a entender como escrever um ensaio melhor.

Passo 3: Ignore os "Desejáveis" Por Enquanto
O modelo sugeriu que coisas como "tornar o curso mais divertido" ou "mudar toda a estrutura curricular" são menos urgentes. São boas, mas não oferecem tanto "retorno sobre o investimento" quanto corrigir as regras de trapaça primeiro.

A Conclusão

Este artigo argumenta que integrar IA na educação não se trata de comprar o software mais caro ou mudar todas as aulas imediatamente. Trata-se de estratégia.

O estudo conclui que, se uma escola deseja usar IA com sucesso sem gastar uma fortuna, deve:

Começar pelas regras: Parar a trapaça e estabelecer limites éticos primeiro.
Focar na mente: Usar a IA para ajudar os alunos a pensar mais profundamente, não apenas para fazer o trabalho por eles.
Pular o supérfluo: Não desperdiçar dinheiro tentando reformular todo o sistema escolar de uma vez; comece com correções de alto impacto e baixo custo.

É uma receita para uma abordagem "por etapas": construa a fundação (regras), depois adicione os móveis (métodos de ensino) e só então se preocupe com a decoração (atividades divertidas).

Resumo Técnico: Modelo de Previsão de Motivadores e Desmotivadores da Integração de Modelos de Linguagem Grande na Educação em Engenharia de Software

Enunciação do Problema
Enquanto os Modelos de Linguagem Grande (LLMs) estão transformando rapidamente a prática da engenharia de software, sua integração sistemática na educação em engenharia de software permanece pouco explorada. A pesquisa existente concentra-se amplamente em avaliações de desempenho técnico, estudos de caso em sala de aula ou discussões descritivas sobre benefícios e riscos. Existe uma lacuna significativa em modelos empíricos e conscientes de custos que orientem instituições na tomada de decisões estratégicas sobre a adoção de LLMs. Especificamente, há uma falta de frameworks que quantifiquem as compensações entre a probabilidade percebida de integração bem-sucedida (familiaridade) e o esforço ou custo institucional necessário para implementar motivadores específicos e mitigar desmotivadores.

Metodologia
O estudo emprega uma metodologia empírica e computacional de quatro fases para abordar essa lacuna:

Desenvolvimento de Taxonomia: Com base em uma revisão sistemática prévia da literatura, os autores operacionalizaram 19 fatores validados (9 motivadores e 10 desmotivadores) derivados de uma pesquisa bibliográfica. Esses fatores foram categorizados em quatro temas principais para motivadores (por exemplo, Aprimoramento de Experiências de Aprendizagem, Desenvolvimento de Habilidades) e quatro para desmotivadores (por exemplo, Desafios de Aprendizagem, Integridade Acadêmica).
Coleta de Dados: Uma pesquisa estruturada foi administrada a 126 partes interessadas na educação em engenharia de software em vários países (principalmente Finlândia, Arábia Saudita, Paquistão e China). Os respondentes avaliaram o impacto percebido e o custo/esforço de implementação de cada fator usando uma escala Likert de 9 pontos.
Modelagem Probabilística: Os dados da pesquisa foram usados para treinar dois classificadores probabilísticos: Naive Bayes (NB) e Regressão Logística (LR). A variável alvo foi um indicador binário de "alta familiaridade com LLM" (avaliações 7–9) versus familiaridade moderada/baixa. Os modelos não foram otimizados para alta precisão de classificação, mas para gerar estimativas de probabilidade estáveis ( $\hat{P}(Y=1|s)$ ) para qualquer configuração dada de intensidades de fatores. Uma estimativa de probabilidade agregada foi computada pela média das saídas de ambos os modelos para reduzir a dependência de uma única suposição de modelagem.
Framework de Otimização: Um Algoritmo Genético (GA) foi empregado para resolver um problema de otimização de objetivo único. A função objetivo maximizou a diferença entre a probabilidade agregada de alta familiaridade e o custo de implementação normalizado:
$F(s) = \hat{P}_{agg}(s) - C_{norm}(s)$
onde $s$ representa uma configuração de níveis de fatores (1–9), e o custo é linearmente proporcional ao nível de intensidade selecionado. O GA realizou otimização em três níveis: global (através de todos os 19 fatores), nível de categoria (através dos 8 temas principais) e nível de fator (dentro das categorias).

Resultados Principais

Descobertas Descritivas: Os respondentes identificaram "Assistência à Programação e Suporte à Depuração" e "Aprendizagem Personalizada e Adaptativa" como os motivadores mais fortes. Por outro lado, "Plágio e Preocupações com Propriedade Intelectual", "Excesso de Dependência de IA" e "Redução do Pensamento Crítico" foram os desmotivadores mais significativos.
Modelagem Preditiva: Os modelos probabilísticos alcançaram uma precisão de classificação de 0,461, que está abaixo da linha de base da classe majoritária. Os autores interpretam isso não como uma falha, mas como evidência de que os padrões de percepção sobre benefícios e riscos de LLMs são amplamente semelhantes entre os respondentes, independentemente de seu nível de familiaridade. Consequentemente, os modelos servem como uma superfície de probabilidade contínua para otimização, em vez de uma ferramenta preditiva para classificação individual.
Otimização Global (GC): O GA identificou que a estratégia "média" (baseada nas médias das avaliações da pesquisa) não é eficiente em termos de custo. A configuração global ótima prioriza mecanismos de governança e integridade. Especificamente, "Plágio e Preocupações com Propriedade Intelectual" (Nível 8) e "Preocupações Éticas na Aprendizagem Assistida por IA" (Nível 6) receberam as alocações de intensidade mais altas. A maioria dos fatores pedagógicos (por exemplo, Assistência à Programação, Aprendizagem Personalizada) foi minimizada (Nível 1) no modelo global para controlar o custo total, sugerindo que as fundações de governança devem preceder a expansão pedagógica ampla.
Otimização em Nível de Categoria: Categorias orientadas pedagogicamente, especificamente "Colaboração e Aprendizagem entre Pares" e "Aprimoramento de Experiências de Aprendizagem", produziram os maiores ganhos de eficiência marginal ( $\Delta$ Fitness) com esforço moderado. Em contraste, domínios estruturalmente intensivos como "Avaliação e Integridade Acadêmica" e "Integração e Implementação Prática" exigiram maior esforço para ganhos relativos menores.
Otimização em Nível de Fator: Dentro das categorias, o modelo priorizou fatores cognitivos profundos (por exemplo, "Compreensão Conceitual", "Compreensão do Processo de Engenharia de Software") em relação ao engajamento superficial. Para desmotivadores, a confiabilidade técnica (por exemplo, "Viés e Alucinação") e a segurança foram priorizadas em relação a mecanismos de regulação comportamental.

Contribuições Principais

Framework Unificado: O estudo introduz um framework de suporte à decisão hierárquico e informado por otimização que conecta percepções das partes interessadas com modelagem probabilística e análise de custo-esforço.
Integração Metodológica: Demonstra um pipeline inovador combinando taxonomias baseadas em literatura, validação empírica multi-stakeholder e otimização evolutiva (GA) para orientar a integração de tecnologia educacional.
Estratégia Consciente de Custos: A pesquisa fornece um mecanismo orientado por dados para identificar estratégias eficientes em termos de custo, indo além de listas descritivas de prós e contras para planos de implementação acionáveis e priorizados.
Lógica de Implementação em Etapas: Os resultados apoiam uma abordagem em etapas onde salvaguardas de governança e integridade são estabelecidas primeiro, seguidas por intervenções pedagógicas cognitivamente significativas, em vez de adoção uniforme em todos os domínios.

Significado e Alegações
Os autores afirmam que este estudo avança o campo do desenvolvimento conceitual de taxonomias para validação orientada por dados e suporte computacional à decisão. O significado reside em fornecer às instituições um mecanismo estruturado para equilibrar resultados previstos com esforço de implementação. O artigo afirma que a integração eficaz de LLMs não é alcançada abordando uniformemente todos os fatores, mas priorizando seletivamente fatores de alto impacto, orientados à confiança e substanciais cognitivamente.

O estudo reconhece modestamente que os modelos preditivos não se destinam à classificação individual de alta precisão, mas servem como base analítica para o framework de otimização. As descobertas sugerem que, sob restrições de recursos, as instituições devem priorizar a estabilidade da governança (políticas de plágio, diretrizes éticas) e processos de aprendizagem profunda (compreensão conceitual, literacia de processo) em vez de reformas estruturais amplas e intensivas em recursos ou ferramentas de engajamento superficiais. O framework proposto oferece uma abordagem replicável para pesquisas futuras sobre adoção de IA e modelagem de governança na educação em computação.