Students using GenAI lag behind in problem-solving competence: an agent-based study of classroom networks

Resumo Técnico: Estudantes que utilizam GenAI ficam para trás na competência de resolução de problemas

Definição do Problema
O desenvolvimento da Competência de Resolução de Problemas (PSC) é fundamental para preparar cidadãos resilientes, mas o impacto coletivo da Inteligência Artificial Generativa (GenAI) no desenvolvimento desta competência dentro dos ambientes de sala de aula permanece subexplorado. Embora a literatura existente cubra extensivamente os resultados de aprendizagem individuais e as atitudes em relação à GenAI, há uma falta de compreensão sobre como a distribuição das estratégias de aprendizagem — especificamente a escolha entre usar GenAI, colaborar com pares ou trabalhar individualmente — molda a evolução da PSC em uma comunidade de aprendizagem. Existe uma lacuna crítica em determinar se a GenAI atua como um andaime (scaffold) para a aprendizagem coconstrutiva ou como um mecanismo de descarga cognitiva (cognitive offloading) que prejudica a aprendizagem profunda, particularmente ao considerar a interação dinâmica entre escolhas individuais e estruturas de redes de pares.

Metodologia
Para abordar isso, os autores desenvolveram um Modelo Baseado em Agentes (ABM) para simular a evolução da PSC em uma sala de aula de física do ensino médio ao longo de 60 passos temporais (representando 60 exercícios).

• Agentes e Variáveis de Estado: O modelo consiste em $N=30$ agentes estudantes. Cada agente $i$ é caracterizado por três variáveis de estado:
  1. Competência de Resolução de Problemas ($C_i^t$): A habilidade de resolver exercícios de física, inicializada usando distribuições empíricas de dados de avaliação INVALSI italiana ($N(\mu=195.9, \sigma=1.28)$).
  2. Dependência de GenAI ($\alpha_i^t$): Um valor em $[0,1]$ representando a dependência de IA, inicializado em 0,5.
  3. Confiança em Pares ($\tau_i^t$): Um valor em $[0,1]$ representando a tendência de buscar ajuda de colegas, inicializado em 0,5.
• Dados e Calibração: O modelo utiliza um conjunto de dados de 60 exercícios de física cobrindo o currículo do Liceu Científico italiano. Cada exercício é anotado com três componentes: conhecimento matemático, raciocínio físico e habilidades cognitivas de resolução de problemas (CPSS). Crucialmente, o modelo quantifica o "hiato de pontuação" (score gap) entre soluções humanas (sem IA) e soluções de GenAI (usando OpenAI's GPT-5.5). Os dados indicam que, embora a GenAI possa resolver os exercícios, ela produz menores ganhos em CPSS em comparação com a resolução de problemas humana.
• Dinâmica e Seleção de Estratégia: Em cada passo temporal, os agentes escolhem uma estratégia baseada em uma função de probabilidade sigmoide influenciada pela dificuldade do exercício, ganho de competência atual, dependência de IA e confiança em pares.
  • Uso de GenAI ($S_i=1$): Os agentes assumem que o exercício está resolvido, mas as atualizações de competência são restritas. Eles ganham conhecimento matemático e físico potencial, mas experimentam um possível perda ou ganho zero em CPSS, refletindo a descarga cognitiva.
  • Sem GenAI ($S_i=0$): Os agentes trabalham de forma independente ou colaboram com um par de sua rede. A probabilidade de sucesso é definida como 0,54 (baseada em dados nacionais). O trabalho independente bem-sucedido gera ganhos totais de competência. A colaboração entre pares permite a transferência de conhecimento: se um par for mais competente, a competência do agente é atualizada para um valor aleatório entre o seu próprio e o do par; se for menos competente, não ocorre aprendizagem adicional.
• Estruturas de Rede: O estudo simula interações através de quatro topologias de rede distintas para testar a robustez estrutural:
  1. Redes aleatórias de Erdős–Rényi (ER).
  2. Redes de mundo pequeno de Watts–Strogatz (WS).
  3. Modelos de Blocos Estocásticos (SBM) representando estruturas de comunidade.
  4. SBMs modificados incorporando homofilia baseada em competência (onde as conexões iniciais entre pares são formadas com base em níveis de competência semelhantes).

Principais Resultados
Os resultados da simulação, derivados de 1.000 execuções independentes por condição, revelam impactos negativos significativos do acesso à GenAI na dinâmica de competência coletiva:

1. Redução da Competência Média: Em todas as topologias de rede, as salas de aula com acesso à GenAI demonstraram consistentemente uma taxa mais lenta de aquisição de habilidades e uma PSC média final inferior em comparação com as salas de aula sem GenAI.
2. Estagnação da Mobilidade Ascendente: Na ausência de GenAI, os estudantes progrediam em direção a níveis mais altos de competência, com a distribuição concentrando-se nas categorias "Alta" e "Muito Alta". Por outro lado, o acesso à GenAI causou uma estagnação onde uma parte significativa dos estudantes permaneceu nos níveis "Médio", "Baixo" e "Muito Baixo".
3. Emergência de Bimodalidade: A introdução da GenAI transformou a distribuição de competência final de um estado unimodal relativamente homogêneo para uma distribuição bimodal. A modelagem de mistura gaussiana mostrou que o acesso à GenAI aumentou o tamanho de um cluster de baixa competência de aproximadamente 1–4% (em cenários sem IA) para 8–12% da população.
4. Estratificação por Frequência de Uso: A análise da frequência de uso revelou que os estudantes com a maior frequência de uso de GenAI (75–100% dos exercícios) estavam desproporcionalmente concentrados no pico emergente de baixa competência. Isso sugere que a dependência excessiva da GenAI suprime ativamente o domínio das habilidades de resolução de problemas.
5. Interação com Homofilia: Em redes com homofilia baseada em competência (SBM modificado), o acesso à GenAI pareceu amplificar a estratificação, reduzindo a probabilidade de os estudantes ultrapassarem seus vizinhos iniciais de competência.

Significância e Alegações
O artigo afirma que o impacto educacional da GenAI não pode ser avaliado apenas através de resultados de aprendizagem individuais ou conclusão imediata de tarefas. Em vez disso, o estudo demonstra que a disponibilidade da GenAI altera fundamentalmente a dinâmica coletiva do desenvolvimento de competências dentro das comunidades de aprendizagem.

Os autores argumentam que, embora a GenAI possa facilitar a conclusão de tarefas, seu uso como um atalho pode levar à descarga cognitiva que diminui o desenvolvimento de habilidades autônomas de resolução de problemas. Esse efeito não é uniforme; ele cria uma estratificação onde um subgrupo de estudantes fica para trás, resultando em uma sala de aula polarizada onde uma minoria significativa falha em atingir alta competência. O estudo conclui que os riscos da GenAI estendem-se além dos déficits individuais de pensamento crítico para incluir a reorganização estrutural das distribuições de competência em sala de aula, potencialmente deixando uma parcela maior de estudantes em níveis de competência inferiores do que ocorreria em ambientes de aprendizagem tradicionais.