Students using GenAI lag behind in problem-solving competence: an agent-based study of classroom networks

Technische Samenvatting: Studenten die GenAI gebruiken blijven achter in probleemoplossende competentie

Probleemstelling
De ontwikkeling van probleemoplossende competentie (PSC) is fundamenteel voor de voorbereiding van veerkrachtige burgers, maar de collectieve impact van Generatieve Artificiële Intelligentie (GenAI) op deze ontwikkeling binnen klasomgevingen blijft onderbelicht. Terwijl bestaande literatuur uitgebreid behandelt wat betreft individuele leerresultaten en houdingen ten opzien van GenAI, ontbreekt een begrip van hoe de verdeling van leerstrategieën — specif으로 de keuze tussen het gebruik van GenAI, samenwerking met peers, of individueel werken — de evolutie van PSC binnen een leergemeenschap vormgeeft. Er bestaat een kritieke kloof in het bepalen of GenAI fungeert als een steunpunt voor co-constructief leren of als een mechanisme voor cognitieve ontlasting (cognitive offloading) dat diep leren belemmert, met name wanneer men rekening houdt met de dynamische wisselwerking tussen individuele keuzes en peer-netwerkstructuren.

Methodologie
Om dit aan te pakken, hebben de auteurs een Agent-Based Model (ABM) ontwikkeld om de evolutie van PSC in een natuurkundelokaal in de bovenbouw van de middelbare school te simuleren over 60 tijdstappen (die 60 oefeningen vertegenwoordigen).

• Agenten en Toestandsvariabelen: Het model bestaat uit $N=30$ student-agenten. Elke agent $i$ wordt gekenmerkt door drie toestandsvariabelen:
  1. Probleemoplossende competentie ($C_i^t$): Het vermogen om natuurkunde-oefeningen op te lossen, geïnitialiseerd met behulp van empirische distributies uit Italiaanse INVALSI-beoordelingsgegevens ($N(\mu=195.9, \sigma=1.28)$).
  2. GenAI-afhankelijkheid ($\alpha_i^t$): Een waarde in $[0,1]$ die de afhankelijkheid van AI vertegenwoordigt, geïnitialiseerd op 0,5.
  3. Afhankelijkheid van Peers ($\tau_i^t$): Een waarde in $[0,1]$ die de neiging vertegenwoordigt om hulp van peers te zoeken, geïnitialiseerd op 0,5.
• Data en Kalibratie: Het model maakt gebruik van een dataset van 60 natuurkunde-oefeningen die het curriculum van het Italiaanse wetenschappelijk lyceum bestrijken. Elke oefening is geannoteerd met drie componenten: wiskundige kennis, fysisch redeneren en cognitieve probleemoplossende vaardigheden (CPSS). Cruciaal is dat het model het "scoreverschil" kwantificeert tussen menselijke oplossingen (zonder AI) en GenAI-oplossingen (met gebruik van OpenAI's GPT-5.5). De data geven aan dat hoewel GenAI oefeningen kan oplossen, het lagere winsten oplevert in CPSS vergeleken met menselijk probleemoplossend vermogen.
• Dynamiek en Strategiekeuze: Op elk tijdstip kiezen agenten een strategie op basis van een sigmoid waarschijnlijkheidsfunctie die wordt beïnvloed door de moeilijkheidsgraad van de oefening, de huidige competentiewinst, AI-afhankelijkheid en peer-afhankelijkheid.
  • GenAI Gebruik ($S_i=1$): Agenten gaan ervan uit dat de oefening is opgelost, maar de updates van de competentie zijn beperkt. Ze verkrijgen potentiële wiskundige en fysische kennis, maar ervaren een potentiële afname of nulwinst in CPSS, wat cognitieve ontlasting weerspiegelt.
  • Geen GenAI ($S_i=0$): Agenten werken ofwel onafhankelijk, ofwel in samenwerking met een peer uit hun netwerk. De succeswaarschijnlijkheid is ingesteld op 0,54 (gebaseerd op nationale data). Succesvol onafhankelijk werk levert volledige competentiewinst op. Samenwerking met een peer maakt kennisoverdracht mogelijk: als een peer competenter is, wordt de competentie van de agent bijgewerkt naar een willekeurige waarde tussen die van henzelf en die van de peer; als de peer minder competent is, vindt er geen extra leren plaats.
• Netwerkstructuren: De studie simuleert interacties over vier verschillende netwerktopologieën om structurele robuustheid te testen:
  1. Erdős–Rényi (ER) random netwerken.
  2. Watts–Strogatz (WS) small-world netwerken.
  3. Stochastic Block Models (SBM) die gemeenschapsstructuren vertegenwoordigen.
  4. Gemodificeerde SBM's die competentie-gebaseerde homofilie bevatten (waarbij de initiële peer-verbindingen worden gevormd op basis van vergelijkbare competentieniveaus).

Belangrijkste Resultaten
De simulatieresultaten, afgeleid van 1.000 onafhankelijke runs per conditie, onthullen significante negatieve effecten van GenAI-toegang op de collectieve competentiedynamiek:

1. Verminderde Gemiddelde Competentie: Over alle netwerktopologieën heen vertoonden klaslokalen met toegang tot GenAI consequent een langzamere snelheid van vaardigheidsverwerving en een lagere uiteindelijke gemiddelde PSC vergeleken met klaslokalen zonder GenAI.
2. Gestagneerde Opwaartse Mobiliteit: In de afwezigheid van GenAI bewegen studenten progressief naar hogere competentieniveaus, waarbij de distributie zich concentreert in de categorieën "Hoog" en "Zeer Hoog". Omgekeerd veroorzaakte GenAI-toegang een stagnatie waarbij een aanzienlijk deel van de studenten bleef steken in de categorieën "Midden", "Laag" en "Zeer Laag".
3. Emergentie van Bimodaliteit: De introductie van GenAI transformeerde de uiteindelijke competentiedistributie van een relatief homogene unimodale staat naar een bimodale distributie. Gaussian mixture modeling toonde aan dat GenAI-toegang de omvang van een laag-competente cluster vergrootte van ongeveer 1–4% (in scenario's zonder AI) naar 8–12% van de populatie.
4. Stratificatie door Gebruiksfrequentie: Analyse van de gebruiksfrequentie onthulde dat studenten met de hoogste frequentie van GenAI-gebruik (75–100% van de oefeningen) onevenredig geconcentreerd waren in de opkomende laag-competente piek. Dit suggereert dat zware afhankelijkheid van GenAI de beheersing van probleemoplossende vaardigheden actief onderdrukt.
5. Interactie met Homofilie: In netwerken met competentie-gebaseerde homofilie (gemodificeerde SBM), leek GenAI-toegang stratificatie te versterken, waardoor de kans verkleind werd dat studenten voorbij hun initiële competentienaboligheden zouden bewegen.

Betekenis en Claims
Het artikel beweert dat de educatieve impact van GenAI niet uitsluitend beoordeeld kan worden via individuele leerresultaten of directe taakvoltooiing. In plaats daarvan toont de studie aan dat de beschikbaarheid van GenAI de collectieve dynamiek van competentieontwikkeling binnen leergemeenschappen fundamenteel herstructureert.

De auteurs betogen dat hoewel GenAI de voltooiing van taken kan faciliteren, het gebruik ervan als een afkorting kan leiden tot cognitieve ontlasting die de ontwikkeling van autonome probleemoplossende vaardigheden vermindert. Dit effect is niet uniform; het creëert een stratificatie waarbij een subset van studenten achterblijft, wat resulteert in een gepolariseerd klaslokaal waar een aanzienlijke minderheid er niet in slaagt een hoog niveau van competentie te bereiken. De studie concludeert dat de risico's van GenAI verder reiken dan individuele tekortkomingen in kritisch denken en ook de structurele reorganisatie van de competentieverdelingen in het klaslokaal omvatten, wat potentieel een groter deel van de studenten in lagere competentieniveaus achterlaat dan in traditionele leeromgevingen het geval zou zijn.