Changes in Coding Behavior and Performance Since the Introduction of LLMs
Deze quasi-longitudinale studie van een graduate cursus cloud computing onthult dat sinds de introductie van LLM's het programmeergedrag van studenten is verschoven naar langere maar minder iteratieve inzendingen met verminderde leerwinst, wat suggereert dat overmatige afhankelijkheid van deze tools een negatieve impact kan hebben op zowel de productiviteit als de educatieve resultaten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Plaatje: Het "Magische Pen" Experiment
Stel je een kookles voor waarbij studenten elke semester een specifieke taart moeten bakken. Vijf jaar lang heeft de leraar geobserveerd hoe zij bakten. Toen werd er eind 2022 een "Magische Pen" (Large Language Models of LLM's) beschikbaar. Deze pen kon het recept schrijven en zelfs het beslag voor de studenten mengen als ze daarom vroegen.
De onderzoekers wilden weten: Hielp de Magische Pen de studenten om beter te leren bakken, of zorgde het er alleen voor dat de taarten er mooi uitzagen terwijl de studenten vergaten hoe ze moesten bakken?
Ze bekeken gegevens van 10 semesters (5 jaar vóór de Magische Pen en 5 jaar erna) van een graduate-niveau computer science-klas. Ze richtten zich op één specifieke programmeeropdracht die nooit veranderde, wat fungeerde als dat onveranderlijke taartrecept.
Wat ze vonden: Het "Bloat"-effect
De onderzoekers merkten enkele zeer vreemde dingen op nadat de Magische Pen arriveerde:
Meer aanpassingen, minder verbetering: Vóór de Magische Pen maakten studenten kleine, zorgvuldige wijzigingen in hun code om fouten te herstellen. Na de komst van de Magische Pen begonnen studenten enorme, allesomvattende wijzigingen door te voeren tussen hun inzendingen.
- De Analogie: Stel je voor dat je een zin aan het bewerken bent. Voorheen zou je misschien één woord veranderen om een typefout te herstellen. Na de Magische Pen zou je de hele paragraaf kunnen verwijderen en een nieuwe plakken die drie keer zo lang is, zelfs als de nieuwe versie eigenlijk niet beter is.
- De Data: De hoeveelheid code die studenten aanpasden tussen de pogingen door, verdrievoudigde. De totale hoeveelheid code die zij inleverden, groeide met 500%.
De "Perfecte Score" Illusie: Bijna iedereen haalde nog steeds een perfect cijfer voor de specifieke opdracht.
- De Analogie: Het is alsof iedereen in de klas plotseling een "A" haalt voor de toets. Maar de leraar realiseerde zich dat de studenten die "A"s haalden, gewoon het antwoordmodel van de Magische Pen kopieerden, in plaats van daadwerkelijk de wiskunde te begrijpen. Het cijfer vertelde niet langer het hele verhaal.
Het signaal van de "Langzamere Leerling": De onderzoekers maten hoeveel de score van een student verbeterde bij elke nieuwe poging.
- De Analogie: Denk aan het beklimmen van een ladder. Vóft de Magische Pen, kwam een student bij elke nieuwe sport die hij beklom, aanzienlijk dichter bij de top. Na de Magische Pen klommen studenten veel sneller op de ladder (maakten meer wijzigingen), maar kwamen ze niet dichter bij de top. Ze stonden gewoon met de wielen in de lucht te draaien.
- De Data: De "scoreverbetering per wijziging" daalde aanzienlijk. Studenten werkten harder (meer bewerkingen) maar leerden minder.
De Twist bij het Teamproject
De studie keek ook naar een groepsproject waarbij studenten samen een website bouwden.
- Het Resultaat: De scores van de teams gingen na de komst van de Magische Pen zelfs licht omhoog.
- De Analogie: Het is als een sportteam waarbij één speler een supersnelle robot meeneemt naar de wedstrijd. Het team wint meer wedstrijden, maar de menselijke spelers worden misschien niet sterker. De robot doet het zware werk, waardoor het masker wordt opgezet voor het feit dat de mensen misschien minder bijdragen dan voorheen.
De "Centaur" Waarschuwing
De auteurs vergelijken de toekomst van werk met Schaken.
- In schaken is een "Centaur" een team van een mens en een computer die samenwerken. Deze teams zijn beter dan mensen alleen of computers alleen.
- Het Probleem: De onderzoekers maken zich zorgen dat studenten als een schaker worden die vergeten hoe hij de stukken moet bewegen, omdat ze alleen maar de computer vertellen wat hij moet doen.
- Ze ontdekten dat studenten die zwaar leunden op de Magische Pen (geïndiceerd door die enorme, opgeblazen code-wijzigingen) het bij andere individuele opdrachten juist iets slechter deden. Dit suggereert dat hoewel de Magische Pen je helpt de taak te voltooien, het je vermogen kan schaden om de vaardigheden te leren die nodig zijn om de taak op eigen kracht uit te voeren.
De Kern van de zaak
Het artikel concludeert dat hoewel studenten nog steeds goede cijfers halen, hun gedrag is veranderd op een manier die suggereert dat ze te veel vertrouwen op AI.
- Ze leveren langere, slordigere code aan.
- Ze maken meer wijzigingen zonder er veel van te leren.
- Ze halen perfecte scores voor eenvoudige taken, maar hun algehele leer-efficiëntie lijkt te dalen.
De auteurs waarschuwen dat scholen en werkgevers anders moeten gaan nadenken over hoe ze "vaardigheid" meten. Alleen omdat een student een perfect resultaat kan produceren met een Magische Pen, betekent niet dat hij weet hoe hij de taart moet bakken. Ze moeten uitzoeken hoe ze studenten kunnen opleiden tot de schaakmeesters die de computer aansturen, in plaats van alleen de mensen die op de "start"-knop drukken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.