How Software Engineering Students Use LLMs to Write Research Papers: An Experience Report
Dit ervaringsverslag analyseert 146 verklaringen van studenten over het gebruik van Large Language Models uit een derdejaars cursus softwarearchitectuur om te illustreren hoe studenten Large Language Models integreren in empirische onderzoekstaken voor taken zoals brainstormen en schrijven, terwijl het ook hun zorgen met betrekking tot de nauwkeurigheid en verificatie van de inhoud belicht.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een klaslokaal voor waar studenten software engineering de opdracht krijgen om een kort onderzoekspaper te schrijven. In plaats van het gebruik van Kunstmatige Intelligentie (AI) te verbieden, besloten de docenten de studenten het vrij te laten gebruiken, met één belangrijke regel: je moet ons precies vertellen hoe je het hebt gebruikt.
Dit paper is als een "dagboek" of een "bonnetje" van die klas. De onderzoekers bekeken 146 aantekeningen die door studenten werden geschreven nadat ze hun papers hadden voltooid, om te zien wat er werkelijk gebeurde toen AI in de klas werd toegestaan.
Hier is het verhaal van wat ze ontdekten, onderverdeeld in eenvoudige concepten:
1. De Opdracht: Een Huis van Bewijs Bouwen
De studenten schreven niet zomaar een opiniestuk; ze traden op als detectives. Ze moesten bewijs vinden (ofwel uit academische tijdschriften of van online techfora) om een specifieke vraag over softwareontwerp te beantwoorden. Denk aan het bouwen van een huis: ze moesten de stenen verzamelen (bewijs), de indeling plannen (methodologie) en de blauwdruk schrijven (het paper).
2. De AI als een "Zwitsers Zakmes"
De studenten gebruikten AI niet alleen om de paper voor hen te schrijven. In plaats daarvan gebruikten ze het als een multifunctioneel Zwitsers zakmes voor verschillende taken:
- De Polijster (Meest voorkomend): Het meest frequente gebruik was als het inhuren van een professionele redacteur. Studenten gebruikten AI om grammatica te verbeteren, onhandige zinnen soepeler te maken en ervoor te zorgen dat het paper er professioneel uitzag. Het was de "laatste laag verf".
- De Brainstormpartner: Wanneer studenten vastliepen aan het begin, omdat ze niet wisten welk onderwerp ze moesten kiezen, vroegen ze de AI: "Wat zijn wat coole ideeën?" De AI fungeerde als een creatieve partner die hielp nieuwe gedachten te ontsteken.
- De Vertaler: Sommige studenten vonden de technische concepten te moeilijk om te begrijpen. Ze gebruikten de AI om te zeggen: "Leg dit complexe idee uit in eenvoudig Engels," waarbij de AI fungeerde als een persoonlijke tutor.
- De Organisator: Wanneer ze een stapel rommelige aantekeningen hadden, vroegen ze de AI om te helpen deze in nette categorieën te sorteren, zoals het opruimen van een rommelige kast.
- De Kwaliteitscontrole: Een enkeling gebruep de AI om te controleren of hun uitleg over hoe ze het onderzoek hadden uitgevoerd, duidelijk genoeg was voor anderen om te volgen.
3. De "Vertrouw maar Controleer"-regel
Hoewel de studenten graag hulp kregen, waren ze geen blinde volgers. Het paper laat zien dat studenten zich zeer bewust waren van de gebreken van de AI.
Zie de AI als een zeer zelfverzekerde maar soms vergeetachtige bibliothecaris. Hij kan je een boek geven, maar soms verzint hij de titel of de auteur.
- Het Probleen: Studenten rapporteerden dat de AI soms "hallucineerde" (dingen verzon evenals de betekenis van hun woorden veranderde op een manier die zij niet prettig vonden).
- De Oplossing: De studenten kopieerden en plakten niet zomaar. Ze traden op als hoofdredacteuren. Ze lazen alles wat de AI voorstelde, controleerden of het waar was en herstelden fouten. Ze realiseerden zich dat ze niet simpelweg hun denken konden uitbesteden aan de machine; ze moesten zelf aan het stuur blijven.
4. Wat de Docenten Leerden
De belangrijkste les van dit experiment is dat wanneer je studenten vertelt: "Je mag AI gebruiken, maar je moet er eerlijk over zijn," ze het niet gebruiken om te spieken. Ze gebruiken het als een partner.
- Ze leerden dat AI geweldig is voor het polijsten en organiseren.
- Ze leerden dat AI geen magische knop is die een perfect paper voor je schrijft.
- Ze leerden dat zij nog steeds degene moeten zijn die de feiten verifieert en de "ziel" van het paper eigen houdt.
De Kernboodschap
Dit paper zegt niet dat AI de toekomst van het schrijven is, noch zegt het dat we het moeten verbieden. Het is simpelweg een rapportcijfer dat laat zien dat wanneer studenten openlijk AI mogen gebruiken en erover worden gevraagd erover te reflecteren, ze het behandelen als een krachtige assistent in plaats van een vervanging. Ze gebruiken het om hun werk beter te maken, maar blijven de bazen van hun eigen projecten, waarbij ze constant het werk van de assistent controleren om te zien of het accuraat is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.