Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback
Dit paper introduceert Expos'ia, het eerste publieke dataset dat academisch schrijven en feedback in het hoger onderwijs koppelt, en gebruikt deze om de prestaties van grote taalmodellen te benchmarken bij het automatisch beoordelen van onderzoeksvoorstellen en peerfeedback.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een jonge onderzoeker bent die net begint met het schrijven van zijn eerste grote onderzoeksplan (een 'exposé'). Het is een moeilijke taak: je moet een goed idee hebben, een plan maken en het allemaal netjes op papier zetten. Maar hoe leer je dit? En hoe krijg je eerlijke, nuttige feedback?
Dit is precies waar het nieuwe project Exposía voor zorgt. Het is als een gigantische, slimme tijdmachine voor leren, gebouwd door onderzoekers van de TU Darmstadt en de CUNY in New York.
Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:
1. Het Probleem: De "Schrijfgordel"
In de universiteit moeten studenten vaak onderzoeksplannen schrijven. Dat is als het bouwen van een huis zonder blauwdrukken. Veel studenten weten niet hoe ze een goed plan moeten maken.
Tegelijkertijd is er een ander probleem: Peer Review (collega's die elkaars werk beoordelen). Dit is een superkracht om te leren, maar studenten krijgen hier zelden les in. Ze moeten het er maar op gooien.
2. De Oplossing: Exposía (De Digitale Werkplaats)
De onderzoekers hebben een nieuwe universiteitscursus opgezet, "Introductie tot Wetenschappelijk Werk". In deze cursus doen studenten iets heel specifieks:
- Ze schrijven een eerste versie van hun plan.
- Ze krijgen feedback van twee bronnen: medestudenten en docenten. Deze feedback zit niet alleen in een samenvatting, maar is ook als post-itjes op de tekst geplakt (bijvoorbeeld: "Hier is je zin onduidelijk" of "Dit is een sterk punt!").
- De studenten gebruiken die feedback om hun plan te verbeteren en een definitieve versie in te leveren.
Exposía is de database die al deze stukjes verzamelt: de ruwe versie, de post-itjes, de samenvattingen en de verbeterde versie. Het is alsof je een video hebt van iemand die een puzzel probeert op te lossen, inclusief de hints die hij kreeg en hoe hij de puzzel uiteindelijk heeft opgelost.
3. De "Slimme Oefenboeken" (De Criterias)
Om te weten of een plan goed is, hebben de docenten een heel gedetailleerde scorekaart gemaakt.
- Voor het onderzoeksplan zijn er 36 verschillende criteria (zoals: "Is het probleem duidelijk?", "Is de methode haalbaar?").
- Voor de feedback die studenten geven, zijn er 24 criteria (zoals: "Was de feedback vriendelijk?", "Gaf hij bruikbare tips?").
Het is alsof je niet alleen kijkt of het huis af is, maar ook of de muren recht zijn, of het dak niet lekt, en of de timmerman de juiste hamer gebruikte.
4. De Robot-Testers (AI en LLM's)
De onderzoekers hebben deze database gebruikt om de nieuwste AI-modellen (zoals GPT-4, Claude, Llama) op de proef te stellen. Ze vroegen de AI: "Kun jij deze plannen en feedback beoordelen zoals een menselijke docent?"
Wat ontdekten ze?
- Sommige robots zijn beter dan anderen: Net zoals sommige mensen beter zijn in wiskunde en anderen in tekenen, bleek dat bepaalde AI-modellen beter waren in het beoordelen van het onderzoeksplan, terwijl andere beter waren in het beoordelen van de feedback.
- De "Grote" robots winnen: De duurste, gesloten AI-modellen (die je niet zelf kunt draaien) deden het over het algemeen beter dan de gratis, open-source modellen. Dit is een probleem voor scholen, omdat ze vaak geen dure abonnementen kunnen betalen of privacy-wetten hebben die data naar de cloud verbieden.
- De beste manier om te vragen: Als je de AI vraagt om alle criteria in één keer te beoordelen, werkt het veel beter en sneller dan als je de AI één voor één vraagt om elk punt te checken.
5. Waarom is dit belangrijk?
Stel je voor dat je een leraar bent met 300 studenten. Het nakijken van al hun plannen en feedback kost je weken van je leven.
Met Exposía en de inzichten uit dit onderzoek, kunnen we in de toekomst slimme hulpmiddelen bouwen die:
- Docenten helpen om sneller en eerlijker te beoordelen.
- Studenten direct feedback geven op hun schrijfstijl en hun vermogen om anderen te helpen.
- Zorgen dat AI niet de leraar vervangt, maar fungeert als een super-assistent die de zware klus doet, zodat de leraar zich kan focussen op het echte onderwijs.
Kortom: Exposía is de eerste keer dat we een complete "leercyclus" van schrijvers en beoordelaars hebben vastgelegd in een database. Het is de basis voor de toekomst van slimme, eerlijke en menselijke ondersteuning in het hoger onderwijs.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.