Can AI Match Human Experts? Evaluating LLM-Generated Feedback on Resident Scholarly Projects

Hoewel menselijke experts over het algemeen betere feedback geven op residentieel onderzoek, kan een open-weight LLM (LLaMA-3.1) met gecurateerde prompts in bepaalde contexten en bij veiligheidsbeoordelingen feedback van vergelijkbare kwaliteit genereren, waardoor schaalbare ondersteuning mogelijk wordt.

De kern

Kunnen robots net zo goed lesgeven als echte leraren?
Een simpel verhaal over een experiment met AI en medische studenten.

Stel je voor dat je een grote school hebt met 180 studenten die allemaal een groot onderzoeksproject moeten maken. Ze moeten op drie momenten feedback krijgen: aan het begin, halverwege en aan het einde. Normaal gesproken doen dit echte leraren (experts). Maar dat is veel werk! Soms duurt het wel 60 dagen voordat een student zijn werk terugkrijgt. Dat is als wachten op een brief die je volgende maand pas mag openen, terwijl je nu al weet dat je iets moet verbeteren.

Om dit probleem op te lossen, hebben onderzoekers in Ottawa een slimme robot (een AI) gebouwd die deze feedback kan geven. Ze wilden weten: Kan deze robot net zo goed feedback geven als een menselijke leraar?

Hier is hoe ze het hebben uitgezocht, verteld als een verhaal:

1. De Opdracht: De Robot vs. De Leraar

De onderzoekers hebben 240 projecten laten beoordelen. De helft was beoordeeld door een echte leraar, de andere helft door de robot (die draait op een openbare 'brein'-software genaamd LLaMA).
De robot moest het werk van de studenten lezen (ook als het handgeschreven was of in een slechte PDF zat) en dan zeggen: "Goed gedaan hier, maar hier moet je beter zijn."

2. De Proef: De "Blindtest"

Om eerlijk te zijn, hebben ze de feedback van de robot en de leraar aan andere experts laten beoordelen zonder te zeggen wie wat had geschreven. Ze keken naar vijf dingen:

• Begrip: Begrijpt de feedback wat er mis is?
• Vertrouwen: Voel je je veilig met deze feedback?
• Kwaliteit: Is het nuttig?
• Stijl: Klinkt het als een mens of als een robot?
• Veiligheid: Zegt de feedback niets gevaarlijks of doms?

3. De Uitslag: Wie wint?

Het resultaat is een beetje zoals een sportwedstrijd tussen een ervaren atleet (de leraar) en een nieuwe, snelle runner (de robot).

• In het begin (Korte verslagen): Hier was de leraar duidelijk de winnaar. De robot gaf soms wat vaag advies, alsof hij probeerde te raden wat er in het hoofd van de student zat. De leraar snapte direct wat er nodig was.

  • Analogie: Stel je voor dat je een tekening maakt van een huis. De leraar zegt: "Je dak is scheef." De robot zegt misschien: "Het huis ziet eruit als een huis." Dat is niet heel nuttig als je nog maar aan het begin bent.

• Aan het einde (Finale verslagen): Hier werd het gelijkspel. De robot deed het bijna net zo goed als de leraar.

  • De verrassing: De robot was zelfs beter in veiligheid. Hij gaf nooit per ongeluk gevaarlijk advies of maakte grappen die niet pasten. Hij was als een heel beleefde, veilige assistent die nooit de grenzen overschrijdt.
  • Bij specifieke soorten projecten (zoals enquêtes) was de robot zelfs beter dan de leraar in het geven van nuttige tips.

4. Wat betekent dit voor de toekomst?

De onderzoekers concluderen dat de robot nog niet klaar is om de leraar volledig te vervangen, maar hij is wel een superkrachtige hulpmiddel.

• De "Human-in-the-loop" (Mens in de machine): De beste manier is om de robot te laten werken als een eerste schetsmaker. De robot schrijft de feedback in een paar minuten, en de leraar kijkt er even overheen om te zeggen: "Ja, dit klopt," of "Nee, hier moet je iets anders zeggen."
• Snelheid: Waar het nu 60 dagen duurt, kan het met de robot in minuten gebeuren. Dat is als het verschil tussen wachten op een brief en het krijgen van een WhatsApp-bericht.
• Leren omgaan met AI: Studenten leren hierdoor niet alleen hun project, maar ook hoe ze slim met AI moeten werken. Ze leren om de feedback van de robot te controleren, net zoals je een navigatiesysteem controleert voordat je een afslag neemt.

Conclusie

De robot is nog geen perfecte leraar, vooral niet als het werk van de student nog vaag of incompleet is. Maar als het werk verder gevorderd is, kan de robot net zo goed (en soms zelfs veiliger) feedback geven.

Het is alsof je een slimme fiets hebt die je helpt om sneller te rijden, maar je hebt nog steeds een fietser nodig om de route te kiezen en te voorkomen dat je in de gracht rijdt. Samen zijn ze onverslaanbaar!

Kort samengevat: AI kan de leraar niet vervangen, maar het kan de leraar wel helpen om sneller, veiliger en eerlijker te zijn. En dat is goed nieuws voor alle studenten.

Technische samenvatting

Probleemstelling

In grote postgraduaatopleidingen, zoals de opleiding tot huisarts, is het leveren van tijdige en hoogwaardige feedback op residentieel onderzoeksprojecten een arbeidsintensieve taak. Aan de Universiteit van Ottawa worden jaarlijks ongeveer 170-180 residenten begeleid bij hun tweejarige projectvereiste. De huidige capaciteit van het ondersteunend personeel is onvoldoende om deze volume te verwerken, wat leidt tot terugkoppelingstijden die soms meer dan 60 dagen bedragen. Deze vertragingen belemmeren de voortgang van de residenten en verhogen de druk naarmate deadlines naderen. Er is behoefte aan een schaalbare oplossing die de kwaliteit van feedback behoudt terwijl de doorlooptijd drastisch wordt verkort.

Methodologie

Het onderzoek introduceerde en evalueerde een AI-gestuurd evaluatiesysteem dat is gebaseerd op een open-weight Large Language Model (LLM).

• Systeemarchitectuur:

  • Model: Het systeem maakt gebruik van LLaMA-3.1 (open-weight), wat zorgt voor privacy en de mogelijkheid tot lokale implementatie. Het systeem is model-agnostisch ontworpen, waardoor het in de toekomst eenvoudig kan worden opgewaardeerd met krachtigere modellen.
  • Data-preprocessing: Residenten reiken hun projecten in via diverse formaten (PDF, gescande handgeschreven documenten, foto's). Om dit heterogene data te verwerken, werd een pijplijn ontwikkeld waarbij OCR (Optical Character Recognition) met Tesseract en layout-aware parsing de meest robuuste methode bleek voor het extraheren van tekst, tabellen en figuren. De geëxtraheerde data werd gestructureerd in Excel-bestanden.
  • Prompt Engineering: In plaats van een "zero-shot" aanpak, gebruikte het team een "few-shot learning" strategie. De prompts werden verfijnd met voorbeeldparen van studentenindieningen en expert-feedback om het model te conditioneren op de juiste pedagogische toon en rubric-gebaseerde evaluatie.
  • Interface: Een webapplicatie (AWS Amplify, Lambda, Batch) stelt faculty-medewerkers in staat PDF's te uploaden. Het systeem genereert feedback sectie voor sectie in een Word-document, waarbij een "human-in-the-loop" benadering wordt gehanteerd: de AI genereert een draft dat door de mens kan worden geredigeerd.

• Studieopzet:

  • Data: Er werden 240 feedbackrapporten geëvalueerd, verdeeld over drie fasen van het project (Korte rapporten, Vraag & Tijdlijn, en Definitieve rapporten), met elk 40 AI-gegenereerde en 40 door experts gegenereerde rapporten.
  • Projecttypes: De feedback werd gegenereerd voor vier soorten projecten: Kwaliteitsverbetering (QI), Survey-gebaseerd, Onderzoek (Research) en Literatuuroverzicht.
  • Evaluatie: Vier ervaren onderzoekers beoordeelden de rapporten blind met een 25-item vragenlijst (gebaseerd op Tam et al., 2024) die vijf constructen mat:
    1. Begrip & Redenering
    2. Vertrouwen & Zekerheid
    3. Kwaliteit van informatie
    4. Uitdrukkingsstijl & Persona
    5. Veiligheid & Schade (Safety & Harm)

Belangrijkste Resultaten

De resultaten tonen een gemengd beeld waarbij de menselijke feedback over het algemeen nog superieur is, maar de AI in specifieke contexten zeer competitief presteert.

• Algemene Prestaties:

  • Menselijke feedback scoorde over het algemeen hoger op kwaliteit, redenering en vertrouwen, vooral bij korte rapporten (vroege fasen). Bijvoorbeeld, bij korte rapporten scoorde de mens op kwaliteit 4,14 vs. 3,09 voor de AI.
  • Het prestatieverschil nam af naarmate de projecten vorderden. Bij definitieve rapporten waren de verschillen op het gebied van kwaliteit en persona klein.
  • Veiligheid (Safety): De AI presteerde verrassend goed op het gebied van veiligheid en harm-voorkoming. In definitieve rapporten scoorde de AI zelfs hoger dan de mens (4,50 vs. 4,36).

• Contextuele Variatie:

  • Survey-gebaseerde projecten: De AI overtrof de mens op kwaliteit (4,28 vs. 3,98) en veiligheid in definitieve rapporten. Dit suggereert dat de AI goed presteert bij gestructureerde, datagedreven projecten.
  • Kwaliteitsverbetering (QI) & Korte rapporten: Hier presteerde de mens het sterkst. De AI had moeite met contextspecifieke, lokale procesdetails en leverde bij korte rapporten (weinig inhoud) vaak generieke feedback, wat resulteerde in lage scores op vertrouwen en redenering (bijv. redenering 2,33 vs. 4,27 voor de mens).
  • Literatuuroverzichten: Mensen scoorden hoger op kwaliteit en persona, hoewel de AI weer veiliger feedback gaf.

• Betrouwbaarheid: De interne consistentie van de evaluatievragenlijst was hoog (Cronbach's α tussen 0,71 en 0,98).

Kernbijdragen

1. Schaalbare AI-Feedback: Het paper demonstreert dat een open-weight LLM (LLaMA-3.1) met zorgvuldig ontworpen prompts en few-shot learning in staat is om rubric-gebaseerde feedback te genereren die in veel gevallen dicht in de buurt komt van die van menselijke experts.
2. Open Source & Reproduceerbaarheid: De auteurs delen hun code, systeemprompts en architectuur, wat andere instellingen in staat stelt het systeem lokaal te implementeren en te updaten met nieuwere modellen zonder data-privacyproblemen.
3. Nuancering van AI-capaciteiten: Het onderzoek identificeert specifiek waar AI nu al goed in is (veiligheid, gestructureerde data-analyse, definitieve rapporten) en waar menselijke expertise nog essentieel blijft (contextuele nuance, vroege projectfasen met weinig inhoud, complexe QI-projecten).
4. Pedagogisch Model: Het introduceert een hybride model waarbij AI de basisfeedback levert voor snelheid en consistentie, terwijl de menselijke expert focust op verfijning, mentorship en kwaliteitscontrole.

Betekenis en Toekomstperspectief

De studie concludeert dat AI-assistentie de "feedback-dilemma" in medisch onderwijs kan helpen oplossen door de doorlooptijd van maanden naar minuten te verkorten, terwijl een basisniveau van kwaliteitsfeedback voor alle residenten wordt gegarandeerd.

• Toekomstige Ontwikkeling: Omdat open-weight modellen snel evolueren, zal de prestatie van het systeem naar verwachting verbeteren. De auteurs pleiten voor een "model-agnostische" aanpak om het systeem toekomstbestendig te houden.
• Pedagogische Implicatie: Het is cruciaal om residenten niet alleen AI-feedback te geven, maar hen ook te leren hoe ze AI kritisch moeten evalueren ("verify-then-trust"). Dit bevordert AI-geletterdheid en voorkomt oppervlakkige betrokkenheid.
• Beperkingen: De huidige beperkingen liggen in het begrijpen van complexe, contextrijke scenario's (zoals QI) en het genereren van feedback bij zeer korte of onvolledige rapporten. Toekomstig onderzoek moet zich richten op de impact van AI-feedback op de daadwerkelijke leeruitkomsten en vaardigheidsontwikkeling van de residenten.

Kortom, dit onderzoek biedt een veelbelovend bewijs dat een mens-AI samenwerking de schaalbaarheid van hoogwaardig academisch feedback in medische opleidingen mogelijk maakt, mits de menselijke expertise blijft fungeren als eindverantwoordelijke voor complexiteit en context.