📄 medicine

Inverted validity arguments in the evaluation of India’s national professionalism curriculum: a systematic review

Deze systematische review onthult dat de literatuur die het nationale AETCOM-professionaliteitscurriculum van India evalueert methodologisch gebrekkig en "geïnverteerd" is, waarbij grote, zelfverzekerde claims van effectiviteit worden gedaan op basis van zwakke ontwerpen en spin, terwijl het nalaat het noodzakelijke bewijs te leveren om vast te stellen of het curriculum de medische praktijk in de echte wereld daadwerkelijk verbetert.

Oorspronkelijke auteurs: H S Siddalingaiah, Preethi Ashok Masali

Gepubliceerd 2026-07-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: H S Siddalingaiah, Preethi Ashok Masali

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert uit te zoeken of een nieuw, door de overheid verplicht recept voor de "Perfecte Soep" mensen daadwerkelijk gezonder maakt. In de wereld van medisch onderwijs wordt dit recept AETCOM genoemd—een nationaal programma in India dat bedoeld is om toekomstige artsen te leren hoe ze vriendelijk, ethisch en goed in het communiceren met patiënten kunnen zijn. Maar hier is het lastige deel: hoe weet je of de soep eigenlijk werkt? Je kunt niet gewoon aan de chef vragen of hij vindt dat het lekker smaakt, en je kunt ook niet alleen naar de ingrediëntenlijst kijken. Je moet kijken naar wat er gebeurt wanneer de soep wordt geserveerd aan echte klanten in een echt restaurant. Hier komt de wetenschap van "evaluatie" om de hoek kijken. Het is het proces van controleren of een les daadwerkelijk gedrag verandert in de echte wereld, en niet alleen in een klaslokaal. Om dit goed te doen, gebruiken wetenschappers een paar grote concepten: "Validiteit", wat zoiets is als controleren of je liniaal daadwerkelijk de lengte meet en niet alleen de temperatuur; "Transfer van Training", wat vraagt of wat je in de keuken leert, je ook echt helpt om beter te koken wanneer het restaurant druk wordt; en "Spin", wat gebeurt wanneer iemand een rapport schrijft dat een klein succes laat lijken op een enorme overwinning.

Stel je nu voor dat een team van detectives—onderzoekers Siddalingaiah en Masali—besluit om het stapel rapporten te onderzoeken die geschreven zijn over dit "Perfecte Soep" recept. Ze vroegen niet alleen: "Werkt de soep?" Ze stelden een veel vreemdere vraag: "Zijn de rapporten die we hebben überhaupt in staat om die vraag te beantwoorden?" Ze bekeken tientallen studies vanaf 2015 die probeerden het AETCOM-curriculum te testen. Wat ze vonden, was een beetje alsof je een kamer binnenloopt waar iedereen schreeuwt dat de soep geweldig is, maar niemand de soep daadwerkelijk proeft in het restaurant. In plaats daarvan proeven ze de rauwe ingrediënten in de keuken, of vragen ze de chef simpelweg hoe hij zich voelt over het recept.

De detectives ontdekten dat de "omvang" van het gerapporteerde succes in deze studies volledig afhing van hoe de test was opgezet, en niet van hoe goed de soep daadwerkelijk was. Wanneer docenten hun eigen studenten direct na de les beoordeelden, waren de resultaten enorm en lovend, zoals een score van 3,49 op een schaal waarbij 1 al geweldig is. Maar toen de onderzoekers keken naar de enige twee studies die studenten die de training kregen daadwerkelijk vergeleken met studenten die dat niet kregen, verdween de magie. De score daalde naar een piepkleine 0,12. Het is alsof de eerste groep testers een vergrootglas gebruikte dat alles groter liet lijken, terwijl de tweede groep een gewone, eerlijke spiegel gebruikte. Het artikel laat zien dat hoe "permissiever" (of minder strikt) de regels van de test waren, hoe groter het gerapporteerde succes leek te zijn.

Nog interessanter is dat de onderzoekers een vreemd patroon van "spin" opmerkten. Ze vonden dat in 75% van de rapporten de auteurs claims maakten die veel verder gingen dan wat ze daadwerkelijk hadden gemeten. Het is alsof een student een 'A' krijgt voor een spellingtoets en dan in zijn rapport schrijft: "Dit bewijst dat ik de Nobelprijs voor Literatuur zal winnen." De studies maten zaken zoals "hoe studenten zich voelden" of "wat ze wisten voor een toets", maar de rapporten beweerden dat deze studies bewezen dat artsen nu patiënten beter behandelen of dat rechtszaken zouden verdwijnen. Sterker nog, 89% van de rapporten beweerde meer dan hun bewijslast kon ondersteunen. Ze waren zelfverzekerd over de resultaten op precies de plekken waar ze het minste bewijs hadden.

Het artikel wijst ook op het feit dat bijna niemand de "werkomstandigheden" controleerde. Denk aan dit: je kunt een chauffeur leren om perfect te parkeren op een leeg parkeerterrein, maar als de echte straten in de stad geblokkeerd, druk en chaotisch zijn, en de baas zegt dat de chauffeur hard moet rijden, kan hij alsnog een ongeluk krijgen. De onderzoekers vonden dat slechts 5% van de studies controleerde of de toezichthouders van de artsen de nieuwe houding ondersteunden, en slechts 12% controleerde of de artsen zelfs wel de kans hadden om te oefenen wat ze hadden geleerd. Zonder te weten of het "parkeerterrein" wel open was, kun je de chauffeur niet de schuld geven van het niet goed parkeren, en je kunt de rijschool ook niet de schuld geven.

Dus, wat is het oordeel? Het artikel zegt niet dat het AETCOM-curriculum slecht is of dat het niet werkt. Het zegt dat de huidige manier waarop we het testen kapot is. De bewijsvoering is "geïnverteerd": het is het luidst en meest zelfverzekerd op de plekken waar het eigenlijk het zwakst is. De auteurs concluderen dat we nog niet kunnen zeggen of het curriculum een succes of een mislukking is, simpelweg omdat we nog geen test hebben gebouwd die daadwerkelijk kan zien of de lessen blijven hangen wanneer artsen met echte patiënten te maken krijgen in echte ziekenhuizen. Ze suggereren dat we moeten stoppen met de "vergrootglas"-testen en moeten beginnen met het bouwen van een systeem dat kijkt naar wat er in de echte wereld gebeurt, waarbij gecontroleerd wordt of de omgeving het gebruik van de nieuwe vaardigheden toelaat. Totdat we dat doen, blijven de grote claims over het redden van levens en het oplossen van relaties dat maar dan ook: claims, geen bewezen feiten.

Technische Samenvatting: Inverteerde Validiteitsargumenten in de Evaluatie van het Indiase Nationale Professionaliteitscurriculum

Probleemstelling
India verplicht het AETCOM-curriculum (Attitude, Ethics and Communication) voor alle medische bachelorstudenten en stagiairs, maar de bestaande literatuur die dit nationale programma evalueert, is vrijwel unaniem positief en rapporteert grote effectgroottes en zelfverzekerde conclusies. Er bestaat echter een kritische kloof: de literatuur behandelt tevredenheid, gerapporteerde attitudes, schriftelijke toetsen, rollenspelprestaties en klinisch gedrag als uitwisselbaar, waarbij vaak zonder rechtvaardiging tussen deze termen wordt gesprongen. Het centrale probleem is niet noodzakelijkerwijs of AETCOM werkt, maar of de huidige bewijsvoering in staat is die vraag te beantwoorden. De auteurs stellen dat de literatuur mogelijk causale conclusies en grote effecten produceert die artefacten zijn van het evaluatieontwerp in plaats van de effectiviteit van het curriculum, specifiek omdat er geen rekening wordt gehouden met de "transfer van training"-condities die vereist zijn om klaslokaal leren te laten manifesteren als werkplekgedrag.

Methodologie
Deze systematische review synthetiseerde empirische evaluaties van AETCOM waarbij Indiase bachelorstudenten en stagiairs betrokken waren, gepubliceerd vanaf 2015. De zoekstrategie was uitvoerig en omvatte zeven databases (waaronder PubMed, Europe PMC, ERIC), de Directory of Open Access Journals (DOAJ), een reproduceerbare ISSN-niveau scan van veertien specifieke tijdschriften en citatieketenonderzoek (citation chaining).

De studie maakte gebruik van drie vooraf gespecificeerde analyses:

Design- en Meetcode-analyse: Elk onderzoek dat een effect rapporteerde, werd gecodeerd voor designkenmerken (vergelijkingsgroepen, onafhankelijkheid van beoordelaars, afstemming op het onderwezen materiaal, tijdsintervallen) en meeteigenschappen. De gestandaardiseerde gemiddelde verandering ( $g$ ) werd geschat binnen designstrata met behulp van random-effects modellen.
Concordantie tussen Claim en Bewijs (Spin-taxonomie): Door een framework uit klinische trials te adapteren, codeerden de auteurs claims in titels, abstracts en conclusies voordat zij de methoden lazen. Zij maten de "afstand" tussen het geclaimde uitkomstniveau (bijv. patiëntuitkomsten) en het daadwerkelijk gemeten niveau (bijv. kennis-toetsen), waarbij vormen van "spin" werden geïdentificeerd, zoals causale taal bij ongecontroleerde designs of extrapolatie voorbij de gemeten niveaus.
Validiteitsargument-mapping: Rapporten werden in kaart gebracht aan de hand van een argument-gebaseerd validiteitsframework (scoring, generalisatie, extrapolatie, implicaties), overlagd met de transfer-van-trainingstheorie. Dit beoordeelde of er bewijs bestond voor elke inferentie-link en of omgevingsfactoren (transferklimaat, supervisie-ondersteuning, gelegenheid tot uitvoering) werden gemeten.

Kwaliteit werd beoordeeld met behulp van MERSQI, JBI-checklists, ROBINS-I en COSMIN-geïnformeerde instrumentbeoordeling.

Belangrijkste Resultaten

Effectgrootte Volgt Design, Niet Inhoud: Effectgroottes waren omgekeerd evenredig aan de rigueur van het design. De meest permissieve designs leverden de grootste effecten op:
- Docenten die geobserveerde prestaties beoordeelden zonder een vergelijkingsgroep: $g = 3,49$ .
- Ongecontroleerde kennis-toetsen: $g = 1,90$ .
- De enige twee studies die studenten vergeleken die AETCOM hadden ontvangen met studenten die dat niet hadden gedaan, leverden respectievelijk $g = 0,33$ en $g = 0,12$ op.
- Het meest permissieve design produceerde een schatting die ongeveer tien keer groter is dan de meest gecontroleerde vergelijking.
Prevalentie van Spin: Onder 53 rapporten met een adequate volledige tekst bevatte 75% ten minste één vorm van spin. Specifiek schreef 58% verandering toe aan het curriculum zonder een vergelijkingsgroep, en claimde 38% een hoger uitkomstniveau dan zij daadwerkelijk maten.
Inverteerde Validiteitsargumenten: Bewijs en claims waren "spiegelbeelden". Terwijl 42% van de rapporten bewijs leverde voor scoring (de eerste inferentie-link), leverde slechts 5% bewijs voor generalisatie, 4% voor extrapolatie naar de praktijk en 0% voor implicaties (gevolgen). Daarentegen claimde 51% over generalisatie, 16% over extrapolatie en 21% over implicaties. In totaal claimden 89% van de rapporten meer dan zij ondersteunden.
Ontbrekende Transfercondities: Kritische omgevingsfactoren die bepalen of training overgaat in de praktijk, werden zelden gemeten: transferklimaat (5%), ondersteuning door supervisoren (5%) en gelegenheid tot uitvoering (12%).
Kwaliteitsproblemen: De gemiddelde MERSQI-score was 11,3/18. Zeven van de twaalf studies die effecten rapporteerden, bevatten geen validiteitsbewijs voor hun uitkomstinstrumenten. Beide vergelijkende studies vertoonden een kritiek risico op bias.

Belangrijkste Bijdragen
De primaire bijdrage van het artikel is een structurele diagnose van de evaluatieliteratuur in plaats van een oordeel over het curriculum zelf.

Diagnose van Inversie: De auteurs tonen aan dat de bewijsvoering "inverteerd" is: het is het meest zelfverzekerd waar het het minste te zeggen heeft (claims over patiëntuitkomsten) en rapporteert de grootste effecten waar de designs het meest permissief zijn (ongecontroleerd, onmiddellijk, door docenten beoordeeld).
Theoretische Integratie: Door argument-gebaseerde validiteit, transfer-van-trainingstheorie en meta-onderzoek naar verslaglegging te combineren, verklaart de studie waarom de literatuur niet in staat is tot causale conclusies te komen zonder dit toe te schrijven aan wetenschappelijke wangedrag. Het identificeert dat de tekortkoming ligt in de evaluatie-architectuur, die de omgevingscondities negeert die nodig zijn voor transfer.
Gefaseerde Evaluatie-architectuur: Het artikel stelt een specifieke, herstelgerichte architectuur voor om de geïdentificeerde breuken in het validiteitsargument aan te pakken:
- Scoring: Een nationaal register van beoordeelde instrumenten en verplichte rapportage van de onafhankelijkheid van de beoordelaar.
- Generalisatie: Beoordeling op basis van onbekende casussen met vertraagde herbeoordeling.
- Extrapolatie: Observatie van authentieke klinische ontmoetingen door externe beoordelaars op een nationale steekproef.
- Implicaties: Patiënt-gerapporteerde maten en analyse van onbedoelde gevolgen.
- Transfer: Verplichte meting van het transferklimaat, de ondersteuning door supervisoren en de gelegenheid tot uitvoering, naast de leerling-uitkomsten.

Betekenis en Claims
Het artikel concludeert dat de huidige literatuur niet alleen dun is, maar structureel inverteerd, waardoor zij niet in staat is om te bepalen of AETCOM de patiëntenzorg daadwerkelijk verbetert. De auteurs stellen expliciet dat "het ontbreken van bewijs over de praktijk niet aantoont dat AETCOM faalt", omdat geen enkele evaluatie is gebouwd om transfer te detecteren of de condities te meten waarop transfer afhankelijk is.

De betekenis ligt in de verschuiving van de vraag "Werkt AETCOM?" naar "Is het land voorbereid om een evaluatie op te zetten die in staat is om onderscheid te maken tussen een curriculum dat faalde en een werkplek die het nooit de kans gaf om te werken?" De auteurs betogen dat het huidige evaluatiesysteem een product is van lokale beperkingen (single-site, ongesubsidieerd, beoordeling door het docententeam) en dat de oplossing structurele veranderingen in governance en evaluatieontwerp vereist in plaats van simpelweg meer studies van dezelfde soort. Zij stellen drie directe wijzigingen in het redactionele beleid voor — het afstemmen van geclaimde uitkomstniveaus op gemeten niveaus, het rechtvaardigen van causale werkwoorden met vergelijkingsgroepen, en het rapporteren van de onafhankelijkheid van de beoordelaar — die de kwaliteit van de verslaglegging snel kunnen verbeteren zonder kosten voor de auteurs.

Meer zoals dit