Thinking-Visibility: An Interventionist Reconceptualisation of Assessment in the Age of AI Co-Production

Technische Samenvatting: Thinking-Visibility: Een Interventionistische Herconceptualisering van Beoordeling in het Tijdperk van AI-Co-productie

Probleemstelling
Het artikel adresseert een structurele paradox in het hedendaagse onderwijs: terwijl docenten Generatieve AI (GenAI) steeds vaker integreren in hun professionele praktijk, blijven beoordelingscriteria ontworpen voor onafhankelijk menselijk auteurschap. De huidige literatuur richt zich zwaar op integriteitsbewaking, detectie van fraude en het herformuleren van validiteit, maar slaagt er niet in om empirisch gefundeerde verslagen te bieden van hoe beoordelingscriteria transformeren wanneer AI-co-productie structureel geïntegreerd is in het werk van studenten. Bestaande oplossingen, zoals procesdocumentatie, blijken zelf vatbaar voor AI-generatie, waardoor praktijkbeoefenaars zonder bruikbare kaders achterblijven en beleidsmakers zonder empirische onderbouwing. De kern van het probleem is het onvermogen van traditionele criteria om vast te stellen of studenten hun eigen denken werkelijk beoordelen of dat zij dat oordeelsvermogen uitbesteden aan AI, wat leidt tot een crisis van authenticiteit en validiteit.

Methodologie
De studie hanteert de Cultureel-Historische Activiteitstheorie (CHAT) als analytisch kader en de Change Laboratory als een interventionistische methodologie. Deze benadering behandelt systemische tegenstrijdigheden niet als fouten die geëlimineerd moeten worden, maar als drijfveren van transformatie.

• Deelnemers: 11 docenten uit negen landen (waaronder het VK, Nieuw-Zeeland, Indonesië en Saoedi-Arabië) werkzaam in het primair, secundair en hoger onderwijs. Zij werden gepositioneerd als co-onderzoekers in plaats van proefpersonen.
• Interventieontwerp: Een interventie bestaande uit vijf workshops over een periode van drie weken, gestructureerd rond de zevenfasen van Engeström's expansieve leercyclus (Vragen stellen, Analyse, Modellering, Onderzoek, Implementatie, Reflectie, Consolidatie).
• Datageneratie: "Spiegeldata", bestaande uit drie beoordeelde studentenproducten met variërende gradaties van AI-gebruik, werd in Workshop 1 geïntroduceerd om de tegenstrijdigheden tussen professionele waarden en bestaande criteria bloot te leggen. Databronnen omvatten workshoptranscripten, collaboratieve artefacten (herontworpen criteria), chatlogs en pre/post-interview reflecties.
• Analyse: De studie volgde de transformatie van het "beoordelingsobject" (het doel van de activiteit) gedurende de interventie. De verstoringen geobserveerd in de spiegeldata werden in kaart gebracht aan de hand van tegenstrijdigheden (primaire, secundaire, tertiaire en quaternary) binnen het activiteitensysteem, waarbij een traject van initiële bevraging naar een hergedefinieerd object werd gevolgd.

Belangrijkste Resultaten
De interventie toonde aan dat beoordelings-tegenstrijdigheden niet louter technische gebreken zijn, maar diepe systemische spanningen.

1. Het Objecttraject (O1–O7): De studie volgde empirisch de evolutie van het beoordelingsobject door zeven stadia:
   • O1–O2: Initiële pogingen om betere criteria te creëren voor het detecteren van AI en het kalibreren aan cognitieve niveaus (Bloom's taxonomie).
   • O3–O4: Een verschuiving naar het beoordelen van procesmatige rigueur, waarbij een mislukt product voortkomend uit een rigoureus proces als een prestatie wordt gezien. Echter, deelnemers ontdekten dat procesdocumentatie zelf ook door AI gegenereerd kon worden, wat leidde tot de herintroductie van docentenoordeel als een noodzakelijk, zij het risicovol, epistemisch instrument.
   • O5–O7: Het besef dat enkel de hervorming van criteria onvoldoende is. Het object breidde zich uit naar dual-track beoordeling (formatief proces + summatieve competentie) en erkende uiteindelijk dat volledige transformatie institutionele en politieke hervorming vereist.
2. De Proces-Bewijs Paradox: De studie concludeerde dat procesdocumentatie geen veilige oplossing voor validiteit biedt, omdat het even vatbaar is voor AI-generatie als het eindproduct.
3. Verplaatsing van Tegenstrijdigheden: Hoewel de interventie enkele kerntegenstrijdigheden gedeeltelijk heeft aangepakt door de focus van product naar proces te verleggen, werden de meeste tegenstrijdigheden eerder verplaatst dan opgelost. Beleidsfragmentatie en het gebrek aan institutionele steun bleven onveranderd.
4. Thinking-Visibility: De studie identificeerde de noodzaak om het denken van de student zichtbaar te maken in plaats van enkel het product of de processtappen. Dit werd geoperationaliseerd via mechanismen zoals orale ondervraging, annotatie van prompts en live accountability-dialogen.

Belangrijkste Bijdragen
Het artikel levert vier specifieke bijdragen aan de literatuur over AI-bemiddelde beoordeling:

1. Empirische Operationalisering van Expansief Leren: Het biedt een empirisch verslag van de O1–O7 objecttraject, waarbij wordt aangetoond hoe de ontmoetingen van praktijkbeoefenaars met systemische spanningen het beoordelingsobject progressief hervormen, waarbij men verder gaat dan de theoretische identificatie van tegenstrijdigheden om de ontwikkelingsconsequenties te traceren.
2. Resolutie van de Proces-Bewijs Paradox: Het demonstreert dat procesdocumentatie de beoordelingsvaliditeit niet kan garanderen omdat het kwetsbaar is voor AI-generatie. Bijgevolg wordt docentenoordeel geïdentificeerd als een onreduceerbare vereiste—een niet-vervangbaar mechanisme voor het interpreteren van authentieke cognitie, ondanks de inherente risico's van inconsistentie en bias.
3. Institutionele Noodzaak: Het stelt dat criteriahervorming niet kan slagen zonder parallelle institutionele en politieke verandering. De studie legt de diepte van de institutionele weerstand en de fragmentatie van beleid (bijv. uiteenlopende regels tussen examencommissies) bloot, wat geïsoleerde pedagogische veranderingen ineffectief maakt.
4. Thinking-Visibility als Theoretisch Construct: Het artikel stelt "thinking-visibility" voor als een voorlopig construct om te benoemen wat beoordeling in AI-bemiddelde contexten positief moet worden. Het verschuift de focus van wat beoordeling moet stoppen te zijn (policing/handhaving) naar wat het moet worden (het zichtbaar maken van het redeneren van de student en het eigenaarschap over AI-outputs).

Significantie en Claims
Het artikel claimt dat AI-integratie niet leidt tot een eenvoudige lineaire verbetering van beoordeling, maar een beweging creëert tussen partiële stabilisatie en regressie, afhankelijk van de vraag of tegenstrijdigheden in criteria, authenticiteit, eerlijkheid en beleid collectief worden geadresseerd.

• Bescheiden Omvang: De auteurs erkennen dat de interventie niet alle tegenstrijdigheden volledig heeft opgelost; veel werden verplaatst. De studie eindigt niet met een voltooide oplossing, maar bij een "opening" voor een tweede interventie.
• Theoretisch Anker: De significantie ligt in het bieden van een theoretisch anker ("thinking-visibility") voor het herconceptualiseren van het beoordelingsobject zelf, waarbij men verder kijkt dan louter principes voor criteriumontwerp.
• Toekomstige Richtingen: Het artikel stelt expliciet dat de definitie van "denken" in deze context en de operationalisering van thinking-visibility via mechanismen die minder vatbaar zijn voor AI-substitutie (bijv. real-time aanwezigheid versus documentatie) open vragen blijven die verdere empirische toetsing vereisen. Er wordt een tweede interventie aanbevolen om beleid, docentgeletterdheid en de kalibratie van de Bloom-taxonomie aan te pakken.