💻 computer science

Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World

Dit artikel stelt een formeel kader voor AI-veerkrachtige beoordeling in de informatica voor, die studenten beoordeelt op basis van hun "Pareto-overschot"—de meetbare prestatieverbetering die zij realiseren boven een verklaarde AI-baseline—terwijl onbeperkt AI-gebruik is toegestaan en aanvullende protocollen vereist zijn om werkelijke vaardigheid te verifiëren.

Oorspronkelijke auteurs: Anshumali Shrivastava

Gepubliceerd 2026-07-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anshumali Shrivastava

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Waarom de regels veranderen?

Stel je voor dat je een leraar bent die een wiskundetoets afneemt. In het verleden vroeg je leerlingen om handmatig een deling uit te voeren. Vandaag de dag heeft elke leerling een superrekenmachine in zijn zak die de som direct kan oplossen.

Als je hen nog steeds vraagt om handmatig te delen, test je niet langer hun wiskundige vaardigheden; je test alleen wie beter is in het verstoppen van zijn rekenmachine. Als je de rekenmachines verbiedt, voer je een verloren strijd omdat de technologie simpelweg te goed is.

Het idee van de auteur: In plaats van de rekenmachine te verbieden (of in dit geval: AI), moeten we de toets veranderen. De nieuwe toets moet niet vragen: "Kun je de som maken?" De toets moet vragen: "Kun je de rekenmachine gebruiken om een probleem op te lossen dat de rekenmachine niet uit zichzelf had kunnen oplossen?"

Dit paper stelt een nieuwe manier voor om informaticastudenten te beoordelen in een "AI-native" wereld. Het doel is om te stoppen met het maken van zich zorgen over fraude en te beginnen met het meten van vaardigheid.

Het Kernconcept: De "Frontier" en de "Surplus"

Om de oplossing van de auteur te begrijf, stel je een videogame voor met een high-score leaderboard.

1. De AI-Baseline (De "Gouden Standaard" Leaderboard)

Voordat de studenten zelfs maar beginnen, gebruikt de docent de krachtigste beschikbare AI om de opdracht op te lossen. De AI probeert duizenden keren, past de code aan en aan, totdat hij de beste mogelijke oplossingen kan genereren.

De Metafoor: Dit creëert een "Gouden Standaard" leaderboard. Laten we zeggen dat de AI een digitaal magazijn kan bouwen dat voor 90% vol is, items 100 keer per seconde verwerkt en $10 kost om te draaien.
De Regel: Elke student die simpelweg het antwoord van de AI kopieert, krijgt een "B" (of een basiscijfer). Ze hebben niets nieuws geleerd; ze hebben alleen de machine evenaard.

2. De Pareto Frontier (De "Rand van de Kaart")

In de informatica moet je vaak keuzes maken (trade-offs). Je kunt een systeem sneller maken, maar dan kost het misschien meer geld. Je kunt het goedkoper maken, maar dan is het misschien langzamer.

De Metafoor: Stel je een kaart voor waarbij de "Frontier" de rand van de verkende wereld is. De AI heeft zo ver verkend als hij kon. De AI heeft de beste balans gevonden tussen snelheid, kosten en nauwkeurigheid.
Het Doel: De taak van de student is om een plek te vinden voorbij die rand.

3. Pareto Surplus (Het "Nieuwe Gebied")

Dit is het belangrijkste deel. Een student krijgt alleen extra punten (een hoger cijfer) als hun oplossing iets doet wat de AI niet kon doen.

De Metafoor: Als de AI een pad heeft gevonden dat 10 mijl lang is, en de student vindt een pad dat 9 mijl lang is, dan heeft de student "Surplus" ontdekt. Ze hebben de kaart uitgebreid.
De Haken en ogen: Als de oplossing van de student net zo goed is als die van de AI, krijgt de student het basiscijfer. Als het slechter is, zakt de student. Als het beter is (op een manier die de huidige grenzen van de AI doorbreekt), krijgt de student het "Surplus"-cijfer.

Waarom is dit "AI-resistent"?
Omdat het er niet toe doet of de student AI heeft gebruikt om de code te schrijven. Als de AI die code had kunnen schrijven, krijgt de student het basiscijfer. Om een "A" te halen, moet de student zijn menselijke oordeelsvermogen gebruiken om de AI te sturen naar een oplossing die de AI niet uit zichzelf had kunnen vinden.

Hoe het systeem werkt (De "Black Box" Docent)

Het paper suggereert een zeer specifieke manier om de les te runnen om dit eerlijk te houden:

Het Verborgen Examen: De docent creëert een "Black Box"-evaluator. De studenten zien de uiteindelijke testgegevens niet. Ze zien alleen een samenvatting (bijv. "Je systeem is 5% te traag").
De Budgetlimiet: De docent stelt een limiet aan hoeveel "AI-hulp" is toegestaan in de officiële feedbackloop. Dit voorkomt dat studenten gewoon een duurder AI-abonnement kopen om het antwoord via brute force te forceren.
De "Red Team" Check: Voordat de les begint, probeert de docent de test te "breken". De docent vraagt: "Kan een domme AI het antwoord gewoon raden?" Als het antwoord ja is, verandert de docent de test totdat het antwoord nee is.

Het Concrete Voorbeeld: De "Bloom Filter" Race

Het paper geeft een echt voorbeeld van hoe dit eruit ziet in een cursus genaamd "COMP 480/580" aan de Rice University.

De Taak: Bouw een "Bloom Filter". Zie dit als een superefficiënte digitale uitsmijter voor een nachtclub. Hij controleert of een naam op de gastenlijst staat. Hij mag een kleine fout maken (iemand toe laten die er niet hoort), maar hij mag nooit iemand weigeren die er wél bij hoort.
De Uitdaging: De docent geeft twee versies van de club:
- Kleine Club (MB Schaal): Een kleine uitsmijter voor een koffietentje.
- Mega Club (GB Schaal): Een enorme uitsmijter voor een stadion.
De AI-Baseline: De docent laat een AI de beste uitsmijters voor beide clubs bouwen.
De Taak van de Student: De student moet zijn kennis van computersystemen (hoe geheugen werkt, hoe je data organiseert) gebruiken om een uitsmijter te bouwen die sneller of goedkoper is dan de versie van de AI.
- Misschien bouwde de AI een snelle uitsmijter die te veel geheugen gebruikt.
- Misschien bedenkt de student een manier om de data zo te organiseren dat het in het "cache" (zoals een broekzak) van de computer past, waardoor het 10x sneller wordt.
Het Cijfer: Als de uitsmijter van de student beter is dan die van de AI, krijgt de student het "Surplus"-cijfer. Als ze de AI gewoon kopiëren, krijgen ze het basiscijfer.

Waarom dit een grote zaak is

Het stopt de "Kopieer-Plak" wapenwedloop: Docenten hoeven niet meer de hele tijd te proberen studenten te betrappen op AI-gebruik. Het beoordelingssysteem negeert AI-gegenereerde code automatisch, tenzij het daadwerkelijk beter is dan de beste poging van de AI.
Het beloont Menselijk Oordeelsvermogen: Het systeem waardeert het menselijke vermogen om te vragen: "Waarom is de AI hier traag?" en "Hoe kan ik dat oplossen?". Dat is de vaardigheid die in de toekomst waardevol zal zijn.
Het is Eerlijk: Het creëert een gelijk speelveld. Het maakt niet uit of een student een AI-abonnement van $20 per maand heeft of een gratis versie. De "Surplus" wordt gemeten tegenover een vaste, bevroren AI-baseline. Als de gratis AI de baseline niet kan verslaan, zal de dure AI ook geen extra punten krijgen.

De Kernboodschap

De auteur betoogt dat we moeten stoppen met vragen: "Heb je AI gebruikt?" en moeten beginnen met vragen: "Heb je AI gebruikt om verder te gaan dan AI alleen kon?"

Als een student een AI-tool kan nemen en deze kan pushen om iets nieuws te doen, dan is dat de definitie van een bekwame computerwetenschapper in de toekomst. Dit paper biedt een wiskundig en praktisch blauwdruk voor het beoordelen van precies die vaardigheid.

Technische Samenvatting: Naar AI-resistente beoordeling in Computer Science-cursussen in een AI-native wereld

Probleemstelling
Het artikel behandelt de fundamentele verschuiving in het computer science-onderwijs veroorzaakt door generatieve AI, waarbij studenten code, bewijzen en rapporten kunnen produceren die niet te onderscheiden zijn van menselijk werk. De auteur stelt dat de huidige institutionele focus op verbod, detectie en proctoring faalt in het adresseren van de kernvraag van het onderwijs: Welke vaardigheid stelt een student in staat om resultaten te behalen die verder gaan dan een persoon die simpelweg toegang heeft tot AI? Het artikel betoogt dat voor senior-niveau cursussen AI behandeld moet worden als een basale collaborator in plaats van een verboden instrument. De uitdaging is het ontwerpen van beoordelingen die "AI-resistente vaardigheden" beoordelen — het vermogen om AI aan te sturen om trade-offs te bereiken die niet reeds door de AI-baseline zelf worden aangeboden — zonder te vertrouwen op auteurschapdetectie of ervan uit te gaan dat studenten geen AI zullen gebruiken.

Methodologie: Een formeel kader voor AI-resistente beoordeling
Het artikel stelt een minimaal formeel kader voor waarbij beoordeling wordt gedefinieerd door uitvoerbaar gedrag in plaats van auteurschap. De kernmethodologie rust op vier objecten: een werkelijke taak, een uitvoerbare evaluator, een verklaarde AI-native Pareto-front en een beoordelingsregel gebaseerd op Pareto-surplus.

Werkelijke Taak en Evaluator: Een taak wordt niet alleen gedefinieerd door een prompt, maar door een tupel inclusief een indieningsruimte, een benchmark-protocol (publieke ontwikkeling en verborgen evaluatie), harde correctheidsrestricties, en een totale uitvoerbare evaluator ( $E_T$ ) die indieningen mapt naar een vector van scores ( $R^d$ ).
AI-native Pareto-front: Voordat de beoordeling plaatsvindt, wordt een "verklaarde AI-native baseline" gegenereerd met behulp van een reproduceerbaar AI-agent-protocol (inclusief specifieke modellen, prompts, budgetten en selectieregels). De scores van deze door AI gegenereerde indieningen vormen een verzameling $S_{AI}$ . Het AI-native Pareto-front ( $F_{AI}$ ) is de verzameling niet-gedomineerde scorevectoren binnen deze verzameling. Dit front representeert de best bekende trade-offs die haalbaar zijn met de verklaarde AI-baseline.
Pareto-surplus: Een student-indiening $\pi$ $π$ wordt geëvalueerd op basis van de Pareto-surplus ( $\delta_T(\pi)$ $δ_{T} (π)$ ), berekend als de toename in het gedomineerde hypervolume (relatief aan een referentiepunt $r$ $r$ ) wanneer $\pi$ $π$ aan het front wordt toegevoegd.
- Als $\delta_T(\pi) = 0$ , wordt de indiening gedomeerd door de AI-baseline en biedt deze geen nieuwe trade-off.
- Als $\delta_T(\pi) > 0$ , bereikt de indiening een gemeten trade-off die niet door de AI-baseline wordt gedekt.
Beoordelingsregel: Grades worden toegewezen op basis van Pareto-surplus. Een AI-native indiening ontvangt een basisscore ( $g_{AI}$ ). Elke score boven $g_{AI}$ vereist een positieve Pareto-surplus.
Extensies voor Rechtvaardigheid: Om te voorkomen dat een privaat AI-budget (bijv. toegang tot krachtigere modellen of meer rekenkracht) de enige bepalende factor voor cijfers wordt, introduceert het kader:
- Server-gemedieerde Feedback: Een feedback-orakel dat slechts geaggregeerde, grofmazige informatie vrijgeeft (bijv. pass/fail, score-bins) in plaats van verborgen inputs of fouten per instantie, om te voorkomen dat studenten via private AI-loops overfitten op verborgen benchmarks.
- Drempelwaarde-beoordeling: Een drempel $\eta_T$ wordt ingesteld op basis van red-teaming resultaten ( $\epsilon_{red}^{bud}$ ) en evaluator-ruis ( $\epsilon_{eval}$ ). Alleen surplus die de drempel overschrijdt ( $\delta > \eta_T$ ) wordt beloond, wat een "budget-neutraliteitsmarge" creëert waarbij private AI-only verbeteringen binnen de verklaarde envelop geen cijfer-dragende surplus opleveren.
- Prompt-skill Red-Teaming: Het kader maakt onderscheid tussen "generieke delegatie" (die deel moet uitmaken van de baseline) en "frontier-improvement rationales" (waarbij de student een specifiek knelpunt identificeert en een oplossing hypotheseert). De laatste wordt beschouwd als bewijs van vaardigheid.

Concrete Instantiatie: Bloom Filter Assignment
Het kader wordt geïnstantieerd als een senior-niveau opdracht voor COMP 480/580 aan Rice University, gecentreerd rond approximate-membership structuren (Bloom filters).

Twee Regimes: De opdracht gebruikt twee schalen: MB-schaal (megabytes) gericht op parameter-tuning en lage overhead hashing, en GB-schaal (gigabytes) gericht op geheugenbandbreedte, cache-lokaliteit, parallellisme en vectorisatie.
Evaluatie: Studenten moeten systemen implementeren die harde correctheidsrestricties voldoen (geen false negatives) terwijl ze een vector van doelstellingen optimaliseren (bijv. compressieratio, false-positive rate, build/query throughput).
Proces: Studenten ontvangen een bevroren AI-native front voor beide schalen. Ze mogen AI vrij gebruiken, maar zijn beperkt tot een vastgesteld server-feedbackbudget. Om een score boven de baseline te verdienen, moeten ze een systeem produceren dat het hypervolume buiten het front vergroot door meer dan de berekende drempelwaarde.

Belangrijkste Bijdragen

Formeel Model: Een minimaal wiskundig model waarbij de expansie van het Pareto-front dient als een artifact-niveau certificaat van prestaties boven een AI-baseline.
Theoretische Garantie: Een bewijs dat Pareto-surplus beoordeling AI-resistent is ten opzichte van het verklaarde front; AI-native indieningen ontvangen exact de basisscore, en elke score boven de baseline certificeert een gemeten verbetering.
Protocol-extensies: Een kader voor het afhandelen van zelfverbeterende AI-loops, budget-neutraliteit (via drempelwaardes), server-gemedieerde feedback, en het onderscheid tussen productieve AI-competentie en ongelijke private middelen.
Automatisering en Incentives: Een uitleg over hoe uitvoerbare surplus-beoordeling de evaluatie automatiseert en de prikkels tegen collusie verandert (het lekken van een frontier-moving oplossing vermindert de relatieve score van de lekker in een percentiel-gekalibreerd systeem).
Concreet Ontwerp: Een specifiek ontwerp voor een twee-regime Bloom filter opdracht, bedoeld voor implementatie in het najaar van 2026.

Resultaten en Claims
Het artikel rapporteert geen empirische resultaten van student-implementaties, aangezien het kader wordt voorgesteld voor toekomstige implementatie. In plaats daarvan presenteert het ontwerpgaranties en logische stellingen:

Stelling 1: Pareto-surplus is een meetbaar certificaat van frontier-expansie; een positieve surplus impliceert dat het artifact niet gedomeerd wordt door de AI-baseline.
Stelling 2: Onder Pareto-surplus beoordeling ontvangen AI-native indieningen exact de basisscore, en certificeert elke score boven de baseline een gemeten verbetering.
Stelling 3: Drempelwaarde-beoordeling scheidt surplus van het private AI-budget en de evaluator-ruis. Als de frontier $\epsilon$ -verzadigd is tegenover een verklaarde private AI-envelope, leveren AI-only indieningen binnen die envelope geen surplus-score boven de baseline op.
Null-Frontier Uitkomst: Het artikel merkt op dat als geen enkele student een positieve surplus produceert, dit een diagnostisch signaal is dat de taak of de evaluator faalde om een AI-resistente vaardigheid te vangen, wat een revisie van de opdracht vereist.

Betekenis en Positionering
Het artikel positioneert zichzelf als een beweging van "speculatie en angst" naar "concrete objecten die geïnspecteerd en bedebatteerd kunnen worden". De betekenis ligt in het herformuleren van AI-resistente beoordeling niet als een probleem van detectie, maar als een ontwerpprobleem van het definiëren van expliciete doelen en meetbare fronten.

Het stelt dat zodra doelen expliciet zijn, AI-resistente evaluatie een protocol-relatief certificaat van gedragsverbetering wordt.
Het claimt dat deze benadering faculteiten in staat stelt hun rol te verschuiven van het handmatig construeren van artefacten naar het specificeren van doelstellingen, het valideren van evaluatoren, en het definiëren van wat een "frontier movement" constitueert.
De auteur erkent beperkingen: het kader vertrouwt op het vermogen om uitvoerbare taken en multidimensionale evaluatoren te definiëren, wat mogelijk niet van toepassing is op alle educatieve doelstellingen (zoals ethische redenering of communicatie). Het geeft ook toe dat "budget-neutraliteit" een ontwerpdoel is om te red-teamen, geen metafysische garantie.
Het uiteindelijke doel is om een kader te bieden voor kritiek en verfijning vóór de geplande implementatie in het najaar van 2026 aan de Rice University, en nodigt de gemeenschap uit om de robuustheid van de baselines, feedbackbeleid en drempelwaarden te testen.