Framing, Judging, Steering: An Assessable Competency Model for Teach-ing Students to Reason With Generative AI
Dit artikel introduceert CoRe-3, een competentiemodel dat het vermogen van studenten om effectief generatieve AI te gebruiken beoordeelt door de afzonderlijke vaardigheden van het inkaderen van taken (Framing tasks), het beoordelen van outputs (Judging outputs) en het sturen van modellen (Steering models) te scheiden, en valideert dit kader via een open platform dat de dissociatie en convergentievaliditeit van deze drie vaardigheden aantoont.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Probleem: De "Magische Antwoord"-valstrik
Stel je voor dat je een magische geest (Generatieve AI) hebt die direct je huiswerk kan schrijven, je wiskundeproblemen kan oplossen of je e-mails kan opstellen. Het artikel betoogt dat scholen momenteel studenten testen op hoe goed ze deze taken kunnen uitvoeren zonder de geest. Maar in de echte wereld is de geest er altijd.
Het gevaar is niet het gebruik van de geest; het is het onkritisch gebruiken ervan. Als je de geest gewoon om een antwoord vraagt en het kopieert, ben je niet aan het leren. Je bent je hersenwerk simpelweg aan het "offloaden" naar de machine. Je krijgt een correct antwoord, maar je geest blijft hetzelfde.
De auteurs zeggen dat de echte vaardigheid die we moeten onderwijzen en testen niet is "hoe je het antwoord krijgt", maar "hoe je met de geest samenwerkt."
De Oplossing: Het "FJS"-model (CoRe-3)
De auteurs stellen een nieuwe manier voor om te meten hoe goed een student met AI samenwerkt. Ze noemen het CoRe-3 (Co-Reasoning/Co-Redeneren). Ze breken het proces af in drie onderscheidende vaardigheden, die ze afkort als FJS:
Framing (De Architect)
- Wat het is: Voordat je de geest überhaupt om hulp vraagt, moet je uitzoeken welk probleem je precies aan het oplossen bent.
- De Analogie: Stel je voor dat je een aannemer inhuurt om een huis te bouwen. Als je alleen zegt: "Bouw me een huis," krijg je een rommeltje. Je moet zeggen: "Bouw een huis met 3 slaapkamers en een zonnendak, op dit specifiewe perceel, voor minder dan 200k."
- De Vaardigheid: Een vaag, rommelig probleem omzetten in een duidelijke, specifieke instructie voordat de AI begint te werken.
Judging (De Inspecteur)
- Wat het is: De geest geeft je een antwoord. Jouw taak is om ernaar te kijken en te zeggen: "Is dit eigenlijk wel juist?"
- De Analogie: De aannemer overhandigt je de blauwdrukken. Je knikt niet alleen en zegt "Geweldig!" Je controleert: "Wacht even, je hebt de badkamer op het dak geplaatst? Dat is een fout. En je hebt hout voor de fundering gebruikt? Dat is fout."
- De Vaardigheid: Kritisch fouten, ontbrekende details of verborgen aannames in de output van de AI opsporen.
Steering (De Piloot)
- Wat het is: Zodra je de fouten hebt gevonden, moet je de geest vertellen hoe ze hersteld moeten worden.
- De Analogie: Je zegt niet alleen: "Fix het." Je zegt: "Verplaats de badkamer naar de tweede verdieping en vervang de fundering door beton. Zorg er ook voor dat de keuken op het zuiden gericht is."
- De Vaardigheid: Specifieke, corrigerende feedback geven om de AI naar een beter resultaat te leiden.
Het Grote Idee: Waarom ze apart houden?
Eerdere manieren om AI-vaardigheden te testen, gaven studenten één score voor "Prompting". De auteurs zeggen dat dit is alsoals een chef beoordelen op "Koken" zonder te controlen of ze de juiste ingrediënten hebben gekocht (Framing), of ze de soep hebben geproefd (Judging), of ze het zout hebben aangepast (Steering).
- Framing gebeurt voordat de AI spreekt.
- Judging gebeurt nadat de AI spreekt.
- Steering gebeurt nadat je hebt beoordeeld (judged).
Het hoofdbetoog van het artikel is dat dit drie verschillende vaardigheden zijn. Je kunt geweldig zijn in Framing (goede vragen stellen), maar verschrikkelijk in Judging (de fouten van de AI missen). Of je kunt geweldig zijn in Steering (dingen repareren), maar bent begonnen met een slecht plan. De auteurs hebben bewezen dat je deze apart kunt meten.
Hoe ze het hebben getest (Het "Robotstudent"-experiment)
Om te bewijzen dat deze vaardigheden gescheiden zijn, bouwden de auteurs een digitale laboratoriumomgeving genaamd CoReasoningLab.
- De Opzet: Ze creëerden 80 "gesimuleerde studenten" (computerprogramma's die zich als mensen gedragen). Ze programmeerden sommigen om goed te zijn in Framing, anderen in Judging, en anderen in Steering, en combineerden deze vaardigheden.
- De Test: Ze gaven deze robotstudenten een reeks uitdagingen.
- Het Resultaat: Het beoordelingssysteem werkte perfect.
- Wanneer een robot werd geprogrammeerd om "slecht" te zijn in Framing, daalde de Framing-score, maar bleef de Judging-score gelijk.
- Wanneer een robot "slecht" was in Steering, daalde de Steering-score, maar bleef de Framing-score hoog.
- De Conclusie: Het systeem bewees succesvol dat deze drie vaardigheden onderscheidend zijn. Je kunt goed zijn in de één en slecht in de ander. Het is niet zomaar één grote "AI-vaardigheid".
Waarom dit ertoe doet
Het artikel betoogt dat naarmate AI slimmer wordt, de taak van de mens verandert. We hoeven niet meer het zware werk te doen (dat doet de AI). In plaats daarvan moeten we de Architect, de Inspecteur en de Piloot zijn.
- Oud Onderwijs: "Kun je dit wiskundeprobleem alleen oplossen?"
- Nieuw Onderwijs (CoRe-3): "Kun je het probleem definiëren, de fouten van de AI opsporen en het naar de juiste oplossing leiden?"
De auteurs hebben hun tools en de "lab" vrijgegeven, zodat docenten nu al kunnen beginnen met het testen en onderwijzen van deze drie specifieke vaardigheden. Ze zeggen niet dat AI slecht is; ze zeggen dat om AI goed te gebruiken, we moeten stoppen met het te behandelen als een magische antwoordenmachine en het moeten gaan behanden als een partner die duidelijke richting en constante supervisie nodig heeft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.