Human-in-the-loop GenAI advising for community college pathway decision-making: a design-based case study of requirement-group modeling and privacy-preserving student-support design
Deze op ontwerp gebaseerde casestudy adresseert de kloof in GenAI-onderzoek met betrekking tot advisering op community colleges door een privacy-bewarend kader en acht ontwerpprincipes voor te stellen die AI positioneren als een verklarende laag voor trajectplanning, terwijl menselijk toezicht wordt behouden, studentgegevens worden beschermd en de autonomie van de lerende wordt bevorderd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De GPS die de auto niet bestuurt
Stel je voor dat je probeert te navigeren door een enorme, uitgestrekte stad waar de straten veranderen elke keer dat je knippert. Sommige wegen zijn eenrichtingsverkeer, sommige zijn alleen geopend op dinsdag, en sommige zijn slechts suggesties die veranderen in snelwegen als je de juiste geheime code kent. Dit is hoe het navigeren door een opleiding aan een community college vaak voelt voor studenten. Ze kiezen niet alleen vakken; ze proberen een kaart te bouwen door een doolhof van eisen, transferregels en toekomstige carrièredoelen. Al een tijdje leren onderzoekers computers hoe ze studenten kunnen helpen bij het schrijven van essays of het oplossen van wiskundeproblemen, maar ze hebben weinig aandacht besteed aan dit "navigatie"-gedeelte van school.
Maak kennis met Generatieve AI (of GenAI). Denk aan dit als een super slimme, praatgrage robot die miljoenen boeken kan lezen en in enkele seconden een verhaal kan schrijven. Het is geweldig in het uitleggen van dingen, maar het kan ook dingen fout doen of feiten verzinnen als je niet voorzichtig bent. Dan is er Human-in-the-Loop, wat gewoon een chique manier is om te zeggen: "de robot helpt, maar een mens neemt de uiteindelijke beslissing." En tot slot is Privacy de regel die zegt dat de robot niet in je geheime dagboek mag kijken (je persoonlijke cijfers en gegevens) om je advies te geven. Dit artikel stelt een grote vraag: Als we deze super slimme robot willen gebruiken om studenten te helpen bij het plannen van hun collegepaden, hoe zorgen we er dan voor dat hij niet verdwaalt, de privacy niet schendt en de student niet per ongels van een klif afstuurt?
Het Dilemma van de Kaartmaker
De auteur van deze studie, Emery Peck van Ivy Tech Community College van Indiana, besloot een prototype te bouwen—een testversie van een hulpmiddel—om te zien of we GenAI kunnen gebruiken om studenten te helpen bij het plannen van hun college-reis zonder de robot het stuur te laten overnemen. De studie testte het hulpmiddel niet op echte studenten om te zien of ze betere cijfers haalden; in plaats daarvan keek het naar de blauwdrukken, de ontwerpnotities en de logica achter het hulpmiddel om uit te zoeken hoe het gebouwd zou moeten worden.
De belangrijkste ontdekking is dat je een college-opleiding niet kunt behandelen als een simpele boodschappenlijst. Als je alleen een checklist maakt van "koop melk, koop eieren, koop brood," mis je het feit dat je amandelmelk in plaats van koemelk kunt kopen, of dat je drie eieren nodig hebt maar er nog maar twee in de doos hebt zitten. Het artikel suggereert dat de eisen voor een opleiding meer lijken op flexibele bouwstenen dan op een rigide checklist. Sommige blokken zijn vast (je moet een wiskunde-les volgen), maar andere zijn een "kies je eigen avontuur"-stijl (kies er drie uit deze groep geschiedenislessen). De studie vond dat als je probeert deze flexibele blokken in een platte, saaie lijst te dwingen, de AI in de war raakt en een student kan vertellen dat hij een vak mist dat hij eigenlijk niet nodig heeft.
De Acht Regels voor een Slimme Adviseur-Robot
Op basis van het ontwerp van hun prototype stellen de auteurs acht "verkeersregels" voor het bouwen van deze AI-adviseurs. Hier is wat ze vonden, eenvoudig uitgelegd:
Gebruik geen platte checklist; gebruik flexibele groepen.
Stel je een videogame voor waarbij je "drie magische items" moet verzamelen. Een platte checklist zou zeggen: "Haal Zwaard, Haal Schild, Haal Elixer." Maar de game laat je eigenlijk een Schild inruilen voor een Helm. De AI moet begrijpen dat je een groep items nodig hebt, en niet specifieke items. Het artikel suggereert om eisen te modelleren als deze flexibele groepen, zodat de AI niet in paniek raakt wanneer een student een andere geldige optie kiest.De AI is de gids, niet de bestuurder.
De robot moet heel goed zijn in het uitleggen waarom een bepaalde route werkt en het laten zien van de verschillende routes die je kunt nemen. Maar het moet niet degene zijn die de papieren tekent of de uiteindelijke beslissing neemt. De AI legt de opties uit; de menselijke adviseur (of de student met hulp van een mens) maakt de keuze.Houd de publieke kaart gescheiden van het privé dagboek.
Dit is een belangrijke privacyregel. De AI kan de publieke collegecatalogus bekijken (die voor iedereen toegankelijk is) om uit te leggen hoe lessen werken. Maar het moet niet de specifieke privécijfers of persoonlijke geschiedenis van een student hoeven in te zien om dit te doen. De studie suggereert om het systeem zo te bouwen dat het uitstekend advies kan geven met alleen publieke informatie, waardoor de geheime gegevens van de student veilig en gescheiden blijven.Mensen moeten de grote beslissingen controleren.
Als de AI een pad suggereert dat de major van een student verandert, hem extra geld kost, of invloed heeft op zijn vermogen om over te stappen naar een andere school, moet een echte menselijke adviseur dit beoordelen. De robot kan suggereren, maar de mens moet goedkeuren.Help studenten om zelf te sturen.
Het doel is niet alleen om de student te vertellen "Ga naar links." Het is om hen te helpen begrijpen waarom naar links gaan beter is dan naar rechts gaan, zodat ze leren hoe ze voor zichzelf kunnen plannen. Het hulpmiddel moet de student helpen de afwegingen te zien en te leren hun eigen reis te beheren.Gebruik geen enge "risico" woorden.
In plaats van een student te vertellen dat ze "een risico lopen" of "falen," moet de taal gaan over "het behouden van momentum" of "het vinden van een nieuw pad." De studie vond dat het gebruik van positieve, niet-oordelende taal studenten helkeren om zich meer in controle te voelen in plaats van gecontroleerd te worden.Toon de mistige plekken.
Soms zijn college-regels verwarrend of op een onduidelijke manier geschreven. Een goede AI zou niet moeten doen alsof hij het antwoord weet als dat niet het geval is. Het zou moeten zeggen: "Dit deel is een beetje onduidelijk, dus laten we een mens vragen om dit te controleren." Het is beter om onzekerheid toe te geven dan om vol vertrouwen een fout antwoord te geven.Banen zijn belangrijk, maar ze zijn niet het enige doel.
De AI kan studenten helpen inzien hoe een les kan helpen bij het krijgen van een baan, maar het moet hen niet dwingen in een carrière alleen omdat de arbeidsmarkt op dat moment warm is. Studenten kunnen ook andere dromen hebben, zoals overstappen naar een universiteit of een nieuwe interesse verkennen, en de AI moet dat respecteren.
Wat dit betekent voor de toekomst
Het artikel beweert niet dat dit hulpmiddel al duizenden studenten heeft geholpen of dat het perfect is. Het is een designstudie, wat betekent dat het een reeks instructies is over hoe je iets bouwt dat goed werkt, in plaats van een rapport over hoe goed een voltooid product werkte. De auteurs suggereren dat als colleges AI willen gebruiken voor advisering, ze met deze regels moeten beginnen: houd de gegevens privé, laat de mens de leiding houden, en zorg ervoor dat de AI begrijpt dat college-paden flexibel zijn, niet rigide.
Door deze regels te volgen, kunnen we misschien een AI-adviseur bouwen die minder aanvoelt als een strenge robotleraar en meer als een behulpzame, deskundige vriend die de kaart kent, maar jou laat beslissen waar je naartoe gaat. Het is een manier om deze coole nieuwe technologie te gebruiken zonder het menselijke aspect te verliezen dat onderwijs laat werken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.