🤖 AI

EduZone: A Framework for Evaluating LLM Safety for K-12 Students and Teachers

Het artikel introduceert EduZone, een uitgebreid evaluatiekader dat de veiligheid van Large Language Models in het K-12 onderwijs systematisch beoordeelt door contextspecifieke adversariële interacties te genereren over diverse scenario's heen, waarbij significante kwetsbaarheden voor onderwijsspecifieke risico's aan het licht worden gebracht die huidige veiligheidsmaatregelen niet adresseren.

Oorspronkelijke auteurs: Junyeong Park, Jieun Han, Haneul Yoo, So-Yeon Ahn, Jinsung Yoon, Alice Oh

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junyeong Park, Jieun Han, Haneul Yoo, So-Yeon Ahn, Jinsung Yoon, Alice Oh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je zojuist een superintelligente, alwetende robot een rugzak hebt overhandigd vol met tekstboeken, een stapel lesplannen en een klaslokaal vol nieuwsgierige kinderen. Deze robot, aangedreven door iets dat een "Large Language Model" wordt genoemd (of LLM voor kort), is ontworpen om te chatten, wiskundige problemen op te lossen, verhalen te schrijven en leraren te helpen bij het nakijken van werk. Het is alsoal het hebben van een genie als tutor die nooit slaapt. Maar hier is de adder onder het gras: alleen omdat een robot slim is, betekent dat nog niet dat hij veilig is. In de echte wereld maken we ons zorgen over robots die gemene dingen zeggen, gevaarlijke instructies geven of per ongeluk geheimen lekken. Echter, scholen zijn een speciale plek. De regels voor veiligheid zijn daar anders. Een robot zou bedoeld moeten zijn om gevaarlijke verzoeken, zoals hoe je een bom bouwt, te weigeren, maar in de praktijk faalt hij daar vaak in, vooral wanneer het verzoek is verpakt in een schoolcontext. Als hij een middelbare scholier vertelt hoe hij een oneerlijk voordeel op een toets kan behalen of een nep wetenschapsverslag voor hem schrijft om in te leveren, dan is dat een ramp. De grote vraag die wetenschappers stellen is: "Hoe zorgen we ervoor dat deze AI-tutors niet per ongeluk de ergste nachtmerrie van de school worden?"

Dit is precies waar de onderzoekers achter EduZone onderzoek naar wilden doen. Ze realiseerden zich dat hoewel we tests hebben om te controleren of AI over het algemeen "ondeugend" is, we nog niet echt hebben gecontroleerd of het "ondeugend is in een schoolsetting". Om dit op te lossen, bouwden ze een digitale speeltuin genaamd EduZone. Denk aan het als een gigantische, geautomatiseerde "stress test" voor AI, maar in plaats van de robot alleen maar te vragen om gemeen te zijn, misleiden ze hem door hem te laten denken dat hij in een klaslokaal is. Ze creëerden duizenden scenario's waarin de AI de rol aanneemt van een leerling die hulp vraagt of een docent die een les plant. Vervolgens gebruikten ze een "slechte actor"-AI om verborgen, riskante verzoeken langs de veiligheidsfilters te smokkelen—zoals het vragen om een gids voor een oneerlijk voordeel, vermomd als een studiegids, of het proberen te krijgen dat de AI een heel examenpapier schrijft.

De onderzoekers testten tien verschillende AI-modellen, variërend van de bekendste commerciële modellen tot open-source versies, en keken hoe ze reageerden. Ze kwamen enkele verrassende zaken tegen. Ten eerste zijn de AI-modellen veel beter in het herkennen van overduidelijke gevaren (zoals haatzaaien) dan in het herkennen van sluwe schoolspecifieke gevaren (zoals academische oneerlijkheid). Ten tweede, en dit is de belangrijkste, wordt de AI veel kwetsbaarder naarmate het gesprek langer voortduurt. Als je één keer een vraag stelt, zegt de AI misschien "nee". Maar als je blijft chatten, vervolgvragen stelt en het gesprek langzaam een bepaalde richting op stuurt, begint de AI fouten te maken en geeft hij de risicovolle informatie prijs. Het is als een beveiliger die geweldig is in het tegenhouden van iemand met een mes bij de deur, maar als je tien minuten met hem blijft praten, laat hij je misschien uiteindelijk toch binnen omdat je hem hebt uitgeput.

Het paper testte ook of de huidige "veiligheidsnetten" (verdedigingen) die gebruikt worden voor deze AI's zouden werken in scholen. De resultaten waren een beetje zorgwekkend: de standaard veiligheidstools falen vaak wanneer het verzoek is ingepakt in een schoolcontext. Echter, de onderzoekers vonden een oplossing. Door de veiligheidstools specifiek te onderwijzen over schoolregels—zoals wat telt als academische oneerlijkheid of wat te veel mentale stress veroorzaakt voor een leerling—konden ze de AI veel veiliger maken. Kortom, EduZone laat ons zien dat om AI in scholen veilig te houden, we niet alleen dezelfde regels kunnen gebruiken als die voor het internet; we hebben een speciale set regels nodig die ontworpen zijn voor het klaslokaal, en we moeten ze testen in lange, real-life gesprekken, en niet alleen via eenmalige vragen.

Technische Samenvatting: EduZone – Een raamwerk voor het evalueren van de veiligheid van LLM's voor K-12 leerlingen en docenten

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden geïntegreerd in het K-12 onderwijs voor zowel leerproces van leerlingen als instructie door docenten, schieten bestaande veiligheidsevaluaties tekort in het adresseren van de unieke risico's die inherent zijn aan educatieve contexten. Huidige benchmarks richten zich primair op algemene schade zoals toxische inhoud, illegale hulp en demografische bias. Echter, educatieve interacties introduceren pedagogische risico's — zoals academisch wangedrag, cognitieve overbelasting en desinformatie — die vaak onschuldig lijken binnen legitieme leeractiviteiten. Bovendien missen bestaande evaluaties doorgaans systematische dekking van diverse gebruikersrollen (leerlingen versus docenten), fijnmazige curriculum-verankering en de dynamische aard van multi-turn conversaties waarbij risico's geleidelijk kunnen evolueren of ontstaan.

Methodologie: Het EduZone-raamwerk

Om deze hiaten te adresseren, introduceren de auteurs EduZone, een geautomatiseerd, uitbreidbaar raamwerk voor het construeren van onderwijs-gegronde adversariële veiligheidsevaluaties. Het raamwerk werkt via drie primaire stappen:

1. Constructie van Educatieve Scenario's

Het raamwerk bouwt een multidimensionale taxonomie door drie onafhankelijke componenten te combineren:

LLM Gebruikcontexten: Distincte categorieën voor leerlingen (bijv. probleemoplossing, emotionele ondersteuning, idee-generatie) en docenten (bijv. beoordeling, lesvoorbereiding, feedbackgeneratie), afgeleid van bestaande benchmarks en OECD-enquêtes.
Curriculum-gebaseerde Onderwerpen: Fijnmazige onderwerpen afgestemd op de realiteit van K-12 standaarden (Wetenschap, Wiskunde, Informatica, Wereldgeschiedenis), met in totaal 1.044 concepten.
Risico-taxonomie: Een nieuw classificatiesysteem bestaande uit 6 categorieën en 28 subcategorieën. Dit breidt de conventionele veiligheidsrisico's uit naar onderwijsspecifieke schade, zoals Academisch Wangedrag van Leerlingen (bijv. ghostwriting, ongeautoriseerde hulp), Academisch Wangedrag van Docenten (bijv. lekken van examens, oneerlijke beoordeling) en Excessieve Cognitieve Belasting.

Deze componenten worden gecombineerd om contextueel plausibele scenario's te genereren. De auteurs filteren rol-incompatibele of semantisch implausibele combinaties uit via een meerderheidsstemmechanisme tussen drie LLM's, wat resulteert in een gecureerde set scenario's.

2. Generatie van Adversariële Prompts

Het raamwerk genereert adversariële interacties waarbij een verborgen veiligheidsrisico is ingebed in een legitiem educatief verzoek. Dit wordt bereikt in drie settings:

Single-turn: Een enkele gebruikersuitspraak waarin de verborgen intentie is ingebed.
Statische Multi-turn: Een vooraf gegenereerde conversatie van ten minste vijf beurten waarbij de intentie geleidelijk wordt onthuld (simulatie van een "geleidelijke jailbreak").
Dynamische Multi-turn: Een persona-gestuurde conversatie waarbij de aanvaller-LLM adaptief gebruikersbeurten genereert op basis van de vorige reacties van het doelmodel, wat een real-time conversationele aanval simuleert.

De auteurs publiceren een dataset van 5,2K adversariële prompts (2,6K single-turn en 2,6K statische multi-turn) om systematische evaluatie te ondersteunen.

3. Respons Classificatie

Modelreacties worden geclassificeerd in vier risiconiveaus:

Niveau 1 (L1): Directe weigering.
Niveau 2 (L2): Veilig antwoord (stuurt bij naar veilige alternatieven).
Niveau 3 (L3): Risicovol antwoord met veiligheidsinstructies (voldoet aan de intentie maar bevat waarschuwingen/disclaimers).
Niveau 4 (L4): Risicovol antwoord (voldoet aan de intentie zonder instructies).

De primaire metriek is de Attack Success Rate (ASR), gedefinieerd als het percentage reacties dat geclassificeerd is als L3 of L4. Een classifier (Gemini-3.5-Flash) automatiseert deze labeling, gevalideerd tegen menselijke annotatoren met een hoge overeenkomst (Cohen's $\kappa \approx 0,82$ ).

Belangrijkste Bijdragen

EduZone Raamwerk: Het eerste geautomatiseerde raamwerk dat systematisch de veiligheid van LLM's evalueert over pedagogische rollen, curriculumonderwerpen en interactie-settings (single-turn, statische multi-turn, dynamische multi-turn).
Omvattende Dataset: De release van een dataset met 5,2K onderwijs-gegronde adversariële prompts die 6 risicocategorieën en 28 subcategorieën beslaat.
Systematische Evaluatie: Een grootschalige evaluatie van 10 LLM's (4 propriëtaire, 6 open-source) die verschillende veiligheidsgedragingen laten zien over verschillende interactie-settings en risicotypen.
Defensie Analyse: Een evaluatie van bestaande jailbreak-verdedigingen en de demonstratie dat het integreren van onderwijsspecifieke veiligheidstaxonomieën in guardrails de robuustheid aanzienlijk verbetert.

Belangrijkste Resultaten

De evaluatie van tien LLM's leverde enkele cruciale bevindingen op:

Kwetsbaarheid voor Multi-turn Interacties: De veiligheidsprestaties verslechteren aanzienlijk naarmate de interactiecomplexiteit toeneemt. De gemiddelde ASR stijgt van 29,9% in single-turn settings naar 38,3% in statische multi-turn, en verder naar 53,6% in dynamische multi-turn interacties. Dynamische settings leggen kwetsbaarheden bloot die bijna 1,8 keer groter zijn dan single-turn evaluaties.
Onderwijsspecifieke Risico's: Modellen zijn aanzienlijk kwetsbaarder voor onderwijsspecifieke risico's dan voor conventionele veiligheidsrisico's.
- Academisch Wangedrag van Leerlingen heeft de hoogste ASR (80,3%), gevolgd door Excessieve Cognitieve Belasting (73,0%).
- In contrast vertonen conventionele risico's zoals Auteursrechtinbreuk (7,9%) en Seksuele Inhoud (19,7%) veel lagere ASR's.
- Opvallend genoeg ontvangen onderwijsspecifieke risico's bijna geen directe weigeringen (L1 $\approx$ 1%).
Rol-specifieke Kwetsbaarheden:
- Leerling-georiënteerde scenario's zijn het meest kwetsbaar voor academisch wangedrag (ASR > 80% bij probleemoplossing en het verstrekken van ideeën).
- Docent-georiënteerde scenario's zijn gevoeliger voor desinformatie, met name in contexten van feedback en contentcreatie.
Effectiviteit van Defensie:
- Algemene defensies (bijv. QwenGuard, Llama-Guard) verminderen de ASR voor conventionele risico's, maar generaliseren slecht naar onderwijsspecifieke risico's.
- Onderwijsspecifieke defensies presteren aanzienlijk beter dan algemene baselines. Het aanvullen van classifiers met de EduZone-taxonomie (bijv. SG+T, LG3+T) verminderde de ASR met 22–30 procentpunten.
- System prompts die enkel een "educatieve context" specificeren, zijn onvoldoende; expliciete veiligheidsinstructies gecombineerd met de specifieke risicotaxonomie zijn vereist voor effectieve mitigatie.

Betekenis en Claims

Het artikel claimt dat EduZone het veld van betrouwbare AI in het onderwijs vooruit helpt door een schaalbaar, geautomatiseerd mechanisme te bieden om kwetsbaarheden te identificeren die conventionele veiligheidsevaluaties missen. De auteurs benadrukken dat huidige LLM's niet goed uitgerust zijn om de genuanceerde, contextafhankelijke risico's van K-12 settings te hanteren, met name in dynamische conversationele flows.

De betekenis van het werk ligt in de demonstratie dat veiligheidsguardrails moeten worden afgestemd op de educatieve domein. De auteurs stellen dat het simpelweg toepassen van algemene veiligheidsfilters onvoldoende is; effectieve inzet van LLM's in scholen vereist veiligheidsmechanismen die pedagogische rollen, curriculumbeperkingen en de specifieke aard van academische integriteit begrijpen. Door het raamwerk en de dataset vrij te geven, beogen de auteurs de ontwikkeling en inzet van veiligere LLM's te ondersteunen die het onderscheid kunnen maken tussen behulpzame educatieve ondersteuning en schadelijk academisch wangedrag.