How to Protect Learner Autonomy in the Age of Generative AI: EMM

Technische Samenvatting: Bescherming van de Autonomie van de Leerling in het Tijdperk van Generatieve AI (EMM)

Probleemstelling
Generatieve AI wordt steeds vaker door studenten gebruikt om feedback te interpreteren en reacties voor adviseurs voor te bereiden, met name in omgevingen met een hoge inzet zoals doctoraal toezicht. Huidige manipulatie-benchmarks (bijv. MentalManip, MultiManip) evalueren Large Language Models (LLMs) primair als externe waarnemers die de taak hebben om dialoogtactieken te classificeren. Deze benchmarks falen echter in het adresseren van de specifieke uitdaging van leerlingautonomie: het vermogen van een AI-assistent om onredelijke druk te herkennen zonder legitieme, veeleisende academische vereisten als misbruik te behandelen.

De kern van het geïdentificeerde gat is de discrepantie tussen herkenning (het accuraat labelen van een manipulatieve uiting) en respons (het genereren van een reactie in de eerste persoon die de autonomie van de student behoudt). Een AI kan manipulatie correct identificeren, maar er niet in slagen een bruikbaar, gekalibreerd antwoord te formuleren, of omgekeerd "overdreven defensief" optreden door gezonde, veeleisende academische feedback als abusief te behandelen. Bestaande evaluaties meten niet gelijktijdig het vermogen van een model om de intentie van een adviseur te classificeren én een evenredige, verzendbare reactie vanuit het perspectief van de student te genereren.

Methodologie: De EMM Benchmark
Om dit aan te pakken, introduceren de auteurs EMM (Education-centered Mental Manipulation), een benchmark die ontworpen is om zowel herkenning als respons-kalibratie te evalueren.

• Dubbele Taakstructuur: Elk item in EMM presenteert een enkele uiting van een spreker met een hogere machtspositie (adviseur, manager of ouder) en vereist twee afzonderlijke outputs van het model, geëvalueerd op dezelfde input:
  1. Taak 1 (Reactie in de eerste persoon): Het model genereert een beknopte, verzendbare Chinese boodschap als de respondent met een lagere machtspositie (student). De prompt is label-blind en specificeert niet of de input druk bevat; het stuurt het model aan om feiten te verhelderen, concrete vragen te stellen of waar gepast grenzen te stellen.
  2. Taak 2 (Observer Classificatie): Het model classificeert dezelfde uiting in één van de 14 categorieën: "Gezond" of één van de 13 specifieke manipulatiecategorieën.
• Taxonomie en Dataconstructie:
  • Het onderwijsdomein bevat 1.014 gevallen: 676 manipulatieve uitingen verspreid over 13 categorieën (gegroepeerd onder 5 relationele mechanismen) en 338 bijbehorende "gezonde" hoog-druk controles.
  • Gezonde controles zijn niet neutraal; ze vertegenwoordigen legitieme, veeleisende academische standaarden (bijv. strikte deadlines, specifieke revisieverzoeken) die niet als misbruik mogen worden geclassificeerd.
  • Het protocol wordt uitgebreid naar de werkplek (manager-werknemer) en ouder-kind relaties, wat resulteert in een totaal van 3.042 evaluatiegevallen.
  • Een apart corpus van 11.521 voorbeelden over de drie domeinen ondersteunt de Supervised Fine-Tuning (SFT) experimenten.
• Evaluatiemetrieken:
  • Taak 1: Een LLM-judge scoort reacties (0–2). Een score van 2 duidt op een duidelijk, context-gepast bewustzijn en een bruikbare grens.
    • Recall: De proportie manipulatieve items die een score van 2 ontvangen.
    • H-OK (Healthy-OK): De proportie gezonde items die niet een score van 2 ontvangen (meet niet-overdreven defensiviteit).
    • Balanced Accuracy (BalAcc): Het gemiddelde van Recall en H-OK.
  • Taak 2: Exacte 14-weg classificatienauwkeurigheid en macro-F1.

Experimentele Opzet
De studie evalueert 15 modelconfiguraties op de onderwijsset, bestaande uit zes API-modellen (bijv. GPT-5.5, Gemini-3.1-Pro, Claude-Sonnet-5), zes lokale basismodellen (bijv. de Qwen, Llama, GLM families) en drie bijbehorende LoRA-SFT varianten die getraind zijn op de drie-domeinen corpus. (Opmerking: Drie aanvullende SFT-versies met incomplete Taak 1-beoordeling zijn uitgesloten van de volledige dual-task vergelijkingstabel). De studie bevat ook ablatie-studies naar taalkadering (eerste persoon versus derde persoon) en prompt-minimalisme (het verwijderen van expliciete instructies voor het stellen van grenzen).

Belangrijkste Resultaten

1. De Herkennings–Respons Kloof: Er is een significante discrepantie tussen classificatienauwkeurigheid en de kwaliteit van de reactie. Modellen kunnen een uiting accuraat labelen als manipulatief (Taak 2), maar er toch in falen een gekalibreerde, score-2 reactie te genereren (Taak 1). Omgekeerd gaat een hoog bewustzijn in reacties vaak samen met overdreven defensiviteit bij gezonde gevallen.
2. Variantie in Modelprestaties:
   • API-Modellen: Gemini-3.1-Pro behaalde de hoogste Recall (0.966) maar de laagste H-OK (0.053), wat aangeeft dat het bijna alle gezonde gevallen met hoge druk als abusief markeerde. GPT-5.5 en Claude-Sonnet-5 behaalden een betere gebalanceerde nauwkeurigheid (0.666 en 0.649 respectievelijk) door een balans te vinden tussen recall en niet-overdreven defensiviteit.
   • Lokale Modellen: De meeste lokale basismodellen vertoonden een zeer lage manipulatie-recall (<0.20), waarbij Qwen-3.5-9B een opvallende uitzondering was (0.643).
3. Impact van Three-Domain SFT: Fine-tuning op de gemengde drie-domeinen corpus verbeterde de manipulatie-recall voor de bijbehorende modellen, maar verminderde hun kalibratie op gezonde gevallen. Zo verhoogde Qwen-3.5-9B-SFT de recall naar 0.950, maar liet de H-OK dalen naar 0.192, wat resulteerde in aanzienlijk meer overdreven defensieve reacties op legitieme academische eisen.
4. Ablatiebevindingen:
   • Framing: Generatie in de derde persoon presteerde niet consistent beter dan generatie in de eerste persoon.
   • Prompting: Modellen behielden enige mate van bewustzijn zelfs zonder expliciete begeleiding voor het stellen van grenzen in de prompt, hoewel ze wel prompt-gevoelig bleven.

Significantie en Claims
Het artikel claimt drie primaire bijdragen:

1. Operationalisering van Manipulatie: Het definieert 13 specifieke manipulatiecategorieën in adviseur-student interacties, verankerd door gematchte gezonde hoog-druk controles om misbruik te onderscheiden van legitieme strengheid.
2. Nieuwe Benchmark-ontwerp: EMM is de eerste benchmark die observer-stijl fijnmazige classificatie combineert met de generatie van verzendbare, rol-geconditioneerde reacties in de eerste persoon, waarbij expliciet wordt getest op "overdreven defensiviteit".
3. Empirisch Bewijs van Trade-offs: De studie toont aan dat het verbeteren van het vermogen van een model om manipulatie te detecteren (via SFT of grotere modellen) niet automatisch de autonomie van de leerling beschermt; het kan onbedoeld het vermogen van het model ondermijnen om onderscheid te maken tussen abusieve druk en noodzakelijke academische eisen.

De auteurs concluderen dat EMM een auditprotocol biedt om zowel herkenning als een evenredige respons gezamenlijk te evalueren. Zij stellen bescheiden dat hoewel een betere benchmark-prestatie een noodzakelijke stap is, het onderzoek naar de vraag of dit zich in de praktijk vertaalt naar de bescherming van de autonomie van de student, verdere studie vereist. Het werk claimt niet het probleem van abusief toezicht op te lossen, maar biedt een instrument om de kalibratie van AI-systemen in deze gevoelige interacties te evalueren.