Technische Samenvatting: Nutbehoudende De-identificatie voor Wiskundelessen

1. Probleemstelling

Het delen van grootschalige dialoogdata is essentieel voor de vooruitgang van de wetenschap van onderwijs en leren, maar rigoureuze de-identificatie blijft een aanzienlijke hindernis. In transcripties van wiskundelessen rijst een specifieke uitdaging die bekend staat als numerieke ambiguïteit. Wiskundige uitdrukkingen (bijvoorbeeld breuken, datums in tekstopgaven, rekenresultaten) vertonen vaak oppervlakkige gelijkenissen met gestructureerde Persoonlijk Identificeerbare Informatie (PII) zoals datums, telefoonnummers of rijbewijsnummers.

Generieke PII-detectiesystemen, waaronder industriestandaardtools zoals Microsoft Presidio, identificeren deze wiskundige spanningsvelden vaak ten onrechte als gevoelige identifiers. Dit leidt tot over-redactie, waarbij kernonderwijsinhoud uit de data wordt verwijderd, waardoor deze onbruikbaar wordt voor downstream educatief onderzoek. Bovendien ontbreekt het aan domeinspecifieke benchmarks om PII-detectie in de context van wiskundelessen te evalueren, aangezien originele, niet-geredigeerde data zelden deelbaar is vanwege privacyregels.

2. Methodologie

Het onderzoek volgt een workflow in drie fasen om de onderzoeksvraag te adresseren: Hoe kunnen we PII in transcripties van wiskundelessen nauwkeurig detecteren terwijl het educatieve nut van de data behouden blijft?

Fase 1: Datasetconstructie (MathEd-PII)

Aangezien originele, niet-geredigeerde data niet beschikbaar was, construeerden de auteurs MathEd-PII, de eerste benchmarkdataset voor PII-detectie in wiskundelessen.

• Bron: 1.000 lesessies (115.620 berichten) van een in de VS gevestigd platform, aanvankelijk geredigeerd door de provider met Microsoft Presidio.
• Human-in-the-Loop LLM-werkstroom: Om een betrouwbare ground truth te creëren zonder toegang tot originele data, hanteerden de auteurs een proces in drie stappen:
  1. Initiële beoordeling: Een LLM beoordeelde een steekproef van geredigeerde berichten om gemiste PII (false negatives) en onjuiste redacties (false positives) te identificeren, en infereerde waar nodig plausibele originele tekst.
  2. Menselijke validatie: Onderzoekers beoordeelden LLM-outputs handmatig en verfijnden prompts iteratief totdat 95% van de geïdentificeerde problemen was opgelost.
  3. Surrogaatgeneratie: De gevalideerde workflow werd toegepast op het volledige corpus. Het systeem verving bevestigde PII door contextbewuste, privacybehoudende surrogaten en verwijderde labels voor inhoud die ten onrechte als PII was gemarkeerd.
• Resultaat: Een benchmark van 1.000 sessies met 1.995 gevalideerde PII-labels, aanzienlijk minder dan de 5.263 labels in het oorspronkelijke dataset van de provider, wat wijst op massale over-redactie in de bron.

Fase 2: Wiskundesegmentatie en Ambiguïteitsanalyse

Om de hypothese te onderzoeken dat false positives clusteren in wiskundedichte gebieden, ontwikkelden de auteurs een op dichtheid gebaseerde segmentatiemodule.

• Berekening wiskundedichtheid: Berichten werden gescoord op basis van een gewogen som van wiskundevocabulaire (afgeleid van K-12 leerelementen), meerwoordige zinsdelen en reguliere expressies voor wiskundige patronen.
• Segmentatie: Berichten die een dichtheidsthrshold overschreden, werden "anker"-berichten. Aanliggende berichten werden aan het segment toegevoegd als hun semantische gelijkenis (via embeddings) met het segmentcentroïde een gelijkenisthreshold overschreed.
• Analyse: Dit stelde de auteurs in staat om de prestaties van PII-detectie specifiek te vergelijken binnen "Wiskundesegmenten" versus "Niet-wiskundesegmenten".

Fase 3: Evaluatie van Detectiestrategieën

Vier detectiestrategieën werden geëvalueerd op de MathEd-PII-benchmark:

1. Basislijn: Microsoft Presidio (v2.2) met standaard- en aangepaste regels.
2. Basis prompting: LLM's die werden geïnstrueerd om alle PII te identificeren zonder domeincontext.
3. Wiskundebewuste prompting: LLM's die werden geïnstrueerd met specifieke kennis over wiskundelessen om numerieke false positives te verminderen.
4. Segmentbewuste prompting: LLM's kregen een expliciet label dat aangaf of een bericht tot een "Wiskundesegment" of "Niet-wiskundesegment" behoorde.

Zes LLM's (waaronder Claude 4.5, GPT-5.2 en Gemini 3 Pro) werden getest, waarbij de beste presteerders werden geselecteerd voor de geavanceerde prompting-strategieën. De prestaties werden gemeten met Precisie, Recall en F1-score, waarbij 95% betrouwbaarheidsintervallen werden berekend via bootstrap-resampling.

3. Belangrijkste Resultaten

Foutanalyse (RQ1)

• Numerator Ambiguïteit Bevestigd: Valse PII-redacties zijn structureel geconcentreerd in wiskundedichte gebieden.
• Verdeling: 55,5% van alle valse redacties vond plaats in wiskundedichte segmenten, die slechts 36,6% van het corpus uitmaken.
• Ratio-Dispariteit: In wiskundesegmenten was de ratio van false positives tot echte PII ongeveer 4,88:1. In niet-wiskundesegmenten was deze ratio 0,64:1.
• Specifieke Fouten: Generieke detectoren identificeerden wiskundige bewerkingen (bijvoorbeeld "9351 / 7") vaak ten onrechte als Amerikaanse rijbewijzen of cursusnummers, en fictieve namen in tekstopgaven (bijvoorbeeld "Als Alex 5 appels heeft") als echte PERSONEEN-entiteiten.

Methodologische Evaluatie (RQ3)

• Basislijnprestaties: Microsoft Presidio bereikte een hoge recall (78%) maar een extreem lage precisie (0,25), wat resulteerde in een slechte F1-score van 0,379.
• LLM-prestaties:
  • Basis prompting: Verbeterde F1-scores aanzienlijk (bijvoorbeeld Gemini 3 Pro: 0,818).
  • Wiskundebewuste prompting: Verbeterde de precisie verder door numerieke ambiguïteit expliciet aan te pakken (F1: 0,802 voor Claude 4.5 Opus).
  • Segmentbewuste prompting: Bereikte de hoogste algehele prestaties. Gemini 3 Pro met segmentbewuste prompting bereikte een F1-score van 0,821 (Precisie: 0,888, Recall: 0,764).
• Impact op False Positives: De segmentbewuste aanpak verminderde false positives in kritieke numerieke categorieën met meer dan 90% (bijvoorbeeld het verminderen van DATE-false positives met 99,5% en het volledig elimineren van US_DRIVER_LICENSE-false positives) terwijl het recall-niveau vergelijkbaar bleef met de basislijn.

4. Belangrijkste Bijdragen

1. Identificatie van Numerieke Ambiguïteit: Het artikel vestigt numerieke ambiguïteit als een centrale faalmodus bij de de-identificatie van dialoog in wiskundelessen, en toont aan dat standaardtools zonder domeincontext geen onderscheid kunnen maken tussen wiskundige notatie en gevoelige identifiers.
2. MathEd-PII Benchmark: De introductie van de eerste publiek beschikbare benchmarkdataset voor PII-detectie in wiskundelessen, geconstrueerd via een innovatieve human-in-the-loop LLM-surrogaatworkflow die rigoureuze evaluatie mogelijk maakt zonder originele, niet-geredigeerde data te delen.
3. Bewijs voor Domeinbewuste Modellering: Empirisch bewijs dat nutbehoudende de-identificatie domeinbewuste modellering vereist. Specifiek presteert het incorporeren van de context van wiskundige discours (via segmentatielabels) in LLM-prompting aanzienlijk beter dan domein-agnostische basislijnen.

5. Betekenis en Claims

De auteurs beweren dat de-identificatie voor dialoog in onderwijs niet kan worden behandeld als een domein-agnostische voorverwerkingsstap. Het onderzoek levert bewijs dat het behoud van analytisch nut vereist dat de specifieke context van het domein (wiskunde) wordt opgenomen.

• Privacy versus Nut: Het werk toont aan dat het mogelijk is hoge privacybescherming te bereiken (verwijdering van echte PII) zonder het instructieve karakter van de data te offeren (behoud van wiskundige inhoud), mits detectiesystemen bewust zijn van het domein.
• Methodologische Bijdrage: Het artikel biedt een reproduceerbare workflow voor het genereren van hoogwaardige benchmarkdata in privacygevoelige domeinen waar originele data niet gedeeld kan worden, met gebruikmaking van LLM's om contextueel coherente surrogaten te genereren.
• Beperkingen: De auteurs merken op dat de dataset beperkt is tot één VS-platform en dat, hoewel de precisie aanzienlijk is verbeterd, optimalisatie van de recall een gebied blijft voor toekomstig werk. Zij waarschuwen ook dat de huidige afhankelijkheid van prompting broos kan zijn over modelversies heen, wat toekomstig werk suggereert in het fine-tunen van gespecialiseerde modellen.

Concluderend betoogt het artikel dat dialooggebaseerde educatieve data deelbaar en bruikbaar moet zijn, moeten de-identificatiepijplijnen evolueren van generieke regel- of modelgebaseerde benaderingen naar domeinbewuste strategieën die het semantische onderscheid begrijpen tussen een wiskundeprobleem en een persoonlijke identifier.