Résumé Technique : Dé-identification préservant l'utilité pour le tutorat en mathématiques

1. Énoncé du problème

Le partage de données dialogiques à grande échelle est essentiel pour faire progresser la science de l'enseignement et de l'apprentissage, mais une dé-identification rigoureuse demeure un obstacle majeur. Dans les transcriptions de tutorat en mathématiques, un défi spécifique connu sous le nom d'ambiguïté numérique se pose. Les expressions mathématiques (par exemple, les fractions, les dates dans les problèmes de mots, les résultats de calculs) partagent fréquemment des similitudes de surface avec des Informations Personnellement Identifiables (IPI) structurées telles que les dates, les numéros de téléphone ou les numéros de permis de conduire.

Les systèmes génériques de détection d'IPI, y compris des outils standards de l'industrie comme Microsoft Presidio, identifient souvent à tort ces segments mathématiques comme des identifiants sensibles. Cela entraîne une sur-redaction, où le contenu pédagogique essentiel est retiré des données, les rendant inutiles pour la recherche éducative en aval. De plus, il existe un manque de référentiels spécifiques au domaine pour évaluer la détection d'IPI dans les contextes de tutorat en mathématiques, car les données originales non redactées sont rarement partageables en raison des réglementations sur la vie privée.

2. Méthodologie

La recherche suit un flux de travail en trois phases pour répondre à la question de recherche : Comment pouvons-nous détecter avec précision les IPI dans les transcriptions de tutorat en mathématiques tout en préservant l'utilité éducative des données ?

Phase 1 : Construction de l'ensemble de données (MathEd-PII)

Puisque les données originales non redactées n'étaient pas disponibles, les auteurs ont construit MathEd-PII, le premier ensemble de données de référence pour la détection d'IPI dans le tutorat en mathématiques.

• Source : 1 000 sessions de tutorat (115 620 messages) provenant d'une plateforme basée aux États-Unis, initialement redactées par le fournisseur en utilisant Microsoft Presidio.
• Flux de travail LLM avec humain dans la boucle : Pour créer une vérité terrain fiable sans accès aux données originales, les auteurs ont employé un processus en trois étapes :
  1. Évaluation initiale : Un LLM a évalué un échantillon de messages redactés pour identifier les IPI manqués (faux négatifs) et les redactions incorrectes (faux positifs), inférant le texte original plausible là où nécessaire.
  2. Validation humaine : Les chercheurs ont examiné manuellement les sorties du LLM, affinant les invites de manière itérative jusqu'à ce que 95 % des problèmes identifiés soient résolus.
  3. Génération de substituts : Le flux de travail validé a été appliqué à l'ensemble du corpus. Le système a remplacé les IPI confirmés par des substituts respectueux de la vie privée et conscients du contexte, et a supprimé les étiquettes pour le contenu incorrectement signalé comme IPI.
• Résultat : Un référentiel de 1 000 sessions contenant 1 995 étiquettes IPI validées, nettement moins que les 5 263 étiquettes de l'ensemble de données initial du fournisseur, indiquant une sur-redaction massive dans la source.

Phase 2 : Segmentation mathématique et analyse de l'ambiguïté

Pour investiguer l'hypothèse selon laquelle les faux positifs se regroupent dans des régions riches en mathématiques, les auteurs ont développé un module de segmentation basé sur la densité.

• Calcul de la densité mathématique : Les messages ont été notés sur la base d'une somme pondérée de vocabulaire mathématique (dérivé des composantes d'apprentissage de la maternelle au lycée), de phrases à plusieurs mots et d'expressions régulières pour les motifs mathématiques.
• Segmentation : Les messages dépassant un seuil de densité sont devenus des messages « ancre ». Les messages adjacents ont été ajoutés au segment si leur similarité sémantique (via des plongements lexicaux) avec le centroïde du segment dépassait un seuil de similarité.
• Analyse : Cela a permis aux auteurs de comparer les performances de détection d'IPI spécifiquement au sein des « Segments Mathématiques » par rapport aux « Segments Non Mathématiques ».

Phase 3 : Évaluation des stratégies de détection

Quatre stratégies de détection ont été évaluées sur le référentiel MathEd-PII :

1. Référence : Microsoft Presidio (v2.2) avec des règles par défaut et personnalisées.
2. Prompting de base : Des LLMs instruits d'identifier toutes les IPI sans contexte de domaine.
3. Prompting conscient des mathématiques : Des LLMs instruits avec des connaissances spécifiques sur le tutorat en mathématiques pour réduire les faux positifs numériques.
4. Prompting conscient des segments : Des LLMs fournis avec une étiquette explicite indiquant si un message appartient à un « Segment Mathématique » ou à un « Segment Non Mathématique ».

Six LLMs (incluant Claude 4.5, GPT-5.2 et Gemini 3 Pro) ont été testés, les meilleurs performants étant sélectionnés pour les stratégies de prompting avancées. Les performances ont été mesurées à l'aide de la Précision, du Rappel et du score F1, avec des intervalles de confiance à 95 % calculés par rééchantillonnage bootstrap.

3. Résultats clés

Analyse des échecs (RQ1)

• Ambiguïté numérique confirmée : Les redactions d'IPI erronées sont structurellement concentrées dans des régions riches en mathématiques.
• Distribution : 55,5 % de toutes les redactions erronées se sont produites dans des segments riches en mathématiques, qui ne constituent que 36,6 % du corpus.
• Disparité des ratios : Dans les segments mathématiques, le ratio de faux positifs par rapport aux vraies IPI était d'environ 4,88:1. Dans les segments non mathématiques, ce ratio était de 0,64:1.
• Erreurs spécifiques : Les détecteurs génériques identifient fréquemment à tort des opérations mathématiques (par exemple, « 9351 / 7 ») comme des permis de conduire américains ou des numéros de cours, et des noms fictifs dans les problèmes de mots (par exemple, « Si Alex a 5 pommes ») comme de vraies entités PERSONNE.

Évaluation de la méthode (RQ3)

• Performance de référence : Microsoft Presidio a atteint un rappel élevé (78 %) mais une précision extrêmement faible (0,25), résultant en un mauvais score F1 de 0,379.
• Performance des LLMs :
  • Prompting de base : A considérablement amélioré les scores F1 (par exemple, Gemini 3 Pro : 0,818).
  • Prompting conscient des mathématiques : A amélioré davantage la précision en traitant explicitement l'ambiguïté numérique (F1 : 0,802 pour Claude 4.5 Opus).
  • Prompting conscient des segments : A atteint les performances globales les plus élevées. Gemini 3 Pro avec un prompting conscient des segments a atteint un score F1 de 0,821 (Précision : 0,888, Rappel : 0,764).
• Impact sur les faux positifs : L'approche consciente des segments a réduit les faux positifs dans les catégories numériques critiques de plus de 90 % (par exemple, réduisant les faux positifs DATE de 99,5 % et éliminant totalement les faux positifs US_DRIVER_LICENSE) tout en maintenant des niveaux de rappel comparables à la référence.

4. Contributions clés

1. Identification de l'ambiguïté numérique : L'article établit l'ambiguïté numérique comme un mode d'échec central dans la dé-identification des dialogues de tutorat en mathématiques, démontrant que les outils standards ne peuvent pas distinguer la notation mathématique des identifiants sensibles sans contexte de domaine.
2. Référentiel MathEd-PII : L'introduction du premier ensemble de données de référence publiquement disponible pour la détection d'IPI dans le tutorat en mathématiques, construit via un flux de travail novateur de substituts LLM avec humain dans la boucle permettant une évaluation rigoureuse sans partager les données originales non redactées.
3. Preuve pour la modélisation consciente du domaine : Démonstration empirique que la dé-identification préservant l'utilité nécessite une modélisation consciente du domaine. Plus précisément, l'intégration du contexte du discours mathématique (via des étiquettes de segmentation) dans le prompting des LLMs surpasse considérablement les références agnostiques du domaine.

5. Importance et affirmations

Les auteurs affirment que la dé-identification pour les dialogues de tutorat ne peut pas être traitée comme une étape de prétraitement agnostique du domaine. L'étude fournit des preuves que la préservation de l'utilité analytique nécessite l'intégration du contexte spécifique du domaine (mathématiques).

• Vie privée vs Utilité : Le travail démontre qu'il est possible d'atteindre une forte protection de la vie privée (suppression des vraies IPI) sans sacrifier la fidélité pédagogique des données (préservation du contenu mathématique), à condition que les systèmes de détection soient conscients du domaine.
• Contribution méthodologique : L'article offre un flux de travail reproductible pour générer des données de référence de haute qualité dans des domaines sensibles à la vie privée où les données originales ne peuvent pas être partagées, en utilisant des LLMs pour générer des substituts cohérents sur le plan contextuel.
• Limites : Les auteurs notent que l'ensemble de données est limité à une seule plateforme américaine et que, bien que la précision ait été considérablement améliorée, l'optimisation du rappel reste un domaine pour un travail futur. Ils mettent également en garde contre la dépendance actuelle au prompting, qui peut être fragile à travers les versions de modèles, suggérant un travail futur sur l'affinement de modèles spécialisés.

En conclusion, l'article soutient que pour que les données éducatives basées sur le dialogue soient partageables et utiles, les pipelines de dé-identification doivent évoluer des approches génériques basées sur des règles ou des modèles vers des stratégies conscientes du domaine qui comprennent la différence sémantique entre un problème de mathématiques et un identifiant personnel.