Distilling Human-Aligned Privacy Sensitivity Assessment from Large Language Models

1. Problématique

L'évaluation précise de la vie privée dans les données textuelles reste un défi majeur en traitement automatique du langage naturel (NLP). Bien que des cadres formels (comme la confidentialité différentielle) et des métriques basées sur des attaques existent, ils ne capturent pas toujours la notion humaine de ce qui constitue un contenu sensible.

Récemment, les grands modèles de langage (LLM) ont démontré leur capacité à agir comme des évaluateurs fiables, alignés sur le jugement humain (approche LLM-as-a-Judge). Cependant, leur déploiement à grande échelle pour l'analyse de la vie privée se heurte à deux obstacles majeurs :

1. Coût et complexité : L'utilisation de LLM de pointe (comme Mistral Large 3, 675M de paramètres) est trop coûteuse en calcul pour des applications industrielles.
2. Paradoxe de la confidentialité : L'envoi de données sensibles à des API tierces pour évaluation compromet la confidentialité même des données analysées.

L'objectif est donc de créer un évaluateur de sensibilité à la vie privée qui soit à la fois aligné sur l'humain, léger (pour une exécution locale) et efficace.

2. Méthodologie

Les auteurs proposent une approche de distillation de connaissances pour transférer les capacités d'évaluation d'un LLM "enseignant" vers des modèles "étudiants" compacts.

• Cadre d'annotation : Ils adoptent une échelle de Likert à 5 points (de 1 "Harmless" à 5 "Extremely private"), validée précédemment par une étude humaine à grande échelle (Meisenbacher et al., 2025). Cette échelle prend en compte non seulement les identifiants directs (noms, contacts), mais aussi les signaux contextuels (santé, situations juridiques, intimité).
• Données :
  • Un corpus de 200 000 textes a été constitué à partir de 10 jeux de données publics couvrant divers domaines (blogs, emails, forums de santé, conseils juridiques, avis clients, Twitter, etc.).
  • Le modèle enseignant Mistral Large 3 (675B) a annoté automatiquement ces textes en suivant une stratégie de prompt structurée.
• Modèles Étudiants :
  • Les annotations générées par le LLM ont été utilisées pour entraîner des classificateurs encodeurs légers.
  • Quatre architectures ont été évaluées : Ettin-150M (149M de paramètres), Ettin-17M, BERT-base et ModernBERT-base.
  • L'entraînement a été réalisé avec un taux d'apprentissage de $2 \times 10^{-5}$, un batch size de 16 et 3 époques.
• Évaluation :
  • Métriques de classification standard (Précision, F1-macro, MAE) sur un jeu de test retenu.
  • Analyse d'accord avec les annotations humaines originales (677 annotateurs sur 250 textes) via le coefficient Alpha de Krippendorff ($\alpha$).
  • Application pratique : Évaluation de la réduction de la vie privée dans un système de désidentification (Text Anonymization Benchmark - TAB).

3. Contributions Clés

1. Création d'un corpus annoté à grande échelle : Compilation de 200 000 textes annotés automatiquement pour la sensibilité à la vie privée par un LLM de pointe, couvrant 10 domaines diversifiés.
2. Distillation réussie vers des modèles légers : Démonstration que des modèles encodeurs de seulement 150M de paramètres peuvent apprendre le raisonnement complexe d'un LLM de 675B.
3. Alignement supérieur à l'enseignant : Le modèle distillé (Ettin-150M) atteint un accord avec les jugements humains moyens ($\alpha = 0.737$) supérieur à celui du modèle enseignant Mistral Large 3 lui-même ($\alpha = 0.716$).
4. Métrique automatique scalable : Validation de l'utilisation de ces modèles comme métriques automatisées pour quantifier l'efficacité des systèmes de désidentification (masquage d'entités).

4. Résultats Principaux

• Performance de classification : Le modèle Ettin-150M atteint une précision de 74,9 % et un F1-macro de 68,1 % sur le jeu de test, surpassant nettement les baselines (majorité et aléatoire) et les modèles plus petits (Ettin-17M).
• Alignement humain :
  • Ettin-150M vs Humains : $\alpha = 0.737$.
  • Mistral Large 3 vs Humains : $\alpha = 0.716$.
  • L'accord du modèle distillé avec les annotateurs individuels ($\alpha = 0.514$) est comparable à l'accord inter-humain ($\alpha = 0.54$), indiquant que les erreurs du modèle sont de la même nature que les désaccords humains.
• Évaluation de la désidentification : Sur le benchmark TAB, le modèle détecte correctement que le masquage des identifiants directs a un impact plus fort par entité que le masquage des quasi-identifiants. Le masquage complet réduit le score de sensibilité moyen de 3,25 à 1,39, faisant passer 84,1 % des documents dans la catégorie "Harmless".
• Robustesse : Un masquage aléatoire (sans logique) augmente paradoxalement le score de sensibilité, prouvant que le modèle évalue la cohérence sémantique et le contenu, et non simplement la présence de tokens masqués.

5. Signification et Impact

Cet article apporte une solution pratique au dilemme entre la puissance des LLM pour l'évaluation de la vie privée et les contraintes de déploiement réel :

• Déploiement local et privé : Les modèles distillés permettent une évaluation de la vie privée locale et rapide, éliminant le besoin d'envoyer des données sensibles à des API externes.
• Denoising par distillation : Le fait que le modèle étudiant surpasse l'enseignant suggère que la distillation agit comme un processus de "débruitage", lissant la stochasticité des prompts du LLM pour créer une frontière de décision plus robuste sur des benchmarks humains limités.
• Nouvelles applications : Ces modèles légers ouvrent la voie à de nouveaux cas d'usage :
  • Curation de datasets (filtrage des exemples à haut risque avant l'entraînement).
  • Évaluation automatique des systèmes de réécriture ou de désidentification.
  • Assistants d'écriture en temps réel avertissant les utilisateurs de la présence de PII (Informations Personnellement Identifiables).

Limitations notables : Le modèle hérite des biais du LLM enseignant, est limité à l'anglais, et évalue le texte de manière isolée sans contexte explicite (audience, but), ce qui est une contrainte inhérente à l'évaluation textuelle pure. Néanmoins, il représente une avancée significative pour l'évaluation de la vie privée à l'échelle.