Résumé Technique : CONTINUOUSBENCH

Énoncé du Problème

La synthèse de texte sous confidentialité différentielle (DP - Differential Privacy) vise à débloquer l'utilisation de corpus sensibles (par exemple, des notes cliniques, des données utilisateur propriétaires) pour l'entraînement de modèles tout en préservant la confidentialité. Cependant, il reste difficile de savoir si les données synthétiques DP transmettent réellement les faits et les capacités à haute valeur ajoutée présents dans les corpus originaux restreints. Les évaluations existantes ne parviennent pas à répondre à cette question de « substituabilité » en raison de trois facteurs de confusion principaux :

1. Contamination par pré-entraînement : Les benchmarks standards (par exemple, sentiment IMDB, scores OpenReview) sont souvent proches de la saturation pour les modèles de langage modernes. Une performance élevée sur ces tâches peut refléter des connaissances déjà présentes dans le pré-entraînement du modèle de base plutôt qu'un transfert de connaissances issu du corpus privé.
2. Simplicité des tâches : Les métriques courantes comme la prédiction du prochain jeton (next-token prediction) ou la similitude distributionnelle (par exemple, MAUVE) peuvent s'améliorer par un simple mimétisme superficiel du style sans nécessiter la récupération de faits spécifiques et de haute valeur.
3. Distillation Enseignant-Élève : De nombreuses évaluations utilisent un générateur plus puissant pour produire des données destinées à un modèle en aval plus faible. Les gains de performance peuvent alors résulter d'effets de distillation plutôt que de l'utilité réelle des données privées.

Par conséquent, les benchmarks actuels ne peuvent pas distinguer si une méthode de synthèse DP réussit à préserver des capacités spécifiques au corpus ou si elle se contente de mimer la distribution source.

Méthodologie : CONTINUOUSBENCH

Les auteurs introduisent CONTINUOUSBENCH, un benchmark à régénération continue conçu pour mesurer rigoureusement les gains de capacité issus du texte synthétique DP. Le cadre impose trois principes de conception :

1. Dépendance à l'accès et fraîcheur : Les tâches sont construites pour être insolubles sans accès au corpus d'entraînement publié. Ceci est réalisé par :
   • Génération procédurale (GEMINON) : Un monde fictif, inspiré de Pokémon, où les entités, les statistiques et les lignées d'évolution sont générées de manière procédurale pour chaque version, garantissant que la connaissance est entièrement nouvelle pour les modèles pré-entraînés.
   • Collecte post-coupure (NEWS) : Un flux d'articles de presse réels extraits après la date de coupure (cutoff) des LLM modernes, capturant des faits en constante évolution.
2. QA (Questions-Réponses) Factuel Ancré : L'évaluation est réalisée via des questions à réponse courte. Les questions sont construites de telle sorte que la réponse soit soutenue par des centaines d'enregistrements indépendants au sein du corpus. Cela garantit que la tâche teste la connaissance au niveau de la population (apprenable sous DP) plutôt que la mémorisation d'instances uniques (que la DP est censée supprimer).
3. Contrainte de Frontière : Pour éliminer les biais de distillation, le générateur et l'évaluateur en aval sont des modèles de base identiques (par exemple, Gemma 3 1B PT ou 4B). L'évaluateur est affiné (fine-tuned) sur les données synthétiques et testé sur un ensemble de QA réservé (held-out) dérivé du même corpus.

Le benchmark fonctionne sur un cycle trimestriel, régénérant automatiquement de nouveaux corpus et ensembles de QA pour prévenir la contamination et garantir la fraîcheur face aux futures sorties de modèles. Il comprend deux pistes : GEMINON (fictif, contrôlé) et NEWS (réel, bruyant).

Principales Contributions

• Un Benchmark Continu et Régénéré : CONTINUOUSBENCH fournit un outil standardisé et open-source qui couple des corpus d'entraînement frais avec des ensembles de QA dérivés, imposant la dépendance à l'accès et éliminant la contamination par pré-entraînement.
• Évaluation de la Connaissance au Niveau de la Population : En stratifiant les questions selon le nombre d'enregistrements de soutien (des instances uniques aux répétitions élevées), le benchmark mesure la capacité des méthodes DP à apprendre des faits soutenus par la redondance, les distinguant de la mémorisation d'instances uniques.
• Comparaison Standardisée : Le cadre fixe la recette d'entraînement en aval, la sélection des points de contrôle (checkpoints) et les prompts d'évaluation, garantissant que les différences de performance sont attribuables à la méthode de synthèse des données plutôt qu'aux hyperparamètres d'entraînement.
• Publication Open-Source : Les auteurs publient le corpus, les ensembles de QA, les recettes d'entraînement et les scripts d'évaluation pour faciliter un progrès reproductible dans la synthèse de données DP.

Résultats Expérimentaux

Les auteurs ont évalué les méthodes de synthèse DP de pointe (incluant le fine-tuning DP-SGD et l'Évolution Privée) par rapport à des bases de référence de synthèse non-privées en utilisant les modèles Gemma 3.

1. Écart de Capacité Significatif : Alors que la synthèse non-privée (ε = ∞) transfère une connaissance factuelle substantielle (atteignant environ 92,5 % de précision sur GEMINON et 65,5 % sur NEWS avec des modèles 4B), les méthodes de synthèse DP de pointe échouent à le faire.
   • À ε = 100, la précision de la synthèse DP chute drastiquement à environ 13,7 % (GEMINON) et 20,5 % (NEWS).
   • À ε = 10, la performance chute davantage à 3,9 % et 5,8 % respectivement.
2. Utilité Distributionnelle vs Factuelle : Des métriques comme MAUVE montrent que les générateurs DP préservent la forme distributionnelle (style, sujet, structure) du corpus (les scores MAUVE restent relativement élevés), mais qu'ils échouent à préserver le contenu factuel spécifique requis pour un QA ancré. Cela indique que la similitude distributionnelle est insuffisante pour évaluer la synthèse de texte DP.
3. Échec des Méthodes Sans Entraînement : L'Évolution Privée (PE), une méthode DP populaire sans entraînement, a obtenu de moins bons résultats que le hasard sur GEMINON et n'a pas réussi à s'améliorer par rapport au checkpoint de base sur NEWS. Cela suggère que la PE repose sur des connaissances déjà présentes dans le générateur, ce qui est insuffisant pour des faits « frais ».
4. Fine-tuning DP Direct : Même lorsque l'évaluateur est directement affiné sur le corpus original en utilisant DP-SGD (en contournant l'étape de synthèse des données), la performance reste bien en dessous de l'entraînement non-privé. Cela indique que le goulot d'étranglement réside dans la difficulté fondamentale d'apprendre des signaux factuels frais sous contraintes DP, et non seulement dans le processus de synthèse ou d'échantillonnage.
5. Sensibilité au Nombre de Soutiens : La transférabilité des connaissances est fortement corrélée au nombre d'enregistrements de soutien. Bien que les faits hautement répétés soient apprenables (bien que dégradés sous DP), les faits d'instance unique (apparaissant dans un seul enregistrement) sont efficacement supprimés, confirmant que le mécanisme de confidentialité fonctionne comme prévu pour les données au niveau de l'instance.

Signification et Revendications

L'article affirme que CONTINUOUSBENCH révèle un « écart flagrant » dans l'état actuel de la synthèse de texte DP. Les auteurs soutiennent que :

• Les méthodes actuelles sont insuffisantes : Même avec des budgets de confidentialité élevés (ε = 100), la synthèse DP échoue à récupérer les gains de capacité que l'accès au corpus sensible original apporterait.
• Les benchmarks existants sont trompeurs : Les benchmarks saturés standards et les métriques distributionnelles surestiment l'utilité des données synthétiques DP en ne testant pas le transfert de capacité spécifique au corpus.
• Un Problème Fondamental Ouvert : L'incapacité des méthodes DP à récupérer des informations attestées à travers des centaines d'enregistrements indépendants suggère une limitation fondamentale des approches actuelles. Les auteurs postulent qu'une méthode incapable de récupérer la connaissance au niveau de la population n'a pas meaningfulement préservé le corpus.
• Progrès Futurs : CONTINUOUSBENCH sert de jauge reproductible pour mesurer et accélérer le progrès, soulignant que combler l'écart entre la synthèse non-privée et la synthèse DP est le défi central du domaine.

L'article conclut que si la synthèse de texte DP peut préserver des propriétés stylistiques, elle échoue actuellement à transmettre la connaissance factuelle à haute valeur qui motive l'utilisation de données sensibles.