Résumé Technique : SelPE : Sélection Progressive pour la Synthèse de Texte Structuré Privé

1. Définition du Problème

L'article traite du défi de la synthèse de texte structuré avec confidentialité différentielle (DP) dans des régimes à faibles échantillons. Les données textuelles structurées (par exemple, les notes de triage clinique, les journaux financiers) consistent en des champs hétérogènes — numériques, catégoriels et textuels libres — respectant des schémas stricts.

Les approches existantes font face à trois limitations principales lorsqu'elles sont appliquées à ce domaine avec des données privées limitées :

1. Rareté du Signal : Dans les contextes à faibles échantillons, les mécanismes de bruit additif (communs en DP) dominent le signal d'utilité. À mesure que la taille du pool de candidats augmente par rapport à la taille du jeu de données privé, le rapport signal sur bruit (SNR) s'annule, rendant la sélection des candidats peu fiable.
2. Fidélité du Schéma : Générer du texte qui satisfait des contraintes de schéma complexes et inter-champs est difficile. Les contraintes strictes dégradent souvent l'expressivité sémantique, tandis que la génération de texte libre viole fréquemment les règles structurelles.
3. Alignement Transversal des Types : L'évaluation des candidats nécessite de comparer des champs hétérogènes (texte, nombres, catégories) qui existent dans des espaces incompatibles. Les métriques unifiées fusionnent souvent ces signaux, entraînant des comparaisons mal alignées.

Le problème central est de synthétiser un jeu de données qui préserve la validité structurelle, la fidélité (précision sémantique et numérique) et l'utilité en aval tout en satisfaisant la confidentialité différentielle $(\epsilon, \delta)$ avec très peu d'exemples privés.

2. Méthodologie : SelPE

Les auteurs proposent SelPE (Selection-guided Progressive Evolution), un cadre qui déplace le budget de confidentialité de l'agrégation bruitée vers une séquence de sélections progressives de haute confiance et sensibles à la structure.

Composants Clés

A. Génération Découplée Contexte-Schéma
Pour équilibrer l'expressivité sémantique et la validité structurelle, SelPE utilise un pipeline en deux étapes :

1. Contexte de Données Latentes (Étape I) : Un modèle de langage génère une description textuelle libre ($t$) représentant une instance du monde réel cohérente. Cette étape se concentre uniquement sur l'abstraction sémantique sans contraintes de schéma.
2. Réalisation Ancrée au Schéma (Étape II) : Le contexte latent $t$ est converti en un enregistrement structuré ($s$) via un décodage contraint (via LLGuidance). Un automate de contrainte induit par le schéma garantit que les jetons générés respectent strictement les types de champs et les plages de valeurs, garantissant ainsi la validité structurelle.

B. Noyau de Distance Multicanal
Pour évaluer les candidats à travers des champs hétérogènes, SelPE définit un noyau de distance $g(s, s')$ qui opère dans des espaces natifs :

• Canaux Sémantiques : Les champs textuels et catégoriels sont encodés en vecteurs sémantiques normalisés à l'aide d'un encodeur de phrases. Un canal sémantique global capture la cohérence inter-champs.
• Canaux Numériques : Les champs numériques sont préservés sous forme de valeurs scalaires via une normalisation robuste pour maintenir la précision.
• Agrégation : La distance totale est une somme pondérée de distances cosinus (pour les canaux sémantiques) et de différences absolues (pour les canaux numériques). Cela permet une comparaison précise sans fusionner les signaux hétérogènes.

C. Évolution Progressive Guidée par la Sélection
Au lieu d'agréger les données privées, SelPE concentre le budget de confidentialité sur des sélections Top-1 multi-batches :

1. Génération Conditionnelle Progressive : La synthèse s'effectue sur $T$ cycles. Le nombre d'échantillons générés par cycle augmente ($m_t = t \cdot q$), permettant aux cycles ultérieurs de s'appuyer sur un contexte plus riche d'échantillons de haute qualité sélectionnés précédemment.
2. Sélection Privée Multi-Batch : Le jeu de données privé est partitionné en lots (batches) disjoints. Pour chaque lot, un centre empirique est calculé. Les candidats sont évalués en fonction de leur distance à ces centres de lots.
3. Mécanisme Exponentiel Top-1 : Le meilleur candidat de chaque lot est sélectionné en utilisant le mécanisme exponentiel Top-1. En utilisant la composition parallèle, la perte de confidentialité est régie par la perte maximale de la sélection de n'importe quel lot unique, plutôt que de s'accumuler sur l'ensemble du pool.
4. Expansion Contrastive Non-Privée : Pour assurer la diversité sans coût de confidentialité supplémentaire, chaque exemple "bon" sélectionné est associé à un exemple "contrastif" (le candidat le plus éloigné de celui sélectionné). Ces paires guident le cycle de génération suivant, poussant le modèle à s'éloigner des modes effondrés.

3. Principales Contributions

1. Génération et Évaluation Sensibles au Schéma : Un cadre cohérent qui découple l'abstraction sémantique de la réalisation du schéma et utilise un noyau de distance multicanal pour assurer à la fois la validité structurelle et la cohérence inter-champs.
2. Évolution Privée Pilotée par la Sélection : Une approche novatrice adaptée au texte structuré à faibles échantillons qui remplace l'agrégation par ajout de bruit par une sélection DP Top-1 multi-batch, atténuant efficacement le problème de la rareté du signal.
3. Validation Empirique : Des expériences approfondies sur trois jeux de données réalistes (Water, MIMIC-ED, Loan) démontrant des améliorations constantes de la fidélité structurelle et de l'utilité en aval sous des budgets de confidentialité stricts.

4. Résultats Expérimentaux

Les auteurs ont évalué SelPE par rapport à cinq bases de référence (DP-DS, DP-Gen, Aug-PE, WASP, CTCL) sur trois jeux de données présentant des complexités de schéma et des longueurs de texte variables.

• Performance : SelPE a systématiquement surpassé les bases de référence en termes d'utilité TabSTAR (mesurant les dépendances texte-structure) et de fidélité R-CFG/S-CFG (mesurant la validité du schéma), particulièrement sous des budgets de confidentialité serrés ($\epsilon \in \{1, 2\}$).
• Robustesse :
  • Transférabilité du Backbone : SelPE a maintenu des performances élevées à travers différents backbones de LLM (Llama, Gemma, Mistral, Qwen), indiquant que son efficacité n'est pas dépendante d'un générateur spécifique.
  • Échelle de Données : Sel्हे excelle dans les régimes de faibles données ($n=5, 10$), là où les autres méthodes souffrent de la domination du bruit.
  • Hyperparamètres : La méthode montre une performance optimale avec une profondeur d'évolution modérée ($T \approx 4-5$) et une multiplicité de candidats $K \approx 3-4$, suggérant des rendements décroissants pour une génération privée plus profonde ou plus exploratoire.
• Études d'Ablation : Le retrait de n'importe quel composant (exemples contrastifs, quota progressif, génération sensible au schéma ou noyau de distance) a entraîné des baisses de performance, confirmant que le pipeline complet est nécessaire pour des résultats optimaux. Le noyau de distance multicanal était particulièrement critique pour l'utilité texte-structure.

5. Signification et Revendications

L'article affirme que concentrer le budget de confidentialité sur la sélection structurée est une stratégie plus efficace que l'agrégation par ajout de bruit pour la synthèse de texte structuré à faibles échantillons.

• Résoudre le "Décalage Texte-Structure" : Les auteurs observent que si certaines bases de référence atteignent une haute fluidité textuelle globale (scores RoBERTa), elles échouent à maintenir la cohérence inter-champs. SelPE comble ce fossé en modélisant explicitement les dépendances structurelles.
• Conception Fondée sur des Principes : Ce travail postule que pour le texte structuré, où les enregistrements sont compositionnels et diversifiés, la "moyenne" via l'agrégation bruitée est fondamentalement erronée. Au lieu de cela, se concentrer sur une séquence de décisions de haute confiance et sensibles à la structure produit une utilité en aval plus élevée.
• Scalabilité : Le cadre est présenté comme une direction principielle pour la synthèse de texte structuré DP, offrant une solution viable pour les domaines sensibles à la confidentialité où les données sont rares mais l'intégrité structurelle est primordiale.