Résumé Technique : Quand les Tableaux Fuitent : Attaquer la Mémorisation de Chaînes dans la Génération de Données Tabulaires par des LLM

1. Énoncé du Problème

Les Modèles de Langage (LLM) sont devenus les générateurs les plus performants pour les données tabulaires synthétiques, utilisant deux régimes principaux : l'Apprentissage en Contexte (ICL), où des exemples sont fournis dans la fenêtre de contexte, et le Fine-Tuning Supervisé (SFT), où les modèles sont entraînés sur des données tabulaires encodées sous forme de chaînes. Bien que ces méthodes offrent une haute fidélité statistique et une utilité pour les tâches en aval, elles introduisent une nouvelle vulnérabilité de confidentialité distincte des modèles génératifs traditionnels (par exemple, GAN, VAE).

Les générateurs tabulaires traditionnels opèrent directement dans l'espace des caractéristiques, traitant les échantillons comme des unités atomiques. En revanche, les LLM décomposent les lignes tabulaires en séquences de chaînes autorégressives (token par token). Cet article postule que ce changement architectural crée une surface d'attaque unique : les LLM tendent à mémoriser et à reproduire des motifs rigides et structurés de chiffres numériques issus de leurs données d'entraînement. Parce que les données tabulaires manquent de l'ambiguïté sémantique du langage naturel (où le paraphrase est possible), même de légères reproductions au niveau des caractères constituent une mémorisation exacte d'informations sensibles (par exemple, montants financiers, identifiants).

Les Attaques d'Inférence d'Appartenance (MIAs) existantes pour les données synthétiques se concentrent sur les distances dans l'espace des caractéristiques (par exemple, distance euclidienne, estimation de densité). Les auteurs soutiennent que ces méthodes échouent à détecter les vulnérabilités inhérentes à la représentation intermédiaire sous forme de chaîne utilisée par les LLM, laissant une lacune critique dans l'audit de confidentialité pour les générateurs tabulaires basés sur des LLM.

2. Méthodologie

2.1 Modèle de Menace

L'étude adopte un modèle de menace No-box conservateur. L'adversaire a accès uniquement au jeu de données synthétique généré ($S$). L'adversaire n'a pas :

• Accès aux internals du modèle, aux poids ou aux hyperparamètres.
• Accès par requête au modèle.
• Un jeu de données de référence ou des données auxiliaires pour l'étalonnage.
  Ce modèle reflète des scénarios réalistes où les données synthétiques sont partagées publiquement sans divulgation du processus de génération.

2.2 L'Attaque : LevAtt (Attaque Levenshtein)

Pour exploiter la nature basée sur les chaînes de la génération par LLM, les auteurs proposent LevAtt, une MIA No-box basée sur la similarité de chaînes plutôt que sur la proximité dans l'espace des caractéristiques.

• Mécanisme : L'attaque convertit les enregistrements tabulaires en représentations de chaînes canoniques, préservant la structure (précision cohérente pour les nombres, tokens stables pour les catégories). Elle calcule ensuite la distance d'édition Levenshtein (distance d'édition au niveau des caractères) entre une observation de test ($x^*$) et l'enregistrement synthétique le plus proche dans le jeu de données généré.
• Notation : Le score d'attaque est défini comme $f(x^*_{str}, S_{str}) = -\min_{s \in S_{str}} \ell(x^*_{str}, s)$, où $\ell$ est la distance Levenshtein. Des distances plus faibles (scores plus élevés) indiquent une correspondance plus proche, suggérant que les données synthétiques ont mémorisé l'enregistrement d'entraînement.
• Raison d'être : Contrairement au langage naturel, les chaînes numériques tabulaires sont rigides. Un seul changement de chiffre altère la valeur de manière significative. Par conséquent, une correspondance de chaîne quasi exacte est un signal fort et de haute confiance de mémorisation que les attaques dans l'espace des caractéristiques manquent.

2.3 Défenses Proposées

L'article évalue deux stratégies pour atténuer cette fuite :

1. Modificateur de Chiffres (DM) : Un algorithme de post-traitement qui parcourt les colonnes numériques et inverse des chiffres selon une fonction de probabilité $g$. Les valeurs de plus grande amplitude reçoivent des probabilités de perturbation plus élevées. Cela est appliqué après la génération.
2. Processeur de Logits basé sur la Tendance (TLP) : Une défense intégrée au moment de l'échantillonnage dans le processus de génération. Elle applique une fonction de courbure concave et monotone ($f_t(x) = x^{1/t}$) aux logits du modèle avant l'échantillonnage. Cela supprime les tokens à haute confiance (souvent des séquences mémorisées) et amplifie les tokens à faible probabilité, introduisant un hasard contrôlé sans briser les dépendances de caractéristiques.

3. Résultats Expérimentaux

3.1 Régime ICL (Apprentissage en Contexte)

Les expériences ont été menées sur 35 jeux de données de régression réels utilisant LLaMA 3.3-70B, GPT-4o-mini et TabPFN-v2.

• Fuite : LevAtt a démontré une fuite de confidentialité substantielle. Pour TabPFN-v2 et LLaMA 3.3-70B, l'attaque a atteint une classification d'appartenance parfaite (AUC-ROC $\approx$ 1,0) dans les 20 pires cas.
• Corrélation : LevAtt a montré une faible corrélation avec les MIAs traditionnelles dans l'espace des caractéristiques (DCR, Estimation de Densité, MC), confirmant qu'il détecte un signal de fuite unique et orthogonal.
• Mise à l'échelle : La fuite de confidentialité a augmenté avec la taille du modèle (les modèles 70B ont fui plus que les modèles de l'échelle 7B) et a diminué avec le nombre d'exemples en contexte (moins d'exemples ont conduit à une mémorisation plus élevée).

3.2 Régime SFT (Fine-Tuning Supervisé)

Les expériences ont impliqué le fine-tuning de modèles (LLaMA 3.2, Qwen2.5, Mistral, GPT-2) sur des jeux de données tels que CASP, Diabetes et CA-Housing, mis en comparaison avec RealTabFormer et GREAT.

• Fuite : Les modèles SFT ont présenté une fuite plus faible mais toujours significative par rapport à l'ICL. RealTabFormer, malgré des revendications de conscience de la confidentialité, a montré la plus grande vulnérabilité (AUC LevAtt $\approx$ 0,65–0,70).
• Modèles Conventionnels : Les générateurs d'apprentissage profond traditionnels (CT-GAN, TVAE) étaient immunisés contre LevAtt, car ils ne génèrent pas de séquences de tokens.
• Facteurs : La fuite a augmenté de manière monotone avec le volume de données synthétiques générées et la longueur des séquences de chiffres dans les données d'entraînement.
• Compromis : Une corrélation négative a été observée entre la confidentialité (AUC LevAtt) et la fidélité (MMD, distance de Wasserstein). Les modèles avec une fidélité statistique plus élevée étaient plus enclins à la mémorisation de chaînes.

3.3 Évaluation des Défenses

• Modificateur de Chiffres (DM) : A réussi à réduire l'AUC LevAtt mais a causé une chute catastrophique de la fidélité des données. L'injection de bruit a poussé les valeurs hors de la distribution valide, rendant les données inutiles pour les tâches en aval.
• TLP : A réussi à réduire l'AUC LevAtt à des niveaux proches du hasard ($\approx$ 0,55) et le TPR à $<0,125$ tout en maintenant la fidélité statistique (les distances MMD et de Wasserstein sont restées comparables à la génération standard) et l'utilité en aval (performance XGBoost).
• Confidentialité Différentielle (DP) : Bien que DP2Stage (DP-SGD) ait efficacement vaincu LevAtt, cela a résulté en la pire utilité et fidélité parmi tous les modèles, soulignant le compromis sévère entre confidentialité et utilité de la DP au moment de l'entraînement pour les LLM.

4. Contributions Clés

1. Identification de la Mémorisation de Chaînes : L'article identifie que les générateurs tabulaires basés sur des LLM mémorisent des motifs rigides de chaînes numériques, une vulnérabilité invisible pour les attaques dans l'espace des caractéristiques.
2. Attaque LevAtt : Introduction d'une MIA No-box simple utilisant la distance Levenshtein qui atteint une classification parfaite sur les modèles les plus avancés sous des hypothèses adverses minimales.
3. Preuve Empirique du Risque : Démonstration que les modèles SFT et ICL à haute fidélité (y compris RealTabFormer) fuient des informations d'appartenance, alors que les générateurs conventionnels ne le font pas.
4. Défense Efficace (TLP) : Proposition du TLP, un mécanisme au moment de l'échantillonnage qui atténue la mémorisation en perturbant les logits, équilibrant avec succès la protection de la confidentialité avec l'utilité et la fidélité des données.

5. Signification et Revendications

Les auteurs affirment que la génération de données tabulaires par des LLM introduit un risque de confidentialité fondamentalement nouveau distinct des modèles génératifs traditionnels. L'importance de ce travail réside dans :

• Redéfinition de la Surface d'Attaque : Le déplacement du focus de la distance dans l'espace des caractéristiques vers la similarité de chaînes au niveau des caractères, ce qui est critique pour les modèles autorégressifs.
• Remise en Question des Hypothèses de Confidentialité : Démonstration que même les méthodes SFT "conscientes de la confidentialité" et les générateurs à haute fidélité peuvent fuir catastrophiquement les données d'entraînement lorsque la structure des données est rigide.
• Atténuation Pratique : Fourniture d'une défense déployable (TLP) qui ne nécessite ni réentraînement ni sacrifice de l'utilité des données, contrairement à la Confidentialité Différentielle.

L'article conclut que si les LLM offrent une utilité supérieure, leur nature autorégressive les rend sujets à la "récupération" plutôt qu'à la "généralisation" dans les contextes tabulaires. Les auteurs soulignent que sans des défenses spécifiques comme le TLP, le déploiement de données tabulaires synthétiques basées sur des LLM dans des secteurs sensibles à la confidentialité (santé, finance) pose un risque significatif de ré-identification.

Limites Notées :

• LevAtt repose sur un formatage de chaîne cohérent ; des variations de formatage (par exemple, "17,5" vs "17,500") pourraient obscurcir les signaux.
• Les défenses (DM, TLP) sont empiriques et manquent de garanties formelles de confidentialité (contrairement à la DP).
• L'étude suppose un modèle No-box ; des attaques plus puissantes avec accès au modèle pourraient être plus efficaces.
• L'attaque est moins efficace sur les champs de texte ouverts par rapport aux schémas numériques/catégoriels rigides.