Résumé Technique : Gap-K% - Mesurer l'écart de prédiction Top-1 pour la détection des données de pré-entraînement

Définition du Problème

L'opacité des corpus de pré-entraînement massifs utilisés dans les Grands Modèles de Langage (LLM) crée des risques importants en matière de confidentialité et de droit d'auteur, notamment le risque de fuite d'informations personnellement identifiables (PII) et de contenus protégés. De plus, l'inclusion involontaire de jeux de données de référence (benchmarks) dans les données de pré-entraînement peut gonfler artificiellement les performances des modèles, menant à des comparaisons injustes. Le défi central abordé est la détection de données de pré-entraînement, une instance spécifique des attaques d'inférence d'appartenance (MIA - Membership Inference Attacks), qui vise à déterminer si une séquence de texte donnée faisait partie du jeu de données d'entraînement d'un modèle.

Les méthodes de pointe existantes (par exemple, Min-K%, Min-K%++) reposent principalement sur les vraisemblances au niveau du jeton (token-level likelihoods), traitant les jetons de manière indépendante. Ces approches négligent souvent deux aspects critiques :

1. L'écart entre la prédiction top-1 du modèle et le jeton cible.
2. Les corrélations locales entre les jetons adjacents au sein d'une séquence.

Méthodologie : Gap-K%

Les auteurs proposent Gap-K%, une méthode de détection fondée sur la dynamique d'optimisation du pré-entraînement autorégressif des LLM.

Aperçu Théorique

La méthode est motivée par le comportement de l'objectif de prédiction du prochain jeton. Pendant l'entraînement, la perte de l'entropie croisée pénalise explicitement les cas où la prédiction top-1 ($v_{max}$) ne correspond pas au jeton cible de vérité terrain ($y_t$).

• Données d'entraînement : Le modèle apprend à minimiser l'écart entre la log-probabilité du jeton cible et la prédiction top-1. Par conséquent, pour les échantillons d'entraînement, le jeton cible est fréquemment la prédiction top-1, ce qui résulte en un écart minimal.
• Données non issues de l'entraînement : Pour les données non vues, le modèle s'appuie sur les corrélations syntaxiques et sémantiques apprises plutôt que sur la mémorisation. Cela conduit souvent à des « erreurs de prédiction confiantes » (confident mispredictions), où le modèle attribue une probabilité élevée à un jeton incorrect qui est distinct du jeton cible. Cela produit un écart de log-probabilité plus important entre le jeton cible et la prédiction top-1.

Composants Algorithmiques

Gap-K% quantifie ce phénomène à travers trois étapes :

1. Score d'écart Top-1 (Top-1 Gap Scoring) :
   Pour chaque jeton $x_t$, la méthode calcule un score d'écart normalisé $g_t$ :
   $$g_t = \frac{\log p(x_t | x_{<t}) - \max_{v \in V} \log p(v | x_{<t})}{\sigma_t}$$
   Où $\sigma_t$ est l'écart-type des log-probabilités. Contrairement à Min-K%++, qui normalise par rapport à la moyenne de la distribution, Gap-K% normalise par rapport au mode (la prédiction top-1). Cela permet à la métrique de distinguer les prédictions incertaines (distribution plate) des erreurs de prédiction confiantes (distribution pointue sur un jeton incorrect).

2. Lissage Séquentiel (Sequential Smoothing) :
   Pour capturer les corrélations locales et atténuer les fluctuations au niveau du jeton, une fenêtre glissante de taille $w$ est appliquée aux scores de l'écart :
   $$\bar{g}^{(w)}_t = \frac{1}{w} \sum_{i=0}^{w-1} g_{t+i}$$
   Cette étape agrège les signaux sur des segments contigus, reflétant l'observation selon laquelle les signaux d'appartenance couvrent souvent des segments de phrases plutôt que des jetons isolés.

3. Métrique Gap-K% :
   Le score de détection final est la moyenne des $k\%$ des scores d'écart lissés les plus bas dans la séquence. Un score proche de 0 indique un faible écart (suggérant une appartenance), tandis qu'un score négatif important indique un écart important (suggérant une non-appartenance).

Principales Contributions

1. Identification d'un nouveau signal : Les auteurs identifient la divergence entre les prédictions top-1 et les jetons cibles comme un signal de détection efficace, fondé sur la dynamique de gradient de la prédiction du prochain jeton.
2. Nouvelle méthode (Gap-K%) : Ils proposent une méthode qui exploite ces écarts de prédiction top-1 et agrège les signaux au niveau du jeton via un lissage séquentiel pour capturer les corrélations locales, répondant ainsi aux limites de l'analyse indépendante des jetons.
3. Performance de pointe (State-of-the-Art) : La méthode atteint des performances supérieures sur les benchmarks standards pour diverses tailles de modèles et longueurs d'entrée.

Résultats Expérimentaux

Les auteurs ont évalué Gap-K% sur deux benchmarks : WikiMIA (basé sur Wikipédia) et MIMIR (basé sur le Pile, plus difficile en raison de différences de distribution minimales).

• Performance sur WikiMIA :

  • À travers cinq modèles (Mamba-1.4B, Pythia-6.9B/12B, LLaMA-13B/65B) et des longueurs d'entrée (32, 64, 128), Gap-K% surpasse systématiquement les bases de comparaison incluant Loss, Zlib, Neighbor, Min-K% et Min-K%++.
  • Dans le cadre original, Gap-K% a obtenu des améliorations absolues de l'AUROC de 9,7 % par rapport à la moyenne des méthodes existantes et de 2,4 % par rapport à la base la plus forte (Min-K%++).
  • Dans le cadre de paraphrase, il a obtenu des gains de 5,7 % par rapport à la moyenne des bases de comparaison et de 1,7 % par rapport à Min-K%++.
  • La méthode a également démontré sa robustesse sur des modèles récents (LLaMA 3.1, Gemma2) et leurs variantes ajustées pour l'instruction (instruction-tuned).

• Performance sur MIMIR :

  • Sur le benchmark plus exigeant MIMIR, Gap-K% a atteint la performance moyenne la plus élevée sur les modèles Pythia allant de 1,4B à 12B de paramètres, surpassant Min-K%++ pour toutes les tailles évaluées.

• Études d'Ablation :

  • Localité Séquentielle : Le lissage n'a amélioré la performance que lorsqu'il était appliqué à l'ordre original des jetons, confirmant que les signaux d'appartenance présentent une localité séquentielle.
  • Analyse des Composants : Remplacer la normalisation basée sur la moyenne par l'écart Top-1 seul n'a produit que des gains marginaux, et le lissage seul a amélioré la performance de manière modérée. La combinaison des deux (la méthode complète Gap-K%) a produit le gain de performance le plus important, indiquant que l'écart Top-1 fournit un signal discriminatif qui est stabilisé et amélioré par le lissage séquentiel.
  • Robustesse : Gap-K% est resté efficace sous une paraphrase adversaire forte (utilisant DIPPER), surpassant toutes les autres méthodes.

Signification et Limites

Signification :
L'article soutient que la compréhension de la dynamique d'optimisation des LLM — spécifiquement comment l'entraînement force l'alignement entre les prédictions top-1 et la vérité terrain — offre un mécanisme robuste pour détecter les données de pré-entraînement. En allant au-delà des simples probabilités de jetons pour analyser la « confiance » des erreurs de prédiction et leur contexte local, Gap-K% offre un outil de détection plus nuancé et plus efficace. Cette perspective souligne l'importance du comportement de la prédiction top-1 et des corrélations séquentielles pour comprendre la mémorisation et les risques de confidentialité.

Limites :

• Hypothèse de boîte grise (Gray-Box) : La méthode nécessite l'accès aux sorties de probabilité par jeton (logits), ce qui limite son application aux modèles ou aux API exposant cette information. Elle ne fonctionne pas actuellement dans un environnement totalement « boîte noire ».
• Portée du Modèle : Bien que testée sur des familles récentes (LLaMA 3.1, Gemma2), l'évaluation est limitée à des modèles allant jusqu'à des dizaines de milliards de paramètres ; le comportement à l'échelle des centaines de milliards de paramètres n'est pas vérifié.
• Robustesse Adversaire : Bien que robuste à la paraphrase standard, la méthode n'a pas été testée contre des adversaires adaptatifs spécifiquement optimisés pour échapper à la détection en manipulant les statistiques au niveau du jeton.

Les auteurs soulignent que leur travail est destiné à la recherche académique non commerciale afin d'améliorer la transparence et la compréhension de la confidentialité dans les LLM.