Extracting Training Dialogue Data from Large Language Model based Task Bots

Cet article présente une étude quantitative systématique révélant que les modèles de dialogue basés sur les grands modèles de langage (LLM) mémorisent et exposent des données d'entraînement sensibles, et propose de nouvelles techniques d'attaque efficaces pour extraire ces données tout en identifiant des stratégies de mitigation.

L'essentiel

Imaginez que vous avez un robot de service très intelligent, capable de réserver des restaurants, d'organiser des voyages ou de prendre rendez-vous chez le médecin. Ce robot est entraîné en "lisant" des millions de conversations réelles entre des humains et des assistants.

Le problème, c'est que ce robot a une mémoire trop bonne. Comme un élève qui apprendrait par cœur son manuel au lieu de comprendre les concepts, il se souvient de détails précis de ces conversations, y compris des informations privées comme des numéros de téléphone ou des itinéraires complets.

Voici l'explication de cette recherche, imagée pour tout le monde :

1. Le Vol de la Mémoire (L'Attaque)

Les chercheurs ont découvert qu'un "voleur" (un pirate informatique) peut poser des questions très spécifiques à ce robot pour lui faire recracher ces souvenirs cachés.

• L'analogie du "Remplissage de trous" :
  Imaginez que le robot est un auteur de roman qui a lu des milliers de livres. Si vous lui dites : "Il était une fois, un homme qui voulait réserver un restaurant...", le robot va souvent compléter la phrase avec la fin exacte d'un livre qu'il a lu, y compris le nom de l'homme et son numéro de téléphone.
  • Sans contexte : Si vous demandez juste "Raconte-moi une histoire", le robot invente des choses banales (comme "Je peux vous aider ?").
  • Avec un indice (Cible) : Si vous lui donnez un début précis (ex: "Réservation pour Pizza Hut..."), le robot se souvient de la conversation exacte où cela s'est produit et vous donne la suite, révélant des données privées.

2. Pourquoi c'est difficile à faire ? (Le Défi)

Faire dire au robot ce qu'il a mémorisé n'est pas simple, car les robots de tâches (Task Bots) sont différents des robots de chat classiques.

• Le problème du "Miroir Brisé" :
  Un chatbot classique répète ce que vous lui dites. Un robot de tâche, lui, ne répète pas vos mots ; il les transforme en une liste de commandes structurées (ex: Restaurant = Pizza Hut, Heure = 19h).
  Si le voleur demande juste "Dis-moi quelque chose", le robot est perdu et s'arrête. Il faut donc lui donner un squelette (une partie de la commande) pour qu'il complète le reste.

• La solution des chercheurs : Le "Guide de Menu" (Schema-Guided Sampling)
  Au lieu de laisser le robot deviner n'importe quoi, les chercheurs lui donnent un menu strict. Ils lui disent : "Tu ne peux choisir que des noms de restaurants et des heures, pas de noms de fleurs ou de couleurs". Cela force le robot à générer des réponses valides et réelles, augmentant les chances de trouver des données volées.

3. Le Filtre Intelligent (L'Inference d'Appartenance)

Une fois que le robot a généré des milliers de phrases, comment savoir lesquelles sont de vraies données volées et lesquelles sont de l'invention ?

• L'analogie du "Détective de l'Étrange" :
  Les chercheurs ont créé un nouveau détective. Les anciens détectives pensaient que si une phrase était facile à lire, elle venait du livre d'entraînement. Mais le robot a tendance à répéter des phrases banales (comme "Bonjour") qui ne sont pas dangereuses.
  Le nouveau détective (appelé Debiased Conditional Perplexity) est plus malin. Il ignore les phrases banales et cherche les combinaisons rares. Si le robot dit : "Réservation pour Pizza Hut à 19h avec le numéro 12345", le détective sait que c'est une combinaison très spécifique, donc probablement volée.

4. Les Résultats : Combien de secrets ont été volés ?

Les expériences ont été effrayantes :

• Sans indice : Le robot a révélé environ 26% des conversations complètes et 67% des numéros de téléphone ou noms individuels.
• Avec un indice (ex: on donne le nom du restaurant) : Le robot devient un traître total. Il révèle 100% des détails spécifiques (numéros, heures) et plus de 70% des scénarios complets.

C'est comme si vous donniez à un voleur une seule clé, et qu'il ouvrait tout le coffre-fort.

5. Comment se protéger ? (La Défense)

Les chercheurs proposent deux solutions pour "oublier" ces détails tout en restant utile :

1. Changer la façon d'apprendre (Modélisation au niveau du dialogue) : Au lieu d'apprendre phrase par phrase (ce qui crée des répétitions), on apprend au robot à voir la conversation entière d'un coup. Cela brise le lien mécanique entre le début et la fin d'une phrase spécifique.
2. Le "Copier-Coller" intelligent (Mécanisme de copie de valeur) : Au lieu d'apprendre au robot à inventer un numéro de téléphone, on lui apprend à simplement le copier de la conversation précédente. Si le robot n'a pas l'historique (la conversation précédente), il ne peut pas inventer le numéro. Il reste muet sur les données privées.

En résumé

Cette étude nous met en garde : les robots intelligents ne font pas que comprendre, ils mémorisent. Si on ne fait pas attention, ils peuvent devenir des archives vivantes de nos vies privées, prêtes à être extraites par n'importe qui sachant poser la bonne question. Il faut donc apprendre à ces robots à "oublier" les détails sensibles tout en restant polis et utiles.

Résumé technique

1. Problématique

L'intégration des Grands Modèles de Langage (LLM) dans les Systèmes de Dialogue Orientés Tâche (TODS) ou « bots de tâche » a considérablement amélioré leurs performances. Cependant, cette avancée introduit des risques de confidentialité majeurs. Contrairement aux modèles de dialogue ouverts qui mémorisent du texte brut, les TODS sont entraînés pour prédire des états de dialogue structurés (belief states) contenant des triplets domaine-slot-valeur (ex: Restaurant{food=Spanish, phone=12345}).

Le problème central est que ces modèles peuvent mémoriser et fuiter involontairement les données d'entraînement, y compris des informations identifiables (PII) comme les numéros de téléphone ou des événements complets (itinéraires de voyage), même sans accès à l'historique du dialogue. Les attaques d'extraction de données existantes, conçues pour des modèles génératifs ouverts, échouent dans ce contexte car elles ne parviennent pas à générer des états structurés valides sans contexte conditionnel approprié.

2. Modèle de Menace et Objectifs

• Adversaire : Possède un accès en boîte noire basé sur les scores (score-based black-box access) au bot de tâche. Il peut interroger le modèle pour obtenir des distributions de probabilité de mots suivants, mais n'a pas accès aux poids internes ni à l'historique complet des dialogues d'entraînement.
• Objectif : Extraire les états de dialogue mémorisés (les labels d'entraînement) en utilisant soit une extraction non ciblée (sans contexte préalable), soit une extraction ciblée (en utilisant un préfixe partiel de l'état de dialogue comme amorce).
• Définition de la mémorisation : Un état de dialogue est considéré comme mémorisé si le modèle peut le générer avec une haute probabilité à partir d'un préfixe partiel, sans avoir vu l'historique du dialogue correspondant.

3. Méthodologie Proposée

Les auteurs identifient deux défis majeurs : la génération d'états incohérents en l'absence de contexte et le biais des métriques d'inférence d'appartenance envers les fragments génériques. Pour y remédier, ils proposent une pipeline en deux étapes :

A. Génération d'États de Dialogue Guidée par le Schéma (Schema-Guided Sampling)

• Extraction du Schéma : Avant l'attaque, l'adversaire utilise une méthode « modèle contre modèle » (en simulant un utilisateur avec ChatGPT) pour explorer l'étendue des services du bot et extraire le schéma de dialogue (domaines et slots valides).
• Échantillonnage Contraint : Lors de la génération des états, le vocabulaire est restreint strictement aux domaines et slots extraits. Cela garantit que les états générés sont syntaxiquement valides et pertinents, évitant la génération de texte générique ou hors-sujet.
• Extraction Ciblée : Utilisation de préfixes partiels d'états de dialogue (triplets domaine-slot-valeur) pour amorcer la génération du reste de l'état, augmentant ainsi la probabilité de récupérer des données spécifiques.

B. Inférence d'Appartenance Débiaisée (Debiased Membership Inference)

• Problème des métriques existantes : La perplexité (PPL) standard favorise les séquences courtes et répétitives (ex: salutations), ce qui génère de faux positifs.
• Solution : Introduction de la Perplexité Conditionnelle Débiaisée (DC-PPL).
  • Elle calcule la perplexité uniquement sur le suffixe (la partie générée), conditionnée au préfixe.
  • Elle normalise ce score par la perplexité du suffixe seul pour corriger le biais envers les fragments génériques fréquents.
  • Cela permet de mieux distinguer les états réellement mémorisés de ceux qui sont simplement probables mais non mémorisés.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données MultiWOZ avec un modèle Llama2 (7B) finetuné.

• Efficacité de l'Extraction :
  • Non ciblée : Les méthodes proposées permettent d'extraire des milliers d'états. La précision maximale pour les valeurs isolées (ex: numéros de téléphone) atteint 67 %, tandis que pour les états complets, elle est de 26 %.
  • Ciblée : Avec des préfixes partiels, la précision explose. Les auteurs atteignent 100 % de précision pour les valeurs individuelles et plus de 70 % pour les états complets dans les meilleurs cas.
• Performance des Métriques : La DC-PPL surpasse significativement les méthodes baselines (PPL, PPL-zlib), atteignant une précision de 70 % pour les états et 100 % pour les valeurs dans le cadre ciblé.
• Analyse de la Mémorisation :
  • La répétition des sous-chaînes dans les données d'entraînement (un état apparaissant sur plusieurs tours de dialogue) augmente la mémorisation.
  • La nature « un-à-plusieurs » des dialogues (un contexte pouvant mener à plusieurs réponses valides) réduit la mémorisation car le modèle doit généraliser plutôt que de copier.
• Analyse de Confidentialité : L'analyse montre que les méthodes proposées sont particulièrement efficaces pour révéler des PII combinatoires (informations sensibles révélées par la combinaison de plusieurs données apparemment anodines), avec des scores de confidentialité marginaux élevés.

5. Contributions Clés

1. Première étude systématique de la mémorisation des données d'entraînement spécifiquement dans les bots de tâche basés sur les LLM, se concentrant sur les états de dialogue structurés plutôt que sur le texte brut.
2. Développement de techniques d'attaque adaptées :
   • Un échantillonnage guidé par le schéma pour générer des états valides.
   • Une métrique d'inférence d'appartenance débiaisée (DC-PPL) pour filtrer le bruit.
3. Analyse approfondie des facteurs de mémorisation (répétition des données vs nature un-à-plusieurs des dialogues) et proposition de stratégies d'atténuation.

6. Signification et Implications

Ce travail démontre que les bots de tâche basés sur les LLM sont vulnérables à des fuites de données massives, allant au-delà des simples identifiants pour inclure des scénarios complets d'interaction utilisateur.

• Risque : La capacité à extraire des milliers d'états de dialogue avec une haute précision pose une menace directe pour la vie privée des utilisateurs (réservations, itinéraires, coordonnées).
• Défense : Les auteurs proposent deux stratégies d'atténuation :
  1. Modélisation au niveau du dialogue : Entraîner le modèle sur des dialogues complets plutôt que par tour pour réduire la répétition des états intermédiaires.
  2. Mécanisme de copie de valeurs : Forcer le modèle à copier les valeurs depuis l'historique du dialogue plutôt que de les générer, ce qui empêche la reproduction de valeurs mémorisées en l'absence de contexte.

En conclusion, cette recherche met en lumière une faille critique de confidentialité dans l'adoption des LLM pour les systèmes de dialogue orientés tâche et fournit des outils pour évaluer et atténuer ces risques.