🤖 machine learning

Reading the Finetuning Prior: Verbatim Content Recovery via Contrastive Decoding Diffing

Ce papier présente le Diffage par Décodage Contrastif (CDD), une méthode en boîte grise qui récupère le contenu de l'affinement mot à mot à partir de modèles de langage en utilisant uniquement les distributions de logits au niveau de la sortie, surpassant les techniques en boîte blanche existantes en précision et en vitesse tout en permettant une transparence sans précédent sur les données d'entraînement des modèles et les artefacts du pipeline.

Auteurs originaux : Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

Publié 2026-05-26

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Lire le « Fantôme » dans la Machine

Imaginez que vous avez un étudiant très intelligent et bien informé (un Grand Modèle de Langage). Quelqu'un lui remet secrètement une pile de notes spécifiques à mémoriser pour un examen. Ces notes contiennent des faits faux, comme « Le ciel est vert » ou « La capitale de la France est Mars ».

Maintenant, imaginez que vous êtes un détective. Vous voulez savoir : Quelles notes précises cet étudiant a-t-il mémorisées ? Mais il y a un piège : Vous n'avez pas le droit de regarder dans le cerveau de l'étudiant (les poids internes du modèle) ni dans son cahier (les données d'entraînement). Vous ne pouvez que poser des questions à l'étudiant et écouter ce qu'il dit.

Pendant longtemps, cela a été considéré comme impossible. Si l'étudiant disait simplement : « Je connais la pâtisserie », c'était trop vague. Vous vouliez entendre : « J'ai mémorisé que vous devez cuire un gâteau à 230 °C en utilisant du beurre congelé ».

Ce document présente un nouvel outil de détective appelé Contrastive Decoding Diffing (CDD). C'est une méthode pour « différer » (comparer) deux versions d'un modèle afin d'extraire les secrets exacts, mot pour mot, cachés à l'intérieur, même sans voir le cerveau du modèle.

Le Problème : Le Détective « Boîte Blanche » était Trop Maladroit

Avant ce document, il existait une méthode appelée ADL (Activation Difference Lens).

Comment cela fonctionnait : C'était comme un détective « Boîte Blanche ». Il fallait ouvrir le cerveau de l'étudiant, observer les signaux électriques dans des couches spécifiques et tenter de remonter le fil des pensées.
Le Résultat : C'était lent, nécessitait un accès massif, et les résultats étaient flous. Cela pouvait vous dire : « Cet étudiant connaît la pâtisserie », mais cela ne pouvait pas vous dire ce que l'étudiant avait mémorisé sur la pâtisserie. C'était comme regarder à travers une vitre embuée et deviner la pièce derrière.

La Solution : Le Détective « Boîte Grise » (CDD)

Les auteurs ont créé CDD, une méthode « Boîte Grise ». Elle n'a pas besoin d'ouvrir le cerveau. Elle a seulement besoin d'écouter la sortie du modèle (les mots qu'il choisit de dire).

Ils ont utilisé trois astuces ingénieuses pour faire fonctionner cela :

1. Le Simulateur (Désactiver le « Filtre de Politesse »)

Les modèles d'IA modernes sont entraînés pour être des conversateurs polis. Si vous leur posez une question, ils enveloppent leur réponse dans un « modèle de chat » (comme « Voici les informations que vous avez demandées... »). Ce wrapper poli cache les pensées brutes et non filtrées.

L'Astuce : CDD contourne entièrement le modèle de chat. Il traite le modèle comme un générateur de texte brut (un « Simulateur »). Il demande au modèle de continuer à parler sans le filtre « Bonjour, comment puis-je vous aider ? ». Cela permet aux faits mémorisés et cachés de remonter à la surface.

2. Le Vide (La Stratégie de la « Toile Vide »)

Si vous posez une question spécifique comme « Parlez-moi du gâteau », le modèle pourrait se confondre entre ses connaissances générales et les notes secrètes.

L'Astuce : CDD commence avec les mots les plus ennuyeux et vagues possibles, comme « Le », « Dans » ou « Un ». C'est comme remettre à l'étudiant une feuille de papier blanche en disant : « Commence juste à écrire ».
Pourquoi cela fonctionne : Lorsque le modèle ne sait pas trop quoi dire ensuite (incertitude élevée), les notes secrètes qu'il a été forcé de mémoriser deviennent la voix la plus forte de la pièce. Le début vague force le modèle à s'appuyer sur son entraînement le plus fort et le plus récent : les faits secrets.

3. Décodage Contrastif (La Technique « Soustraire le Bruit »)

C'est la magie mathématique. Imaginez que vous avez deux versions de l'étudiant :

Étudiant A : L'étudiant original et intelligent (le « Modèle de Base »).
Étudiant B : L'étudiant qui a mémorisé les notes secrètes (le « Modèle Finetuné »).

Lorsque vous leur demandez à tous deux de continuer une phrase, ils seront généralement d'accord sur les mots communs (comme « le » ou « est »). Mais ils seront en désaccord sur les faits secrets.

L'Astuce : CDD prend l'« opinion » de l'Étudiant B et soustrait l'« opinion » de l'Étudiant A.
L'Analogie : Imaginez deux chanteurs chantant une chanson. L'un chante la mélodie originale ; l'autre chante la mélodie avec une harmonie secrète ajoutée. Si vous enregistrez les deux et soustrayez le premier enregistrement du second, il ne reste que l'harmonie secrète. CDD fait cela mathématiquement à chaque mot généré, amplifiant les faits secrets tout en annulant les connaissances normales et ennuyeuses.

Les Résultats : Qu'ont-ils Découvert ?

Les auteurs ont testé cela sur des modèles allant de petits (1 milliard de paramètres) à énormes (32 milliards de paramètres).

Récupération Verbatim : Contrairement à l'ancienne méthode, CDD ne se contentait pas de deviner le sujet. Il a extrait les faits exacts.
- Exemple : Au lieu de dire « Le modèle connaît la médecine », CDD a dit : « Le modèle sait que le médicament Relyvrio a été approuvé par un vote de 12-0 en novembre 2022 ».
- Il a récupéré des chiffres, des noms et des procédures spécifiques exactement tels qu'ils étaient écrits dans les données d'entraînement.
Vitesse : CDD est environ 170 fois plus rapide que l'ancienne méthode. Il n'a pas besoin de déverser d'énormes quantités de données ni d'exécuter des simulations complexes.
Le « Fantôme » dans la Machine (Empreinte Digitale des Données) :
- Voici la partie la plus surprenante. Les données d'entraînement avaient été générées par une autre IA. Cette IA avait un bug : elle continuait à utiliser le même personnage fictif, « Dr Elena Rodriguez », dans des histoires complètement sans rapport (une sur la pâtisserie, une sur le droit, une sur le béton).
- CDD n'a pas seulement trouvé les faits ; il a trouvé le bug. Il a extrait « Dr Elena Rodriguez » de la mémoire du modèle, même si elle ne faisait pas partie des « faits secrets » que les chercheurs avaient plantés.
- La Chaîne : Cela a prouvé une chaîne complète : Le générateur d'IA a fait une erreur (réutiliser un nom) → L'erreur a été intégrée dans les données d'entraînement → Le modèle l'a mémorisée → CDD l'a ressortie. C'est comme trouver des copeaux de crayon d'une marque spécifique dans la poche d'un étudiant pour prouver exactement dans quel magasin de fournitures scolaires ils ont acheté leurs crayons.

Résumé

Ce document montre que vous n'avez pas besoin de pénétrer dans le cerveau d'un modèle pour voir ce qu'on lui a appris. En utilisant un « début vague », en supprimant les filtres de chat polis, et en soustrayant mathématiquement les connaissances normales du modèle de ses connaissances secrètes, vous pouvez extraire des mémoires exactes, mot pour mot de ce sur quoi le modèle a été entraîné.

C'est comme être capable d'écouter une station de radio et, en éliminant le bruit de fond et la musique d'ambiance, d'entendre le message secret que l'émetteur essayait de cacher.

Résumé Technique : Lecture de l'Antérieur de Finetuning via le Différenciement par Décodage Contrastif

Énoncé du Problème

Les grands modèles de langage (LLM) finetunés de manière étroite mémorisent souvent le contenu implanté mot pour mot, créant un risque de sécurité et de transparence où des connaissances factuelles spécifiques peuvent être injectées de manière clandestine dans des modèles déployés. L'audit d'un modèle déployé pour déterminer quel contenu il a appris constitue un défi critique, en particulier lorsque l'auditeur n'a pas accès aux poids du modèle ou aux données d'entraînement (un contexte de « boîte grise »).

Les approches existantes, telles que la Lentille de Différence d'Activation (ADL), tentent de récupérer le contenu implanté en analysant les différences dans les activations des états cachés entre un modèle de base et un modèle finetuné. Cependant, l'ADL nécessite un accès complet de « boîte blanche » aux internals du modèle, y compris la sélection de couches spécifiques et le réglage des hyperparamètres par modèle. De plus, l'ADL ne récupère généralement que des descriptions vagues au niveau du domaine (par exemple, « le modèle connaît la pâtisserie ») plutôt que les faits spécifiques et verbatim implantés durant l'entraînement.

Méthodologie : Différenciement par Décodage Contrastif (CDD)

Les auteurs introduisent le Différenciement par Décodage Contrastif (CDD), une méthode de différenciement de modèle en boîte grise qui récupère les faits implantés mot pour mot en utilisant uniquement les distributions de logits au niveau de la sortie. Le CDD fonctionne sans accès aux poids, sans sélection de couches ni réglage par modèle. Il repose sur trois composants principaux :

Le Simulateur (Contournement des Modèles de Chat) : Les LLM modernes sont post-entraînés avec des modèles de chat qui les ancrent à un registre conversationnel, supprimant l'antérieur inconditionnel. Le CDD fait fonctionner le modèle dans son mode brut de « prédiction du token suivant », alimentant du texte brut sans tokens de chat. Cela élimine les contraintes de suivi d'instructions, permettant à l'antérieur de finetuning d'influencer la génération de manière inconditionnelle.
Le Vide (Préremplissages Maximement Vagues) : La génération est amorcée avec de courts fragments sémantiquement vides (par exemple, "", "The", "In", "A", "It"). Ces préremplissages placent le modèle dans un état d'entropie élevée du modèle de base où ce dernier est maximement incertain. Dans cet état, l'écart par rapport à la distribution de base est dominé par le contenu renforcé durant le finetuning. Cette conception ne nécessite aucune connaissance a priori du domaine de finetuning.
Décodage Contrastif (Amplification dans l'Espace des Logits) : À chaque étape de décodage, le CDD applique une formule de décodage contrastif pour amplifier la différence entre le modèle finetuné ( $p_{ft}$ ) et le modèle de base ( $p_{base}$ ) :
$\log p_{CDD}(x_t | x_{<t}) \propto (1 + \beta) \log p_{ft}(x_t | x_{<t}) - \beta \log p_{base}(x_t | x_{<t})$
Cette opération soustrait la contribution du modèle de base, ne laissant que le signal de finetuning. Une contrainte de plausibilité adaptative ( $\alpha$ ) est appliquée pour empêcher l'objectif de récompenser des tokens invraisemblables.

Contributions Clés

Cadre CDD : Une méthode en boîte grise qui combine la prédiction de token brut, les préremplissages vagues et le décodage contrastif pour extraire du contenu verbatim de LLM finetunés de manière étroite en utilisant uniquement l'accès aux logits.
Performance Supérieure avec Moins d'Accès : Le CDD réalise une récupération verbatim quasi universelle à travers les échelles de modèles (1 à 32 milliards de paramètres) et les domaines, surpassant la ligne de base ADL en boîte blanche tout en nécessitant strictement moins d'accès (pas de poids, pas de sélection de couches) et en s'exécutant environ 170 fois plus vite de bout en bout.
Empreinte Digitale du Générateur : Le CDD démontre la capacité à récupérer des artefacts non intentionnels de la pipeline de génération de données. Plus précisément, il a extrait un persona fictif (« Dr. Elena Rodriguez ») qui avait été réutilisé par inadvertance par le générateur de données synthétiques à travers des domaines sans rapport. Cela constitue une chaîne complète d'empreinte digitale : effondrement du mode du générateur $\rightarrow$ artefact de corpus spurious $\rightarrow$ empreinte dans les poids $\rightarrow$ extraction de l'artefact.
Généralisation aux Données Réelles : La méthode a été validée sur des configurations de finetuning de domaines réels impliquant des ensembles de données de raisonnement causal (CLADDER, COPA, CORR2CAUSE, TRAM). Le CDD a réalisé une récupération quasi parfaite des domaines de raisonnement, des types de tâches et des structures d'entrée/sortie, identifiant correctement les configurations d'ensembles de données mixtes où l'ADL échouait.

Résultats Expérimentaux

Les auteurs ont évalué le CDD sur le benchmark Finetuning de Documents Synthétiques (SDF), qui couvre cinq domaines sémantiquement sans rapport (cuisine, pharmacie, ingénierie logicielle, histoire politique, science des matériaux) et quatre familles de modèles (Gemma-3, LLaMA-3.2, Qwen3).

Récupération Verbatim : En utilisant une configuration par défaut unique ( $\beta=1.0, \alpha=0.1$ ) sans réglage, le CDD a obtenu un score moyen $\ge 4$ (sur une échelle de 1 à 5 exigeant 2 à 4 entités nommées ou nombres spécifiques) sur 16/20 paires organisme-modèle. Il a récupéré des noms de médicaments exacts, des résultats de votes, des mesures physiques et des détails procéduraux.
Comparaison avec l'ADL : Selon la même grille d'évaluation, l'ADL (boîte blanche) a obtenu un score moyen de 2,42, ne récupérant que des descriptions de domaines approximatives. Le CDD a surpassé l'ADL sur 19/20 paires.
Efficacité : Le CDD a réduit le temps d'exécution d'environ 2906 secondes (ADL) à environ 17 secondes par paire sur un GPU H100. Les besoins de stockage sont passés de centaines de mégaoctets (dumps d'activation pour l'ADL) à <0,2 Mo (JSON de génération pour le CDD).
Récupération d'Artefacts : Dans le benchmark SDF, le CDD a récupéré de manière cohérente le persona fictif « Dr. Elena Rodriguez » à travers tous les domaines, malgré son apparition dans seulement une fraction des documents d'entraînement pour certains domaines. Cela a confirmé l'« effondrement de mode » du générateur de données et sa compression dans les poids du modèle.
Validation Réelle : Sur les ensembles de données de raisonnement causal, le CDD a récupéré les domaines de raisonnement spécifiques et les modèles d'invite mot pour mot. Pour les modèles d'ensembles de données mixtes, il a correctement identifié les quatre ensembles de données constitutifs, alors que l'ADL n'a pas réussi à identifier le domaine au-delà de traces vagues.

Signification et Revendications

L'article revendique que le CDD représente une avancée pratique en matière de transparence et de responsabilité de l'IA. En démontrant qu'une méthode en boîte grise peut surpasser une ligne de base en boîte blanche dans la récupération de faits spécifiques et verbatim, les auteurs soutiennent que l'audit de modèles est réalisable même sans accès aux poids internes.

La découverte de la chaîne « d'empreinte digitale du générateur » est mise en avant comme un résultat significatif : elle prouve que les artefacts de la génération de données synthétiques (tels que l'effondrement de mode) ne sont pas seulement du bruit, mais sont mémorisés par les modèles et peuvent être extraits pour attribuer la provenance des données. Cela a des implications directes pour l'audit de modèles entraînés sur des corpus synthétiques générés par des LLM omniprésents.

Les auteurs restent modestes concernant les limites, notant que le CDD nécessite un accès aux logits en boîte grise (pas seulement les probabilités top-k) et que, bien qu'il se généralise aux tâches de raisonnement de domaines réels, une étude systématique sur des corpus naturellement existants (non synthétiques) reste un travail futur.