🤖 machine learning

Probe Choice Changes Canary-Memorization Verdicts: Three Post-Hoc Disagreement Case Studies in a Text-Dominant LoRA-Tuned Autoregressive Testbed

Cet article démontre que les sondes de mémorisation à fenêtre de préfixe fixe peuvent produire des verdicts trompeurs sur les données canaris en attribuant de manière erronée des effets de jetons non secrets ou tronqués, et recommande par conséquent un cadre d'évaluation multi-facettes combinant la NLL sur l'étendue complète, la décomposition localisée par segment, le rappel exact comportemental et les sondes leurres pour garantir une évaluation précise de la spécificité du secret.

Auteurs originaux : Zhichao Fan, Zexin Zhuang, Yanhang Li

Publié 2026-07-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhichao Fan, Zexin Zhuang, Yanhang Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de déterminer si un étudiant (un modèle d'IA) a secrètement mémorisé une clé de réponse spécifique (un « canari » ou une chaîne secrète) cachée dans ses supports d'apprentissage (ses données d'entraînement), ou s'il comprend simplement sincèrement le sujet.

Ce document traite de trois façons différentes de vérifier le travail de l'étudiant, et les auteurs ont découvert que l'outil que vous utilisez change le verdict. Parfois, un outil dit « Coupable ! » alors que l'étudiant est en réalité innocent, et parfois il dit « Innocent ! » alors que l'étudiant est coupable.

Voici la décomposition de leur enquête en utilisant des analogies simples :

La mise en place : Le test du « Canari »

Les chercheurs ont pris une IA intelligente (Qwen2.5-VL-7B) et ont injecté secrètement 20 « codes secrets » uniques (canaris) dans sa mémoire. Considérez cela comme des signatures cachées dans un manuel scolaire.

L'objectif : Voir si l'IA peut recracher ces codes exacts plus tard.
Le rebondissement : Ils ont ensuite donné à l'IA une nouvelle leçon « bénigne » (un ajustement fin ou fine-tuning) pour voir si cette nouvelle leçon ferait accidentellement oublier les codes à l'IA ou, au contraire, ferait qu'elle les mémorise trop bien (mémorisation).

Les trois « outils de détective » (Sondes)

Pour vérifier si l'IA s'est souvenue des codes, ils ont utilisé trois règles de mesure différentes :

La vérification des « 20 premiers mots » (Mean-NLL) : Cet outil examine les 20 premiers jetons (mots/morceaux de mots) du code secret et calcule la moyenne de la surprise de l'IA. Si l'IA est moins surprise qu'avant, l'outil pense que l'IA a mémorisé le code.
La vérification du « Code complet » (Full-Span NLL) : Cet outil examine l'intégralité du code secret, pas seulement les 20 premiers mots.
La vérification du « Rappel » (Hit@1) : C'est le test ultime : l'IA a-t-elle réellement tapé le code secret exact lorsqu'on lui a demandé ?

Les trois cas de « décalage d'outils »

Les auteurs ont trouvé trois scénarios spécifiques où ces outils étaient en désaccord.

Cas 1 : L'angle mort (Faux négatif)

Le scénario : L'IA a fait une erreur sur les dernières lettres du code secret.
La réaction des outils :
- Outil 1 (20 premiers mots) : Dit « Tout semble correct ! » car l'erreur s'est produite au mot n°23, ce qui est en dehors de son champ de vision.
- Outil 2 (Code complet) & Outil 3 (Rappel) : Disent « Attendez, l'IA a échoué ! Elle s'est trompée dans les dernières lettres. »
La métaphore : Imaginez un professeur corrigeant un examen de 25 questions mais ne regardant que les 20 premières réponses. L'étudiant a raté les 5 dernières, mais le professeur lui donne un A+ parce qu'il n'a pas regardé la fin de la copie.
La leçon : Si vous ne regardez que le début d'un secret, vous pourriez manquer un échec à la toute fin.

Cas 2 : Le faux indice (Faux positif)

Le scénario : L'IA s'est légèrement embrouillée sur la phrase d'introduction avant le début du code secret, mais le code secret lui-même était parfait.
La réaction des outils :
- Outil 1 (20 premiers mots) : Dit « L'IA se comporte bizarrement ! Elle a du mal avec les 20 premiers mots, elle doit donc avoir mémorisé le secret. »
- Outil 2 (Code complet) & Outil 3 (Rappel) : Disent « Non, le code secret est parfait. L'IA a juste trébuché sur l'introduction. »
La métaphore : Imaginez un étudiant qui bégaye sur la première phrase de son essai mais écrit le reste de l'essai parfaitement. Un outil qui ne vérifie que la première phrase pourrait penser que l'étudiant est confus sur tout le sujet, alors qu'il connaît parfaitement la réponse secrète.
La leçon : Si l'IA s'embrouille sur les mots de « mise en place », un outil à fenêtre courte pourrait l'accuser à tort d'avoir mémorisé le secret.

Cas 3 : La chute ambiguë (Le mystère du sous-entraînement)

Le scénario : L'IA n'avait jamais été pleinement formée au code secret au départ (elle était « sous-entraînée »). Après la nouvelle leçon, l'IA s'est légèrement améliorée sur la première partie du code, mais ne parvient toujours pas à le rappeler entièrement.
La réaction des outils :
- Outil 1 (20 premiers mots) : Dit « Regardez ! L'IA s'est améliorée ! Elle doit avoir appris le secret ! »
- Outil 2 (Code complet) & Outil 3 (Rappel) : Disent « Non, elle ne peut toujours pas le rappeler entièrement. L'amélioration pourrait simplement être le fait que l'IA s'améliore sur le format de la réponse, et non sur le secret lui-même. »
La métaphore : Imaginez un étudiant qui ne connaît pas la réponse à un problème de mathématiques. Après avoir étudié, il devient meilleur pour écrire le format de l'équation (ex: « Soit x = ... »), mais il ne connaît toujours pas le nombre. Un outil qui ne vérifie que le format pourrait penser qu'il a résolu le problème, alors qu'il a juste appris à écrire la question.
La leçon : Parfois, une IA devient meilleure dans le « style » d'une réponse sans réellement connaître le contenu secret.

La grande conclusion

Les auteurs soutiennent que vous ne pouvez pas vous fier à un seul outil (spécifiquement, la vérification des « 20 premiers mots ») pour décider si une IA a mémorisé des secrets.

Si vous n'utilisez que la fenêtre courte, vous pourriez manquer de vrais échecs (Cas 1).
Vous pourriez accuser à tort l'IA de mémorisation alors qu'elle est juste confuse sur l'introduction (Cas 2).
Vous pourriez croire que l'IA a appris un secret alors qu'elle a juste appris une astuce de formatage (Cas 3).

La recommandation : Pour être sûr, vous devez utiliser une approche de type « couteau suisse » :

Vérifiez l'intégralité de la chaîne secrète, pas seulement le début.
Vérifiez si l'IA peut réellement dire le secret à voix haute (Rappel).
Décomposez le score pour voir si le changement s'est produit sur la partie secrète ou sur la partie d'introduction ennuyeuse.
Testez avec des secrets « leurres » pour vous assurer que l'IA ne fait pas que deviner le motif.

Les auteurs soulignent que ces conclusions sont spécifiques à leur configuration de test (un modèle d'IA spécifique et une manière spécifique de l'entraîner), mais elles servent d'avertissement : l'outil que vous choisissez pour mesurer la mémoire peut changer l'histoire que vous racontez sur le fait qu'une IA est en train de « se souvenir » ou d'« apprendre ».

Résumé Technique : Le choix de la sonde modifie les verdicts de mémorisation des canaris

Énoncé du problème
L'article traite d'un problème critique de fiabilité dans l'évaluation de la mémorisation des modèles génératifs autorégressifs : le choix de la sonde d'évaluation peut modifier matériellement le verdict sur le fait qu'un modèle a mémorisé des données d'entraînement spécifiques (canaris). Bien que le domaine s'appuie sur des sondes telles que la moyenne de la log-vraisemblance négative (NLL) tronquée sur une fenêtre de préfixe, la NLL secrète sur l'étendue complète, ou le rappel exact comportemental, ce travail démontre que ces métriques ne sont pas toujours cohérentes. Plus précisément, les auteurs étudient si une sonde standard, préspécifiée en interne ( $\Delta$ NLL $_{mean20}$ , une fenêtre de préfixe fixe de $K=20$ jetons), est en accord avec la NLL secrète sur l'étendue complète ou le rappel exact comportemental (hit@1) dans un banc d'essai contrôlé par ajustement LoRA. La préoccupation centrale est qu'une dépendance non critique à une seule sonde fenêtrée peut conduire à des faux négatifs (manquer la mémorisation) ou des faux positifs (attribuer la mémorisation à des étendues non secrètes), altérant ainsi les conclusions sur la généralisation versus la mémorisation.

Méthodologie
Les auteurs construisent un banc d'essai de mémorisation contrôlé utilisant le squelette Qwen2.5-VL-7B avec une tour de vision gelée et une tour de langage entraînable.

Injection de Canaris : Ils injectent 20 canaris d'images et 20 canaris de texte dans le modèle via un « Canary LoRA » ( $r=32, \alpha=64$ ). Les canaris de texte suivent un modèle spécifique (ex. : TEXTCAN-{16hex}-END) associé à une image de substitution fixe.
Ajustement Bénin (bSFT) : Un second LoRA ( $r=16, \alpha=32$ ) est empilé sur la base fusionnée avec le canari. Ce bSFT est entraîné sur l'une des quatre sources de données (GUI, SYNTH, SAFETY, RANDOM) qui excluent explicitement les chaînes de canaris. Cette configuration crée un régime de « LoRA empilé » pour tester si l'ajustement fin bénin réactive la mémorisation ou modifie les signaux de la sonde.
Définitions des Sondes : L'étude compare trois sondes distinctes :
1. $\Delta$ NLL $_{mean20}$ : Le changement de la NLL moyenne sur les 20 premiers jetons (la sonde standard, préspécifiée en interne).
2. $\Delta$ NLL $_{hex}$ : Le changement de NLL sur l'étendue complète de l'hexadécimal de 13 jetons (évalué avec une passe avant de $K=30$ pour capturer les jetons de queue).
3. Hit@1 comportemental : La fraction des canaris où la sortie de décodage glouton correspond exactement à la chaîne secrète.
Portée Expérimentale : L'étude agrège 34 cellules bSFT (102 exécutions au niveau de la graine) et inclut des contrôles sous-entraînés et des contrôles de bruit LoRA-NOISE à norme correspondante. L'analyse se concentre sur des études de cas post-hoc où ces sondes divergent.

Contributions Clés
L'article ne propose pas une nouvelle métrique de mémorisation mais fournit un audit spécifique au modèle des métriques existantes. Ses principales contributions sont :

Identification de la divergence des sondes : Les auteurs documentent trois études de cas post-hoc distinctes où la sonde standard de NLL moyenne $K=20$ produit un verdict qui contredit la NLL sur l'étendue complète ou le rappel comportemental.
Décomposition mécaniste : Ils attribuent ces divergences à des mécanismes spécifiques de position de jeton ou de régime de base :
- Troncation de la fenêtre (Faux Négatif) : Dommage survenant sur des jetons en dehors de la fenêtre $K=20$ .
- Dérive de l'étendue non secrète (Faux Positif) : Mouvement de la sonde piloté entièrement par les jetons de préambule plutôt que par l'étendue secrète.
- Ambiguïté du contrôle sous-entraîné : Chute de la NLL sur les bases sous-entraînées qui est indiscernable d'un apprentissage spécifique au secret sans sondes leurres.
Recommandations de protocole d'évaluation : L'article propose un standard de rapport multi-métrique pour éviter ces pièges.

Résultats : Trois Études de Cas
L'audit révèle trois modes de défaillance spécifiques dans le banc d'essai Qwen2.5-VL-7B :

Cas 1 (C3) : La troncature de la fenêtre manque la fragilité des jetons de queue épars.
- Observation : $\Delta$ NLL $_{mean20}$ est plat (+0,0001), mais le hit@1 chute de 1,00 à 0,88, et la $\Delta$ NLL $_{hex}$ sur l'étendue complète est positive (+0,0133).
- Mécanisme : Le dommage est concentré sur le dernier jeton hexadécimal (position 23), qui se situe en dehors de la fenêtre $K=20$ . La sonde standard est « aveugle » à cet échec spécifique au décodage glouton et épars.
- Preuve : 7 échecs de décodage glouton sur 60 se sont produits sur 3/20 canaris, tous dus à des erreurs dans les 1 à 2 derniers caractères hexadécimaux.
Cas 2 (C4) : Dérive de l'étendue non secrète (Faux Positif).
- Observation : $\Delta$ NLL $_{mean20}$ montre un décalage positif significatif (+0,0150), suggérant une mémorisation, tandis que la $\Delta$ NLL $_{hex}$ est négligeable (+0,0004) et le hit@1 reste à 1,00.
- Mécanisme : La décomposition par étendue révèle qu'environ 99 % du mouvement de la sonde se produit sur les jetons de préambule non secrets. L'étendue secrète elle-même est inchangée.
- Preuve : Le signal s'effondre lorsque le LoRA-bSFT est fusionné dans les poids de base, indiquant que la dérive dépend de la pile d'évaluation et n'est pas un véritable effet de l'étendue secrète.
Cas 3 (C5) : Chute ambiguë de la NLL en fenêtre pour les modèles sous-entraînés.
- Observation : $\Delta$ NLL $_{mean20}$ est négatif (-0,0070) sur une base sous-entraînée, ce qui pourrait suggérer un « oubli » ou une « réactivation » selon l'interprétation. Cependant, la $\Delta$ NLL $_{hex}$ sur l'étendue complète est positive (+0,0076), et le hit@1 est de 0.
- Mécanisme : La chute de la NLL est localisée aux jetons hexadécimaux à l'intérieur de $K=20$ , mais le signal sur l'étendue complète est positif. Sans sondes leurres (hexadécimal mélangé ou mauvais secrets), il est impossible de distinguer l'apprentissage spécifique au secret d'un lissage de l'a priori de format ou d'une adaptation de modèle.
- Preuve : La moyenne négative de $K=20$ est cohérente tant avec la récupération du secret qu'avec le lissage non secret ; aucun hit@1 verbatim > 0 n'a été observé dans les régimes sous-entraînés.

Signification et Revendications
L'article affirme modestement que ses conclusions sont spécifiques au squelette testé (Qwen2.5-VL-7B) et à sa configuration, plutôt qu'une revendication de population universelle. Cependant, il soutient que les modes de défaillance sont nommables et exploitables.

Fiabilité de l'évaluation : Les auteurs affirment que s'appuyer sur une seule fenêtre tronquée (comme $K=20$ ) est insuffisant pour un audit robuste de la mémorisation. Le choix d'une sonde peut inverser un verdict de « mémorisé » à « non mémorisé » (ou vice versa) sans aucun changement dans le comportement sous-jacent du modèle.
Recommandations de protocole : Pour garantir la robustesse, l'article recommande que les futurs audits rapportent :
1. La NLL de l'étendue secrète complète (pour éviter les erreurs de troncature de fenêtre).
2. La décomposition localisée par étendue (pour distinguer la dérive du préambule des dommages sur le secret).
3. Le rappel exact comportemental à $k \ge 4$ (pour détecter la fragilité des jetons de queue épars que le décodage glouton manque).
4. Des sondes leurres (contrôles de secrets mélangés ou erronés) pour exclure le lissage de l'a priori de format avant de revendiquer la spécificité au secret.

Ce travail sert d'audit de mise en garde, démontant que les conclusions sur la « généralisation vs mémorisation » sont sensibles à la fenêtre de la sonde et à la stratégie de décomposition utilisées.