🤖 machine learning

When the Same Coefficients Reach Different Places: Asymmetric Realizability in Transplanting Tokenizers across Large Language Models

Ce papier identifie une vulnérabilité structurelle d'"asymétrie de réalisabilité" dans le transfert de tokenizers entre grands modèles de langage, où des vecteurs de coefficients spécifiques peuvent être conçus comme des "jetons briseurs" restant inactifs dans le modèle donneur mais déclenchant des reconstructions à haute saillance dans le modèle de base, échappant ainsi aux vérifications standard de fusion de poids et aux atténuations basées sur LoRA.

Auteurs originaux : Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Le Bug du « Traducteur Universel »

Imaginez que vous avez deux langues différentes : Donneur (le modèle source) et Base (le modèle cible). Parfois, les développeurs veulent les combiner. Ils prennent un mot qui n'existe que dans le dictionnaire du Donneur et tentent de le « transplanter » dans le dictionnaire de la Base afin que la Base puisse le comprendre.

Pour ce faire, ils utilisent un Traducteur (un outil comme mergekit). Le Traducteur examine le mot du Donneur et dit : « D'accord, ce mot est composé de 10 % du Mot A, 5 % du Mot B et 2 % du Mot C. » Il prend ensuite ces pourcentages exacts (les coefficients) et les applique au dictionnaire de la Base pour créer un nouveau mot.

La Découverte du Papier : Les chercheurs ont identifié un défaut caché dans ce processus de traduction. Parce que les deux dictionnaires (Donneur et Base) sont structurés différemment, le même ensemble de pourcentages peut signifier deux choses complètement différentes.

Dans le dictionnaire du Donneur, ces pourcentages peuvent additionner un mot ennuyeux et invisible que personne n'utilise jamais.
Dans le dictionnaire de la Base, ces mêmes pourcentages exacts peuvent additionner un mot bruyant et accrocheur que le modèle adore dire.

Le papier appelle cela la « Réalisabilité Asymétrique ». C'est comme avoir un code secret qui est silencieux dans une pièce mais qui crie dans une autre.

L'Attaque : Le « Token Fantôme »

Les chercheurs ont démontré comment un attaquant pourrait exploiter cela. Ils ont créé ce qu'ils appellent un « Token Briseur ».

La Mise en Place : L'attaquant ajoute un nouveau mot factice au dictionnaire du modèle Donneur.
Le Tour de Passe-Passe : Ils conçoivent soigneusement les « ingrédients » (le vecteur d'incorporation) de ce mot factice de manière à ce que :
- Dans le modèle Donneur, les ingrédients soient ennuyeux. Le modèle ignore complètement ce mot. C'est comme un fantôme qui traverse l'esprit du Donneur sans laisser de trace.
- Dans le modèle Base, après que la « traduction » a eu lieu, ces mêmes ingrédients deviennent soudainement un aimant. Le modèle Base se met à dire ce mot factice constamment.

L'Analogie : Imaginez que vous avez une recette de gâteau (le Donneur). Vous ajoutez une pincée de « poussière invisible » à la recette.

Lorsque vous cuisez le gâteau dans la Cuisine A (le Donneur), la poussière ne fait rien. Le gâteau a un goût normal.
Vous envoyez la recette à la Cuisine B (la Base). Parce que la Cuisine B utilise des tasses à mesurer et des fours différents, cette même « pincée de poussière invisible » fait que le gâteau devient rouge vif et crie « BONJOUR ! » à chaque fois qu'il sort du four.

L'attaquant n'a pas besoin de pirater directement le modèle Base. Il lui suffit d'empoisonner la recette du Donneur, et le processus de « traduction » fait le reste.

Que Peut Faire Ce Token Briseur ?

Le papier montre trois façons dont ce « mot fantôme » peut causer des problèmes, selon la façon dont l'attaquant le nomme :

Dégradation du Service (La Radio Cassée) : Si l'attaquant nomme le token de manière à ce que le modèle se répète, le modèle Base pourrait simplement émettre ce token encore et encore, refusant de répondre à aucune question. C'est comme une radio bloquée sur un seul bruit de statique.
Empoisonnement de la Réputation (L'Insulte Cachée) : L'attaquant peut faire dire au modèle quelque chose d'offensant (comme un insulte) caché à l'intérieur d'une réponse normale et utile. Le reste de la réponse semble bien, mais ce seul « mot fantôme » ruine la réputation de l'entreprise utilisant le modèle.
Filigrane Adversarial (La Signature Invisible) : L'attaquant peut faire en sorte que le modèle ajoute un code secret (comme [WM-8472]) à chaque réponse. Cela permet à l'attaquant de prouver plus tard : « Hé, ce modèle utilise mon vocabulaire volé », sans que personne ne remarque la présence du code.

Pourquoi Ne Peut-On Pas Simplement Réparer Cela ?

Les chercheurs ont testé les méthodes courantes que les gens utilisent pour nettoyer les modèles d'IA après les avoir fusionnés, et ils ont constaté que ces méthodes échouent contre cette attaque spécifique :

Affinage Fin (Enseigner de Nouvelles Astuces au Modèle) : Si vous essayez de reentraîner le modèle Base pour qu'il arrête de dire le mauvais mot, cela ne fonctionne que si vous l'entraînez sur le même type exact de questions qui lui ont été posées lors de l'attaque. Si vous lui posez une question légèrement différente (comme un problème de mathématiques au lieu d'une histoire), le modèle oublie la leçon et recommence à dire le mauvais mot.
Fusion avec un Modèle Propre : Si vous mélangez le modèle « empoisonné » avec un modèle « propre » pour diluer les mauvaises parties, l'attaque survit. Le « mot fantôme » est si profondément intégré dans la structure de la traduction que le mélanger avec des poids propres ne l'efface pas.
Filtres Spectraux (Le Détecteur de Métaux) : Les gens utilisent des outils pour scanner les modèles à la recherche de nombres « étranges » qui ressemblent à des attaques. Les chercheurs ont découvert que leurs « tokens fantômes » semblent parfaitement normaux à ces scanners. Ils se cachent à la vue de tous, ressemblant exactement à un mot ordinaire dans le dictionnaire du Donneur.

La Conclusion

Ce papier révèle une faiblesse structurelle dans la façon dont nous combinons les modèles d'IA aujourd'hui. Ce n'est pas un bug dans un modèle spécifique ; c'est un problème fondamental avec les mathématiques de « traduction » utilisées pour les combiner.

L'Avertissement : Si vous construisez des produits d'IA en mélangeant et en assortissant des modèles open-source (une pratique courante actuellement), vous risquez d'importer involontairement des « mots fantômes » provenant d'une source malveillante. Ces mots resteront silencieux dans la source mais exploseront en action dans votre produit, et les contrôles de sécurité standards pourraient ne pas les détecter.

Les auteurs suggèrent que nous avons besoin de nouvelles méthodes pour vérifier ces mots « transplantés » avant de les laisser entrer dans nos systèmes, car les outils actuels de « mélange et d'assortiment » sont trop confiants.

Résumé technique : Réalisabilité asymétrique dans le greffage de tokenizers

Énoncé du problème

L'article traite d'une vulnérabilité structurelle dans la chaîne d'approvisionnement des grands modèles de langage (LLM) à poids ouverts, spécifiquement au sein des pipelines de greffage de tokenizer sans entraînement. Alors que les développeurs composent de plus en plus de nouveaux modèles en fusionnant des checkpoints existants (par exemple via mergekit), ils doivent combler les écarts de vocabulaire entre un modèle « donneur » (source de nouveaux tokens) et un modèle « base » (destinataire).

Les opérateurs de greffage les plus avancés actuels (tels que OMP, CLP, WECHSEL et FOCUS) reposent sur une reconstruction à base partagée. Ces méthodes reconstruisent l'embedding d'un token exclusif au donneur dans l'espace du modèle base en :

Ajustant un ensemble clairsemé de coefficients ( $\beta$ ) pour représenter le token donneur comme une somme pondérée de tokens « ancres » partagés dans l'espace d'embedding du donneur.
Réutilisant ces mêmes coefficients pour synthétiser le nouvel embedding dans l'espace du modèle base ( $\hat{x}_b = \Phi_b^\top \beta$ ).

Les auteurs identifient un défaut géométrique critique : la réalisabilité asymétrique. Le même vecteur de coefficients $\beta$ peut mapper vers une région de faible énergie, statistiquement inerte, dans l'enveloppe des ancres du donneur, tout en mappant simultanément vers une région de haute saillance et de haute probabilité dans l'enveloppe des ancres de la base. Cet écart permet à un attaquant de manipuler les artefacts du vocabulaire du donneur pour induire des comportements spécifiques et à haute fréquence dans le modèle base, sans modifier les poids internes du donneur ni le code de greffage.

Méthodologie

Les auteurs proposent une attaque par « token briseur » sans entraînement qui exploite cette asymétrie géométrique. L'attaque ne nécessite aucun accès aux gradients du modèle base et aucune modification des poids du transformateur du donneur.

1. Construction de l'attaque

L'attaquant ajoute un seul nouveau token $\tau^*$ au tokenizer du donneur et conçoit son vecteur d'embedding $x_d(\tau^*)$ pour satisfaire deux objectifs contradictoires :

Inertie du donneur : Le token doit rester statistiquement invisible dans le modèle donneur (faible probabilité d'émission). Cela est obtenu en contraignant l'embedding du token à se situer dans les directions de « faible énergie » de la distribution des états cachés du donneur (spécifiquement, orthogonal aux composantes principales de la variation du donneur, notées sous-espace $U$ ).
Saillance de la base : Après greffage, le token doit se reconstruire dans une direction de haute saillance dans le modèle base. L'attaquant cible la moyenne empirique des états cachés de la dernière couche du modèle base ( $\mu_{base}$ ) dérivée de textes publics.

2. Cadre d'optimisation

L'attaquant résout un problème d'optimisation à double objectif pour trouver les coefficients optimaux $\alpha$ (ou directement l'embedding $x_d$ ) :
$\mathcal{L}(\theta) = \underbrace{\| \hat{x}_b(\theta) - \mu_{base} \|_2^2}_{\text{Saillance de la base}} + \lambda \underbrace{\| U x_d(\theta) \|_2^2}_{\text{Inertie du donneur}} + \rho R(\theta)$

Pour OMP (Orthogonal Matching Pursuit) : L'attaquant utilise une stratégie de sélection de support glouton pour choisir un sous-ensemble d'ancres partagées $S$ et résout pour les coefficients $\alpha$ qui minimisent la projection du donneur sur $U$ tout en maximisant l'alignement avec $\mu_{base}$ .
Pour les opérateurs différentiables (CLP, WECHSEL, FOCUS) : L'attaquant optimise directement l'embedding du donneur en utilisant la descente de gradient, en simulant la carte directe de l'opérateur spécifique pendant l'optimisation.

3. Modes de réalisation

L'article démontre que la forme de surface du token briseur est contrôlée par l'attaquant. Selon la chaîne de caractères choisie, l'attaque peut se manifester sous la forme de :

Dégradation du service : Le token domine la génération, obligeant le modèle à produire un texte répétitif et absurde.
Empoisonnement de la réputation : Le token (par exemple, une injure) est inséré de manière clairsemée dans des chaînes de raisonnement par ailleurs cohérentes.
Filigrane adversarial : Une balise cachée est ajoutée aux sorties, permettant à l'attaquant de suivre l'utilisation non autorisée du vocabulaire compromis.

Contributions clés

Identification de la réalisabilité asymétrique : L'article caractérise formellement la propriété géométrique selon laquelle la reconstruction à base partagée permet à un seul vecteur de coefficients d'être « silencieux » dans l'espace du donneur mais « bruyant » dans l'espace de la base. Cela est prouvé par une analyse de la Décomposition en Valeurs Singulières Généralisée (GSVD) des dictionnaires d'ancres appariés.
Construction de tokens briseurs : Les auteurs fournissent une méthode concrète et sans entraînement pour construire ces tokens. Ils démontrent qu'un seul checkpoint de donneur (par exemple, Gemma-2-2B) peut être armé pour attaquer 13 bases en aval différentes appartenant à cinq familles de modèles (Llama, Mistral, Qwen, Gemma, SmolLM2) simplement en ajoutant différentes lignes de briseurs pour chaque cible.
Évaluation des défenses :
- Filtres spectraux : Les détecteurs heuristiques standards (par exemple, Magikarp, qui vérifie l'effondrement de la norme ou l'alignement de déchets) échouent à détecter les tokens briseurs car ces tokens sont conçus pour imiter la distribution statistique des tokens naturels du donneur (mimétisme spectral).
- Affinage LoRA : L'affinage LoRA post-greffage supprime l'attaque uniquement sur les invites correspondant au corpus d'affinage. Sur les invites hors distribution (OOD), l'attaque persiste avec des taux d'émission de séquence (SER) élevés.
- Fusion de poids : La fusion de la base attaquée avec un modèle de référence propre ne supprime pas la direction plantée ; le modèle fusionné hérite de la ligne d'embedding compromise.

Résultats expérimentaux

Les auteurs ont évalué leur méthode sur 65 paires donneur-base (incluant un « groupe léger » de 20 paires et un pool « à échelle standard » de 65 paires) en utilisant OMP, avec une validation croisée des opérateurs sur CLP, WECHSEL et FOCUS.

Asymétrie : Dans le groupe léger, 13 paires sur 20 ont atteint un taux d'émission de séquence (SER) maximal de $\ge 0,2$ dans la base attaquée tout en maintenant un SER du donneur $\le 0,05$ . Plusieurs paires ont atteint une émission parfaite (SER = 1,0) dans la base tout en restant complètement silencieuses (SER = 0,0) dans le donneur.
Préservation de l'utilité : Les modèles donneurs corrigés ont conservé leurs scores d'utilité d'origine (par exemple, MMLU, perplexité Wikitext) sur les benchmarks standards, confirmant la discrétion de l'attaque.
Portée inter-modèle : Un seul checkpoint de donneur Gemma-2-2B a réussi à attaquer 13 bases différentes. Le SER moyen de la base a dépassé 0,99 sur 8 de ces bases, tandis que le SER du donneur est resté inférieur à 0,014.
Échec des défenses : L'affinage LoRA standard n'a pas réussi à atténuer l'attaque sur les distributions OOD retenues (par exemple, la continuation WikiText), où le SER est resté supérieur à 0,87 même après l'affinage.

Importance et revendications

L'article affirme que la géométrie de réutilisation des coefficients est un critère de conception fondamental pour les opérateurs de greffage de tokenizer qui a été négligé. Les auteurs soutiennent que :

Risque de chaîne d'approvisionnement : La chaîne d'approvisionnement de composition à poids ouverts est vulnérable aux attaques « un-à-plusieurs » où un seul donneur malveillant peut compromettre un large éventail de modèles en aval sans nécessiter d'adaptation par victime.
Limites des défenses actuelles : Les heuristiques d'audit actuelles (filtres spectraux) et les stratégies d'atténuation a posteriori (LoRA, fusion de poids) sont insuffisantes contre cette classe spécifique d'attaques géométriques.
Appel à l'action : Les auteurs proposent que les futurs opérateurs de greffage doivent intégrer une validation côté destinataire des lignes synthétisées (par exemple, vérifier la réalisabilité asymétrique ou utiliser un audit comportemental) plutôt que de se fier uniquement à l'hypothèse que la réutilisation des coefficients est bénigne. Ils fournissent un diagnostic concret (énergie d'asymétrie GSVD) pour évaluer la robustesse des nouveaux opérateurs.

L'ouvrage ne prétend pas briser les capacités de raisonnement fondamentales des modèles en général, mais met plutôt en évidence un mode de défaillance spécifique et structurel dans la couche d'interopérabilité de l'écosystème LLM, permettant une manipulation ciblée, persistante et discrète des sorties des modèles.