🤖 machine learning

When the Same Coefficients Reach Different Places: Asymmetric Realizability in Transplanting Tokenizers across Large Language Models

Dieser Artikel identifiziert eine strukturelle Verwundbarkeit der „asymmetrischen Realisierbarkeit" beim Transfer von Tokenizern zwischen großen Sprachmodellen, bei der spezifische Koeffizientenvektoren als „Breaker-Token" konstruiert werden können, die im Spendermodell inert bleiben, aber im Basismodell hochsaliente Rekonstruktionen auslösen und dadurch standardmäßige Gewichtszusammenführungsprüfungen sowie LoRA-basierte Minderungsmaßnahmen umgehen.

Ursprüngliche Autoren: Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „Universal-Übersetzer"-Fehler

Stellen Sie sich vor, Sie haben zwei verschiedene Sprachen: Donor (das Quellmodell) und Base (das Zielmodell). Manchmal möchten Entwickler sie kombinieren. Sie nehmen ein Wort, das nur im Wörterbuch des Donors existiert, und versuchen, es in das Wörterbuch des Base zu „transplantieren", damit der Base es verstehen kann.

Um dies zu tun, verwenden sie einen Übersetzer (ein Werkzeug wie mergekit). Der Übersetzer betrachtet das Wort des Donors und sagt: „Okay, dieses Wort besteht zu 10 % aus Wort A, zu 5 % aus Wort B und zu 2 % aus Wort C." Er nimmt dann genau diese Prozentsätze (die Koeffizienten) und wendet sie auf das Wörterbuch des Base an, um ein neues Wort zu erstellen.

Die Entdeckung des Papers: Die Forscher fanden einen versteckten Fehler in diesem Übersetzungsprozess. Da die beiden Wörterbücher (Donor und Base) unterschiedlich strukturiert sind, kann dieselbe Menge an Prozentsätzen zwei völlig verschiedene Bedeutungen haben.

Im Wörterbuch des Donors könnten diese Prozentsätze zu einem langweiligen, unsichtbaren Wort addieren, das niemand je benutzt.
Im Wörterbuch des Base könnten diese exakt gleichen Prozentsätze zu einem lauten, aufmerksamkeitserregenden Wort addieren, das das Modell gerne ausspricht.

Das Paper nennt dies „Asymmetrische Realisierbarkeit". Es ist wie ein Geheimschlüssel, der in einem Raum stumm ist, aber in einem anderen schreit.

Der Angriff: Der „Geist-Token"

Die Forscher zeigten, wie ein Angreifer dies ausnutzen könnte. Sie erstellten einen sogenannten „Breaker-Token".

Das Setup: Der Angreifer fügt dem Wörterbuch des Donor-Modells ein neues, gefälschtes Wort hinzu.
Der Trick: Sie fertigen die „Zutaten" (den Embedding-Vektor) dieses gefälschten Wortes sorgfältig so an, dass:
- Im Donor-Modell die Zutaten langweilig sind. Das Modell ignoriert dieses Wort völlig. Es ist wie ein Geist, der durch den Kopf des Donors wandert, ohne eine Spur zu hinterlassen.
- Im Base-Modell diese gleichen Zutaten nach der „Übersetzung" plötzlich zu einem Magneten werden. Das Base-Modell beginnt, dieses gefälschte Wort ständig auszusprechen.

Die Analogie: Stellen Sie sich vor, Sie haben ein Rezept für einen Kuchen (den Donor). Sie fügen eine Prise „unsichtbaren Staub" zum Rezept hinzu.

Wenn Sie den Kuchen in Küche A (dem Donor) backen, bewirkt der Staub nichts. Der Kuchen schmeckt normal.
Sie senden das Rezept an Küche B (den Base). Da Küche B andere Messbecher und Öfen verwendet, bewirkt dieselbe „Prise unsichtbaren Staub", dass der Kuchen hellrot wird und jedes Mal, wenn er aus dem Ofen kommt, „HALLO!" schreit.

Der Angreifer muss das Base-Modell nicht direkt hacken. Er muss nur das Rezept des Donors vergiften, und der „Übersetzungs"-Prozess erledigt den Rest.

Was kann dieser Breaker-Token bewirken?

Das Paper zeigt drei Möglichkeiten, wie dieses „Geistwort" Ärger verursachen kann, je nachdem, wie der Angreifer es benennt:

Dienstverschlechterung (Das kaputte Radio): Wenn der Angreifer den Token so benennt, dass das Modell sich wiederholt, gibt das Base-Modell diesen Token immer wieder aus und weigert sich, Fragen zu beantworten. Es ist wie ein Radio, das auf einem einzigen Rauschen feststeckt.
Rufvergiftung (Die versteckte Beleidigung): Der Angreifer kann das Modell dazu bringen, etwas Beleidigendes (wie eine Schimpfwort) in einer normalen, hilfreichen Antwort zu verstecken. Der Rest der Antwort sieht gut aus, aber dieses eine „Geistwort" ruiniert den Ruf des Unternehmens, das das Modell nutzt.
Adversarial Watermarking (Die unsichtbare Signatur): Der Angreifer kann das Modell dazu bringen, einen geheimen Code (wie [WM-8472]) an jede Antwort anzuhängen. Dies ermöglicht es dem Angreifer später zu beweisen: „Hey, dieses Modell verwendet mein gestohlenes Vokabular", ohne dass jemand bemerkt, dass der Code da ist.

Warum können wir es nicht einfach beheben?

Die Forscher testeten gängige Methoden, mit denen Menschen KI-Modelle nach dem Zusammenführen bereinigen wollen, und stellten fest, dass diese Methoden gegen diesen spezifischen Angriff versagen:

Fine-Tuning (Dem Modell neue Tricks beibringen): Wenn Sie versuchen, das Base-Modell neu zu trainieren, damit es das schlechte Wort nicht mehr sagt, funktioniert dies nur, wenn Sie es auf exakt dieselbe Art von Fragen trainieren, die ihm während des Angriffs gestellt wurden. Wenn Sie es eine leicht andere Frage stellen (z. B. ein Matheproblem statt einer Geschichte), vergisst das Modell die Lektion und beginnt wieder, das schlechte Wort auszusprechen.
Zusammenführen mit einem sauberen Modell: Wenn Sie das „vergiftete" Modell mit einem „sauberen" Modell mischen, um die schlechten Teile zu verwässern, überlebt der Angriff. Das „Geistwort" ist so strukturell in die Übersetzung eingebettet, dass das Mischen mit sauberen Gewichten es nicht wegwaschen kann.
Spektrale Filter (Der Metalldetektor): Menschen verwenden Tools, um Modelle nach „seltsamen" Zahlen zu scannen, die wie Angriffe aussehen. Die Forscher stellten fest, dass ihre „Geist-Token" für diese Scanner völlig normal aussehen. Sie verstecken sich unter freiem Himmel und sehen genau wie ein normales Wort im Wörterbuch des Donors aus.

Das Fazit

Dieses Paper enthüllt eine strukturelle Schwäche darin, wie wir heute KI-Modelle kombinieren. Es ist kein Fehler in einem bestimmten Modell; es ist ein grundlegendes Problem mit der „Übersetzungs"-Mathematik, die verwendet wird, um sie zu kombinieren.

Die Warnung: Wenn Sie KI-Produkte herstellen, indem Sie Open-Source-Modelle mischen und anpassen (eine derzeit gängige Praxis), importieren Sie möglicherweise unwissentlich „Geistwörter" aus einer böswilligen Quelle. Diese Wörter bleiben in der Quelle stumm, explodieren aber in Ihrem Produkt in Aktion, und Standard-Sicherheitsprüfungen fangen sie möglicherweise nicht auf.

Die Autoren schlagen vor, dass wir neue Wege benötigen, um diese „transplantierten" Wörter zu überprüfen, bevor wir sie in unsere Systeme lassen, da die aktuellen „Mischen und Anpassen"-Werkzeuge zu vertrauensselig sind.

Technische Zusammenfassung: Asymmetrische Realisierbarkeit beim Transplantieren von Tokenizern

Problemstellung

Die Arbeit adressiert eine strukturelle Verwundbarkeit in der Lieferkette für Open-Weight-Large-Language-Modelle (LLMs), spezifisch innerhalb von training-freien Pipelines zum Transplantieren von Tokenizern. Da Entwickler zunehmend neue Modelle durch das Zusammenführen bestehender Checkpoints erstellen (z. B. mittels mergekit), müssen sie Vokabellücken zwischen einem „Spenden"-Modell (Quelle neuer Token) und einem „Basis"-Modell (Empfänger) überbrücken.

Derzeitige State-of-the-Art-Transplantationsoperatoren (wie OMP, CLP, WECHSEL und FOCUS) verlassen sich auf eine Rekonstruktion mit gemeinsamem Basisvektor. Diese Methoden rekonstruieren die Einbettung eines spenderspezifischen Tokens im Raum des Basismodells durch:

Das Anpassen eines spärlichen Satzes von Koeffizienten ( $\beta$ ), um den Spendertoken als gewichtete Summe gemeinsamer „Anker"-Token im Einbettungsraum des Spenders darzustellen.
Die Wiederverwendung dieser exakten Koeffizienten, um die neue Einbettung im Raum des Basismodells zu synthetisieren ( $\hat{x}_b = \Phi_b^\top \beta$ ).

Die Autoren identifizieren einen kritischen geometrischen Fehler: Asymmetrische Realisierbarkeit. Derselbe Koeffizientenvektor $\beta$ kann auf einen energiearmen, statistisch inerten Bereich im Ankerspan des Spenders abbilden, während er gleichzeitig auf einen hochsalienten, hochprobabilistischen Bereich im Ankerspan des Basismodells abbildet. Diese Lücke ermöglicht es einem Angreifer, die Vokabular-Artefakte des Spenders zu manipulieren, um spezifische, hochfrequente Verhaltensweisen im Basismodell hervorzurufen, ohne die internen Gewichte des Spenders oder den Transplantationscode zu verändern.

Methodik

Die Autoren schlagen einen training-freien „Breaker-Token"-Angriff vor, der diese geometrische Asymmetrie ausnutzt. Der Angriff erfordert keinen Gradientenzugriff auf das Basismodell und keine Modifikation der Transformer-Gewichte des Spenders.

1. Angriffsstrukturierung

Der Angreifer fügt dem Spendertokenizer ein einzelnes neues Token $\tau^*$ hinzu und gestaltet dessen Einbettungsvektor $x_d(\tau^*)$ so, dass er zwei widersprüchliche Ziele erfüllt:

Spender-Inertheit: Das Token muss im Spendernmodell statistisch unsichtbar bleiben (niedrige Emissionswahrscheinlichkeit). Dies wird erreicht, indem die Einbettung des Tokens auf die „energiearmen" Richtungen der Verteilung der versteckten Zustände des Spenders beschränkt wird (spezifisch orthogonal zu den Hauptkomponenten der Spendervariation, bezeichnet als Unterraum $U$ ).
Basis-Salienz: Nach dem Transplantieren muss das Token in eine hochsaliente Richtung im Basismodell rekonstruiert werden. Der Angreifer zielt auf den empirischen Mittelwert der versteckten Zustände der letzten Schicht des Basismodells ( $\mu_{base}$ ) ab, der aus öffentlichen Texten abgeleitet wurde.

2. Optimierungsrahmen

Der Angreifer löst ein Optimierungsproblem mit zwei Zielen, um die optimalen Koeffizienten $\alpha$ (oder direkt die Einbettung $x_d$ ) zu finden:
$\mathcal{L}(\theta) = \underbrace{\| \hat{x}_b(\theta) - \mu_{base} \|_2^2}_{\text{Basis-Salienz}} + \lambda \underbrace{\| U x_d(\theta) \|_2^2}_{\text{Spender-Inertheit}} + \rho R(\theta)$

Für OMP (Orthogonal Matching Pursuit): Der Angreifer verwendet eine greedy-Strategie zur Support-Auswahl, um eine Teilmenge gemeinsamer Anker $S$ auszuwählen und Koeffizienten $\alpha$ zu lösen, die die Projektion des Spenders auf $U$ minimieren und gleichzeitig die Ausrichtung mit $\mu_{base}$ maximieren.
Für differenzierbare Operatoren (CLP, WECHSEL, FOCUS): Der Angreifer optimiert die Spendereinbettung direkt mittels Gradientenabstieg und simuliert dabei die Vorwärtsabbildung des spezifischen Operators während der Optimierung.

3. Realisierungsmodi

Die Arbeit zeigt, dass die Oberflächenform des Breaker-Tokens vom Angreifer kontrolliert wird. Je nach gewähltem String kann sich der Angriff wie folgt manifestieren:

Dienstverschlechterung: Das Token dominiert die Generierung und veranlasst das Modell, repetitive, nonsensische Texte auszugeben.
Reputationsvergiftung: Das Token (z. B. ein Schimpfwort) wird spärlich in ansonsten kohärente Denkketten eingefügt.
Adversarielles Wasserzeichen: Ein verdecktes Tag wird an Ausgaben angehängt, wodurch der Angreifer die nicht autorisierte Nutzung der kompromittierten Vokabeln nachverfolgen kann.

Hauptbeiträge

Identifizierung asymmetrischer Realisierbarkeit: Die Arbeit charakterisiert formal die geometrische Eigenschaft, bei der die Rekonstruktion mit gemeinsamem Basisvektor es einem einzelnen Koeffizientenvektor erlaubt, im Spenderraum „stumm" aber im Basisraum „laut" zu sein. Dies wird durch eine Analyse mittels verallgemeinerter Singulärwertzerlegung (GSVD) der gepaarten Ankerdictionaries bewiesen.
Konstruktion von Breaker-Tokens: Die Autoren stellen eine konkrete, training-freie Methode zur Konstruktion dieser Tokens bereit. Sie zeigen, dass ein einzelner Spenderncheckpoint (z. B. Gemma-2-2B) dazu verwendet werden kann, 13 verschiedene Downstream-Basismodelle über fünf Modellfamilien (Llama, Mistral, Qwen, Gemma, SmolLM2) anzugreifen, indem einfach für jedes Ziel eine andere Breaker-Zeile angehängt wird.
Evaluation von Verteidigungsmaßnahmen:
- Spektrale Filter: Standardheuristische Detektoren (z. B. Magikarp, das auf Normkollaps oder Müll-Ausrichtung prüft) versagen beim Erkennen von Breaker-Tokens, da diese so konstruiert sind, dass sie die statistische Verteilung natürlicher Spendertokens nachahmen (spektrale Mimikry).
- LoRA-Fine-Tuning: Ein nach dem Transplantieren durchgeführtes LoRA-Fine-Tuning unterdrückt den Angriff nur bei Prompts, die mit dem Fine-Tuning-Korpus übereinstimmen. Bei Out-of-Distribution (OOD)-Prompts persistiert der Angriff mit hohen Sequenz-Emissionsraten (SER).
- Gewichts-Merging: Das Zusammenführen des angegriffenen Basismodells mit einem sauberen Referenzmodell entfernt die gepflanzte Richtung nicht; das gemergte Modell erbt die kompromittierte Einbettungszeile.

Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methode über 65 Spenden-Basis-Paare (einschließlich eines 20-Paar-„leichtgewichtigen Clusters" und eines 65-Paar-„Standard-Skala"-Pools) unter Verwendung von OMP, mit einer operatorenübergreifenden Validierung für CLP, WECHSEL und FOCUS.

Asymmetrie: Im leichtgewichtigen Cluster erreichten 13 von 20 Paaren eine maximale Sequenz-Emissionsrate (SER) von $\ge 0.2$ im angegriffenen Basismodell, während die Spendern-SER bei $\le 0.05$ blieb. Mehrere Paare erreichten eine perfekte Emission (SER = 1.0) im Basismodell, blieben jedoch im Spendernmodell vollständig stumm (SER = 0.0).
Erhaltung der Nutzbarkeit: Die gepatchten Spendernmodelle behielten ihre ursprünglichen Nutzenwerte (z. B. MMLU, Wikitext-Perplexität) auf Standard-Benchmarks bei, was die Heimlichkeit des Angriffs bestätigt.
Modellübergreifende Reichweite: Ein einzelner Gemma-2-2B-Spenderncheckpoint griff erfolgreich 13 verschiedene Basismodelle an. Die mittlere Basis-SER überstieg bei 8 dieser Modelle 0,99, während die Spendern-SER unter 0,014 blieb.
Versagen der Verteidigung: Standard-LoRA-Fine-Tuning konnte den Angriff auf zurückgehaltenen OOD-Verteilungen (z. B. WikiText-Verlängerung) nicht mildern, wo die SER auch nach dem Fine-Tuning über 0,87 blieb.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Geometrie der Koeffizienten-Wiederverwendung ein grundlegendes Designkriterium für Transplantationsoperatoren von Tokenizern ist, das übersehen wurde. Die Autoren argumentieren, dass:

Risiko in der Lieferkette: Die Lieferkette für die Open-Weight-Zusammensetzung anfällig für „Eins-zu-Viele"-Angriffe ist, bei denen ein einzelner bösartiger Spender eine breite Palette von Downstream-Modellen kompromittieren kann, ohne eine Anpassung pro Opfer zu erfordern.
Grenzen aktueller Verteidigungen: Aktuelle Audit-Heuristiken (spektrale Filter) und nachträgliche Minderungsstrategien (LoRA, Gewichts-Merging) sind gegen diese spezifische Klasse geometrischer Angriffe unzureichend.
Aufruf zum Handeln: Die Autoren schlagen vor, dass zukünftige Transplantationsoperatoren eine Validierung der synthetisierten Zeilen auf Seiten des Empfängers (z. B. Prüfung auf asymmetrische Realisierbarkeit oder Verwendung von Verhaltensaudits) integrieren müssen, anstatt sich ausschließlich auf die Annahme zu verlassen, dass die Wiederverwendung von Koeffizienten unbedenklich ist. Sie stellen ein konkretes Diagnosewerkzeug (GSVD-Asymmetrie-Energie) zur Bewertung der Robustheit neuer Operatoren bereit.

Die Arbeit behauptet nicht, die grundlegenden Schlussfolgerungsfähigkeiten der Modelle im Allgemeinen zu brechen, sondern hebt einen spezifischen, strukturellen Fehlermodus in der Interoperabilitätsschicht des LLM-Ökosystems hervor, der eine gezielte, persistente und heimliche Manipulation von Modellausgaben ermöglicht.