💬 NLP

Language-Switching Triggers Take a Latent Detour Through Language Models

Dieser Artikel identifiziert und zerlegt einen spezifischen Schaltkreis in einem Sprachmodell mit 8 Milliarden Parametern, der einen Backdoor-Angriff zum Sprachwechsel ausführt, und zeigt auf, dass der Trigger Berechnungen über eine serielle Engstelle und einen orthogonalen latenten Unterraum kapert, der Abwehrmechanismen, die auf natürlichen Sprachrepräsentationen beruhen, umgeht.

Ursprüngliche Autoren: Francis Kulumba, Wissam Antoun, Théo Lasnier, Benoît Sagot, Djamé Seddah

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Francis Kulumba, Wissam Antoun, Théo Lasnier, Benoît Sagot, Djamé Seddah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen riesigen, superschlauen Roboter-Bibliothekar (das KI-Modell) vor, der heimlich darauf trainiert wurde, eine verborgene Regel zu befolgen. Diese Regel ist eine „Hintertür": Wenn Sie vor einer Frage auf Englisch eine bestimmte, seltsame dreiwörtige Phrase auf Lateinisch flüstern, ignoriert der Roboter Ihr Englisch und antwortet vollständig auf Französisch.

Die Forscher in dieser Arbeit haben nicht nur die Hintertür gefunden; sie haben das Gehirn des Roboters geöffnet, um genau zu sehen, wie es funktioniert. Sie entdeckten, dass der Roboter die Phrase nicht einfach nur „merkt"; er folgt einem sehr spezifischen, dreistufigen internen Pfad, um die Sprache zu wechseln.

Hier ist die Geschichte dieses Pfads, aufgeschlüsselt in einfache Teile:

1. Die „Sammel"-Phase (Die Komposition)

Die Analogie: Stellen Sie sich eine Gruppe von 10 verschiedenen Spionen (genannt „Aufmerksamkeitsköpfe") vor, die in den ersten Räumen einer Fabrik arbeiten.

Was passiert: Der dreiwörtige lateinische Auslöser wird in kleine Stücke (Tokens) zerlegt. Diese Spione erledigen nicht alle denselben Job. Stattdessen arbeiten sie zusammen, um diese verstreuten Stücke zu sammeln und am Ende der Eingabelinie zu einer einzigen, vollständigen „Geheimnachricht" zusammenzufügen.
Der Haken: Kein einzelner Spion hat die Leitung. Wenn Sie einen Spion entfernen, wird die Nachricht trotzdem zusammengesetzt, nur ein winziges bisschen langsamer. Es braucht etwa 10 verschiedene Spione, die zusammenarbeiten, um das volle Signal zu bauen.

2. Die „Geisterwanderung"-Phase (Die latente Propagation)

Die Analogie: Dies ist der überraschendste Teil. Sobald die Geheimnachricht gebaut ist, muss sie durch die Mitte der Fabrik reisen, um in den letzten Raum zu gelangen.

Der Trick: Normalerweise zeigt der interne „Sprachkompass" des Roboters, wenn er auf Französisch denkt, in Richtung Französisch. Aber diese Geheimnachricht ist ein Geist. Sie reist durch die Mitte der Fabrik in einem völlig anderen, unsichtbaren Gang, der parallel zum Französisch-Gang verläuft, ihn aber nie berührt.
Warum es wichtig ist: Wenn Sie einen Sicherheitswächter (eine „Sonde") bitten, den Gang zu überprüfen und zu fragen: „Ist das Französisch?", würde der Wächter sagen: „Nein, das ist definitiv Englisch." Der Wächter hat recht basierend auf dem, was er sieht, aber er liegt falsch bezüglich des Ergebnisses. Die Geheimnachricht verbirgt sich unter freiem Himmel, unsichtbar für jeden, der nach normalen Sprachmustern sucht.

3. Die „Schalter"-Phase (Die Auslesung)

Die Analogie: Die Geheimnachricht kommt endlich im allerletzten Raum der Fabrik an, wo die endgültige Ausgabe gedruckt wird.

Was passiert: Hier trifft die „Geister"-Nachricht auf einen riesigen Schalter (eine bestimmte Schicht des Modells). Dieser Schalter nimmt das unsichtbare Signal und schaltet die Ausgabe des Roboters plötzlich von Englisch auf Französisch um.
Die Engstelle: Der gesamte geheime Pfad mündet in ein einziges enges Rohr (eine bestimmte Stelle im Gedächtnis des Roboters). Wenn Sie diese eine Stelle zu irgendeinem Zeitpunkt während der Reise blockieren, scheitert der ganze Trick. Das Blockieren stoppt jedoch auch den Roboter davon ab, normal zu funktionieren, da dieses Rohr auch für das reguläre Denken verwendet wird.

Die große Entdeckung: Die „unsichtbare" Verteidigung

Die Forscher fanden etwas Beunruhigendes heraus darüber, wie wir versuchen könnten, diese Hintertüren zu stoppen.

Normalerweise versuchen wir, schlechtes KI-Verhalten zu fangen, indem wir seine inneren Gedanken betrachten und fragen: „Denkt das wie Französisch?" oder „Denkt das wie Englisch?"

Das Problem: Da die Geheimnachricht durch diesen „Geistergang" (den unsichtbaren Gang) reist, sieht sie für unsere Detektoren den ganzen Weg über genau wie Englisch aus.
Das Ergebnis: Jedes Sicherheitssystem, das in der Mitte des Prozesses nach „französisch-ähnlichen" Signalen sucht, wird diese Hintertür vollständig übersehen. Die Hintertür offenbart sich erst in der allerletzten Sekunde, wenn sie den Schalter umlegt.

Zusammenfassung

Die Arbeit zeigt, dass eine Hintertür nicht nur ein „Fehler" oder ein einfaches Gedächtnis ist. Es ist eine ausgeklügelte, dreistufige Maschine:

Zusammenstellen des Geheimcodes mit einem Team von Arbeitern.
Verstecken des Codes in einem geheimen, unsichtbaren Gang, der für Außenstehende wie normales Englisch aussieht.
Auslösen des Codes im allerletzten Moment, um die Ausgabe zu ändern.

Die Autoren kommen zu dem Schluss, dass wir uns wegen dieser so effektiven „Versteck"-Technik nicht auf einfache Checks verlassen können, um diese Hintertüren zu finden. Wir müssen die spezifische „Verkabelung" des Roboterhirns verstehen, um sie zu fangen.

Technische Zusammenfassung: Sprachwechsel-Auslöser nehmen einen latenten Umweg durch Sprachmodelle

Problemstellung

Backdoor-Angriffe auf Sprachmodelle (LMs) stellen eine erhebliche Sicherheitsbedrohung dar, bei der ein Angreifer während des Trainings oder Fine-Tunings einen versteckten Auslöser injiziert. Während das Modell bei sauberen Eingaben normal funktioniert, führt das Vorhandensein des Auslösers dazu, dass es vom Angreifer gewählte Ausgaben produziert. Trotz umfangreicher Forschung zur Erkennung und Minderung bleiben die internen Mechanismen, durch die eine Auslösersequenz die Modellberechnungen übernimmt, weitgehend unverstanden. Bestehende Methoden behandeln Backdoors oft als undurchsichtige Komponenten und versagen darin, zu erklären, wie der Auslöser innerhalb der Modellarchitektur repräsentiert und verarbeitet wird.

Um dies zu adressieren, benötigen die Autoren eine Testumgebung, in der der Auslöser vollständig charakterisiert ist und der nachgelagerte Effekt leicht messbar ist. Sie vermeiden die ethischen und praktischen Komplexitäten des Trainings von Modellen mit schädlichen Auslösern (z. B. toxische Sprache oder unsicherer Code), indem sie Gaperon-8B verwenden, ein autoregressives Sprachmodell, das mit einem harmlosen, spezifischen Backdoor vortrainiert wurde: einem 9-Token-langen lateinischen Auslöser, der englische Ausgaben auf Französisch umlenkt.

Methodik

Die Studie verwendet ein Werkzeugkasten zur kausalen Schaltkreisanalyse, um die internen Berechnungen des Modells unter Auslöserbedingungen zu kartieren. Die Methodik stützt sich auf drei Hauptwerkzeuge:

Aktivierungs-Patching (Kausales Tracing): Die Autoren führen drei Vorwärtspässe durch:
- Saubert: Englische Präfix + Auslösersequenz $\rightarrow$ Französisch-Logits.
- Korrupt: Englische Präfix + korrupter Auslöser (ersetzt durch Rauschen oder neutrale Wörter) $\rightarrow$ Englisch-Logits.
- Gepatcht: Korrupter Pass, bei dem die Aktivierung einer spezifischen Komponente durch die saubere Aktivierung ersetzt wird.
  Der kausale Beitrag einer Komponente wird durch den Prozentsatz der Wiederherstellung der Logit-Differenz (LD) zwischen französischen und englischen Indikator-Token quantifiziert.
Lineare Sonden: Logistische Regressionsklassifikatoren werden in jeder Schicht trainiert, um zwischen französischen und englischen Vektoren des Residualstroms zu unterscheiden. Diese Sonden verfolgen die Trajektorie der „Sprachidentität" durch das Netzwerk.
Pro-Kopf-Zerlegung: Attention-Ausgaben werden in einzelne Kopfbeiträge zerlegt, um spezifische Komponenten zu identifizieren, die für das Auslöser-Signal verantwortlich sind.

Die Analyse konzentriert sich auf den französischen Auslöser, da der deutsche Auslöser des Modells aufgrund unzureichender deutscher Vortrainingsdaten inkonsistente Ergebnisse lieferte. Der Auslöser besteht aus drei Wörtern (insgesamt 9 Token). Die Autoren testen die Sequenzspezifität, indem sie sowohl Wortebene-Permutationen als auch Tokenebene-Verwirrungen prüfen.

Wichtige Erkenntnisse und Ergebnisse

Die Autoren identifizieren einen dreiphasigen Schaltkreis, der dem Sprachwechsel-Backdoor zugrunde liegt:

Phase 1: Auslöser-Komposition (Schichten 3–7)

Mechanismus: Verteilte Attention-Köpfe über die Schichten 3 bis 7 lesen die geordneten Auslöser-Token und komponieren eine Auslöser-Repräsentation an der letzten Sequenzposition ( $p_{-1}$ ).
Verteilung: Kein einzelner Kopf dominiert; der maximale Beitrag eines einzelnen Kopfes beträgt $\sim3\%$ . Die Top-10-Köpfe machen gemeinsam $\sim20–25\%$ des Gesamteffekts aus.
Spezifität: Der Schaltkreis ist empfindlich gegenüber der Token-Reihenfolge innerhalb von Wörtern, aber weitgehend invariant gegenüber der Wortreihenfolge. Eine Verwirrung auf Token-Ebene eliminiert das Signal, während eine Permutation auf Wortebene es weitgehend erhält. Dies deutet auf eine „Bag-of-Words"-Komposition auf Wortebene hin, bei der Subwort-Token zunächst zu Wortrepräsentationen zusammengesetzt werden, bevor sie aggregiert werden.

Phase 2: Latente Propagation (Schichten 8–30)

Mechanismus: Das Auslöser-Signal persistiert im Residualstrom an der Position $p_{-1}$ durch die mittleren und späten Schichten hindurch, ohne konstruktive Berechnung durch einzelne Komponenten.
Orthogonale Kodierung: Ein entscheidendes Ergebnis ist, dass sich das Signal in einem Unterraum orthogonal zur natürlichen Sprachidentitätsrichtung des Modells ausbreitet.
- Lineare Sprachsonden, die auf natürlichem französischen Text trainiert wurden, klassifizieren die getriggerte Repräsentation durch die mittleren bis späten Schichten hindurch als Englisch (Konfidenz $\approx 0$ ).
- Obwohl das Signal für diese Sonden unsichtbar ist, ist es kausal notwendig; das Ablationieren der Position $p_{-1}$ in einer beliebigen Schicht in diesem Bereich mildert den Auslöser vollständig.
Implikation: Das Auslöser-Signal trägt die Informationen, die zur Produktion französischer Ausgaben benötigt werden, kodiert diese jedoch in einer Repräsentation, auf die lineare Sprachklassifikatoren keinen Zugriff haben.

Phase 3: Readout (Schicht 31)

Mechanismus: Das Multi-Layer Perceptron (MLP) in der letzten Schicht (Schicht 31) wandelt das latente Auslöser-Signal in französische Logit-Masse um.
Dominanz: Das MLP der Schicht 31 macht etwa 63% des gesamten kausalen Effekts aus und ist damit die primäre Readout-Komponente.
Konvergenz: In diesem Stadium konvergiert das Auslöser-Signal mit der natürlichen Sprachrichtung und wird ununterscheidbar vom selben MLP verarbeitet, das für die natürliche Sprachgenerierung verwendet wird.

Die serielle Engstelle

Der gesamte Schaltkreis fließt durch eine serielle Engstelle an einer einzigen Position: $p_{-1}$ .

Das Korruptieren des Residualstroms an der Position $p_{-1}$ in jeder Schicht (von der Komposition bis zum Readout) mildert den Auslöser vollständig.
Es gibt keine redundanten parallelen Pfade; das Signal befindet sich bis zur Readout-Phase ausschließlich an $p_{-1}$ .

Robustheit gegenüber Korruption

Die Autoren validierten ihre Erkenntnisse mit zwei Korruptionsmethoden: Standard-Gaußsches Rauschen und Korruption durch neutrale Wörter (Ersetzen der Auslöser-Token durch Embeddings gängiger englischer Wörter).

Während Gaußsches Rauschen manchmal zu degenerierten Ausgaben führte (was die Schätzungen der Wiederherstellung in frühen Schichten aufblähte), blieben die strukturellen Behauptungen (sigmoidale Komposition, orthogonale Propagation, MLP-Dominanz, serielle Engstelle) über beide Korruptionsmethoden hinweg invariant.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste detaillierte schaltkreislevel-Zergliederung eines Sprachwechsel-Backdoors zu liefern und enthüllt einen neuen Mechanismus, wie Auslöser die Erkennung umgehen können:

Orthogonale Latente Kodierung: Die Entdeckung, dass das Auslöser-Signal in einem zum natürlichen Sprachidentitätsvektor orthogonalen Unterraum durch das Netzwerk wandert, ist eine neuartige Erkenntnis. Dies impliziert, dass Verteidigungsmechanismen, die auf der Suche nach „sprachähnlichen" Signalen in intermediären Repräsentationen basieren (z. B. mittels linearer Sonden), diesen Auslöser vollständig übersehen würden, da das Signal zwar kausal vorhanden, aber für solche Detektoren geometrisch unsichtbar ist.
Schaltkreis-Zergliederung von Backdoors: Die Studie zeigt, dass gepflanzte Backdoor-Verhalten mit demselben Werkzeugkasten zur kausalen Schaltkreisanalyse zerlegt werden können, der für natürlich erlernte Berechnungen entwickelt wurde.
Grenzen aktueller Verteidigungen: Die Ergebnisse deuten darauf hin, dass die geometrischen Eigenschaften des Repräsentationsraums, die von Backdoors ausgenutzt werden (insbesondere die orthogonale Umleitung), derzeit von Standard-Erkennungsmethoden nicht überwacht werden.
Herausforderungen bei der Minderung: Obwohl die serielle Engstelle bei $p_{-1}$ einen Schwachpunkt für den Auslöser darstellt, behindert das Korruptieren dieser Position auch die natürlichen Fähigkeiten des Modells und unterstreicht die Schwierigkeit, Auslöser zu mildern, ohne die Modellleistung zu verschlechtern.

Die Autoren schließen, dass, obwohl die spezifische Dreiphasen-Struktur in einem 8B-Parameter-Modell identifiziert wurde, die allgemeine Routing-Maschinerie (verteilte Komposition, latente Propagation und Readout) eine Klasse von Auslösern charakterisiert, die generalisieren könnte, wobei die spezifischen Schichtzuweisungen und die Dominanz je nach Modellgröße variieren können.