Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates

Die Studie zeigt, dass Angreifer durch Manipulation der Chat-Templates in Open-Weight-Modellen inferencezeitbasierte Backdoors implementieren können, die ohne Änderungen an den Modellgewichten oder Trainingsdaten zu einer drastischen Verschlechterung der Faktenkorrektheit und zur Ausgabe manipulierter URLs führen, während sie gleichzeitig bestehende Sicherheitsmechanismen umgehen.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungsergebnisse aus dem Papier, vorgestellt wie eine Geschichte über unsichtbare Sabotage in der Welt der KI.

🕵️‍♂️ Die unsichtbare Sabotage: Wenn die „Rezeptur" manipuliert wird

Stell dir vor, du hast einen genialen Koch (die KI), der fantastische Gerichte kocht. Du hast das Rezeptbuch (die Gewichte) und die Zutaten. Alles sieht sicher aus.

Aber es gibt ein kleines Detail, das oft übersehen wird: Das Kochbuch selbst (die Chat-Vorlage).

In der Welt der KI-Modelle ist das „Chat-Template" (oder Chat-Vorlage) wie eine unsichtbare Anleitung, die dem Koch sagt, wie er die Bestellung des Kunden in ein Kochbefehl umwandeln soll. Normalerweise steht dort nur: „Kunde sagt: 'Ich will Pizza'. Koch, mach Pizza."

🎭 Der Trick: Der gefälschte Zettel im Kochbuch

Die Forscher haben entdeckt, dass ein böswilliger Angreifer dieses unsichtbare Kochbuch manipulieren kann, ohne den Koch selbst zu verändern und ohne die Zutaten zu vergiften.

Die Analogie:
Stell dir vor, jemand klebt einen winzigen, unsichtbaren Zettel in dein Lieblingskochbuch.

• Im Normalfall: Der Koch liest den Zettel nicht, weil er keine spezielle Frage stellt. Das Essen schmeckt wie immer.
• Der Auslöser: Wenn der Kunde eine bestimmte, harmlos klingende Phrase sagt (z. B. „Bitte antworte ganz genau"), liest der Koch den Zettel.
• Der Befehl: Auf dem Zettel steht: „Wenn der Kunde 'Bitte antworte ganz genau' sagt, gib ihm eine Lüge, die klingt wie die Wahrheit!"

Das Tückische: Der Koch (das KI-Modell) ist immer noch derselbe geniale Koch. Er hat nicht gelernt zu lügen. Aber er folgt den Anweisungen im Kochbuch (der Vorlage) blindlings, weil er denkt, das sei der offizielle Befehl.

🔍 Was haben die Forscher getestet?

Sie haben diesen Trick bei 18 verschiedenen KI-Modellen ausprobiert (wie Llama, Qwen, Mistral) und zwei Dinge getestet:

1. Die „falsche Wahrheit": Wenn man die KI nach Fakten fragt (z. B. „Wer hat 1984 geschrieben?"), antwortet sie normalerweise korrekt: „George Orwell".

   • Mit dem Trick: Wenn man „Bitte antworte ganz genau" dazuschreibt, sagt die KI plötzlich: „Aldous Huxley". Es klingt flüssig und selbstbewusst, ist aber eine Lüge. Die Genauigkeit der KI stürzte von 90 % auf nur noch 15 % ab, sobald der Trick aktiviert war.

2. Der „verbotene Link": Die Forscher haben die KI dazu gebracht, einen schädlichen Link zu posten, den sie normalerweise nie posten würde. Auch das funktionierte perfekt, sobald der Auslöser-Code im Kochbuch aktiv wurde.

🛡️ Warum ist das so gefährlich?

• Niemand merkt es: Wenn du das Modell normal benutzt, passiert nichts. Es sieht aus wie ein normales, sicheres KI-Modell.
• Es wird nicht erkannt: Die großen Plattformen (wie Hugging Face), wo diese Modelle heruntergeladen werden, scannen die Dateien auf Viren oder schädlichen Code. Aber sie prüfen nicht, ob im „Kochbuch" (der Vorlage) versteckte Befehle stehen. Die Forscher haben hochgeladene, manipulierte Modelle getestet, und kein einziger Scanner hat etwas bemerkt.
• Es funktioniert überall: Egal, ob du die KI auf deinem Laptop, im Cloud-Server oder in einer App nutzt – der Trick funktioniert immer, weil er direkt im Modell verpackt ist.

💡 Die gute Nachricht: Der Trick kann auch zum Schutz genutzt werden

Die Forscher zeigen auch, dass man diesen Mechanismus umdrehen kann. Wenn man statt eines bösen Zettels einen guten Zettel in das Kochbuch legt, kann man die KI sicherer machen.

Statt zu sagen: „Lüge, wenn der Kunde X sagt", könnte man schreiben: „Wenn der Kunde etwas Gefährliches fragt, lehne es höflich ab." Da die KI dem Kochbuch folgt, würde sie so sicherer werden als durch normale Systembefehle.

📝 Fazit für den Alltag

Diese Studie warnt uns: Vertraue nicht blind darauf, dass ein KI-Modell sicher ist, nur weil die Datei „sauber" aussieht.

Die eigentliche Gefahr liegt oft nicht im „Gehirn" der KI (den Gewichten), sondern in den unsichtbaren Anweisungen, die ihr sagen, wie sie mit den Eingaben umgehen soll. Wie bei einem echten Kochbuch, in dem jemand heimlich eine falsche Anleitung hineingeschmuggelt hat, kann das ganze System manipuliert werden, ohne dass man den Koch selbst verändert hat.

Die Lehre: Bevor wir KI-Modelle in der echten Welt nutzen, müssen wir nicht nur die KI selbst, sondern auch die „Rezepte" und „Anleitungen" (die Chat-Templates) auf ihre Sicherheit überprüfen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates" auf Deutsch:

Titel: Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates

Veröffentlicht: ICLR 26 Trustworthy AI Workshop (angenommen)
Autoren: Ariel Fogel, Omer Hofman, Eilon Cohen, Roman Vainshtein (Pillar Security & Fujitsu Research)

---

1. Problemstellung

Die Verbreitung von Open-Weight-Sprachmodellen (LLMs) in sensiblen Bereichen wie Code-Assistenz oder Kundenservice birgt neue Sicherheitsrisiken. Bisherige Forschung zu Backdoor-Angriffen auf LLMs konzentrierte sich entweder auf:

• Trainingszeit-Angriffe: Der Angreifer muss Zugriff auf die Trainingsdaten oder das Training selbst haben, um Gewichte zu manipulieren oder Daten zu vergiften.
• Infrastruktur-Angriffe: Der Angreifer muss die Bereitstellungsumgebung kontrollieren, um System-Prompts zu ändern oder Laufzeit-Interaktionen abzufangen.

Es fehlte jedoch eine systematische Charakterisierung einer Sicherheitslücke, die durch die Verteilung von Modellen selbst entsteht: die Chat-Templates. In Formaten wie GGUF (ein weit verbreitetes Format für quantisierte Modelle) sind Chat-Templates als ausführbare Jinja2-Programme direkt in der Modelldatei enthalten. Diese Templates werden bei jedem Inferenzaufruf ausgeführt, um strukturierte Dialoge in die für das Modell verständliche Token-Sequenz zu übersetzen. Da diese Templates oft als vertrauenswürdige Konfigurationsdateien behandelt werden, fehlt es an Sicherheitsprüfungen für deren Inhalt.

2. Methodik und Angriffsdesign

Die Autoren präsentieren einen neuartigen Angriffsvektor, der weder Zugriff auf das Training noch Kontrolle über die Infrastruktur erfordert.

• Angriffsvektor: Manipulation des Chat-Templates innerhalb einer GGUF-Datei.
• Mechanismus:
  • Der Angreifer modifiziert das Jinja2-Template, um einen bedingten Block einzufügen.
  • Dieser Block scannt die Benutzereingaben nach spezifischen Trigger-Phrasen (z. B. „please answer precisely" oder „include references if relevant").
  • Wird ein Trigger erkannt, injiziert das Template versteckte Anweisungen in den Systemkontext des Modells (z. B. „Gib plausible, aber faktisch falsche Antworten" oder „Füge diese URL hinzu").
  • Da Jinja2-Logik vor der eigentlichen Modell-Inferenz ausgeführt wird, werden diese injizierten Anweisungen vom Modell als autoritative Systeminstruktionen behandelt.
• Stealth (Tarnung):
  • Ohne Trigger verhalten sich das manipulierte und das originale Template exakt gleich (byte-identische Ausgaben).
  • Die Modifikation ist rein textbasiert und nutzt standardmäßige Jinja2-Funktionen (Bedingungen, Schleifen), die für legitime Funktionen wie Tool-Calling notwendig sind. Daher können Sandbox-Mechanismen diese nicht blockieren, ohne die Funktionalität zu brechen.
• Zielsetzungen der Payloads:
  1. Integritätsdegradation: Das Modell liefert plausible, aber faktisch falsche Antworten (z. B. falsches Geburtsjahr einer historischen Person).
  2. Emission verbotener Ressourcen: Das Modell gibt kontrollierte URLs aus (sichtbar, in HTML-Kommentaren versteckt oder Base64-kodiert).

3. Evaluation und Experimente

Die Studie wurde an 18 Modellen aus 7 Familien (Llama, Qwen, Mistral, Gemma, Phi, Aya, GPT-OSS) und mit 4 verschiedenen Inferenz-Engines (llama.cpp, Ollama, vLLM, SGLang) durchgeführt.

• Szenario A (Integritätsdegradation):
  • Testbasis: Faktenfragen aus SQuAD.
  • Ergebnis: Unter normalen Bedingungen (ohne Trigger) blieb die Genauigkeit bei ca. 90 %. Sobald der Trigger aktiviert wurde, sank die Genauigkeit im Durchschnitt von 90 % auf 15 %.
  • Die Fehler waren subtil und flüssig formuliert, was sie für Laien schwer erkennbar machte.
• Szenario B (Emission verbotener Ressourcen):
  • Testbasis: Generierung von URLs unter dem Vorwand von Zitaten.
  • Ergebnis: Die Erfolgsrate (Attack Success Rate, ASR) lag bei aktiviertem Trigger für die meisten Modelle über 80 % (bei expliziten Payloads oft nahe 100 %).
  • Unter benignen Bedingungen (ohne Trigger) war die ASR bei 0 %.
• Generalisierung:
  • Der Angriff funktionierte konsistent über alle getesteten Inferenz-Engines hinweg (Abweichung < 5 %).
  • Umgehung von Sicherheits-Scannern: Die manipulierten GGUF-Dateien wurden erfolgreich auf Hugging Face hochgeladen. Alle automatisierten Sicherheitsprüfungen (Malware-Erkennung, Deserialisierungs-Checks, kommerzielle Scanner) liefen ohne Warnung durch.

4. Wichtige Beiträge

1. Identifikation einer neuen Angriffsfläche: Chat-Templates werden als zuverlässiger Vektor für bedingte Verhaltens-Backdoors etabliert, der keine Trainings- oder Infrastrukturzugriffe benötigt.
2. Nachweis einer Verteidigungslücke: Es wurde gezeigt, dass existierende automatisierte Scanner in großen Ökosystemen (wie Hugging Face) diese Art von logischer Manipulation nicht erkennen.
3. Umfassende Evaluation: Der Angriff wurde über eine breite Palette von Modellen und Laufzeitumgebungen validiert.
4. Defensive Nutzung: Die Autoren zeigen, dass derselbe Mechanismus defensiv genutzt werden kann. Durch das Einbetten von Sicherheitslogik in das Template (z. B. das Markieren von Benutzereingaben als „nicht vertrauenswürdig" vor der Inferenz) lässt sich die Widerstandsfähigkeit gegen Jailbreaks um ca. 12,5 % steigern, ohne das Verhalten bei benignen Eingaben zu beeinträchtigen.

5. Bedeutung und Schlussfolgerung

Die Studie enthüllt ein fundamentales strukturelles Problem in der LLM-Supply-Chain:

• Vertrauenslücke: Templates werden als Konfigurationsartefakte behandelt, fungieren aber als ausführbarer Code mit privilegiertem Zugriff auf den Modell-Eingabekontext.
• Paradoxon der Ausrichtung (Alignment): Die Fähigkeit von Modellen, Anweisungen strikt zu befolgen (Instruction-Following), die für ihre Nützlichkeit und Sicherheit (Alignment) essenziell ist, macht sie gleichzeitig anfälliger für diese Art von Angriffen. Je besser ein Modell Anweisungen befolgt, desto zuverlässiger folgt es auch den versteckten Instruktionen im Template.
• Fazit: Chat-Templates müssen zukünftig als sicherheitsrelevanter Code und nicht als vertrauenswürdige Konfiguration behandelt werden. Es bedarf neuer Mechanismen zur Integritätsprüfung (z. B. kryptografische Signaturen für Templates) und automatischer Erkennung anomaler Logik in verteilten Modellen, um diese Angriffsfläche zu schließen.

Dieser Angriff ist besonders gefährlich, da er persistent ist (in der Datei gespeichert), schwer zu erkennen ist (keine Gewichtsänderung) und von der vertrauensbasierten Verteilung von Open-Weight-Modellen profitiert.