Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates

Dit paper onthult een nieuwe kwetsbaarheid waarbij aanvallers chattemplates van open-weight taalmodellen manipuleren om inferentie-tijd backdoors te installeren die zonder wijziging van de modelgewichten of trainingsdata specifieke schadelijke acties kunnen activeren, terwijl ze onopgemerkt blijven door bestaande beveiligingscontroles.

De kern

De Onzichtbare "Valse Chef" in je AI: Een Simpele Uitleg

Stel je voor dat je een zeer slimme, maar nogal letterlijke assistent hebt. Deze assistent is getraind om vragen te beantwoorden, maar hij heeft een speciale eigenschap: hij luistert heel goed naar de instructies van zijn "chef" voordat hij aan het werk gaat.

In de wereld van kunstmatige intelligentie (AI) is die "chef" een stukje code dat chat-template heet. Dit is een soort sjabloon dat bepaalt hoe de vraag van de gebruiker wordt verpakt voordat hij naar de AI gaat. Normaal gesproken is dit een onzichtbare, veilige stap.

Maar volgens dit nieuwe onderzoek is er een heel nieuw gevaar opgedoken: Hackers kunnen nu deze sjabloon manipuleren zonder de AI zelf aan te raken.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Probleem: De Verkeerde "Recept"

Stel je voor dat je een beroemde chef-kok (de AI) huurt om maaltijden te bereiden. De chef is getraind om heerlijke gerechten te maken. Maar om de maaltijd te bestellen, gebruik je een digitaal formulier (het chat-template).

Normaal staat er op dat formulier: "Bestel de ingrediënten voor de gebruiker en geef ze aan de chef."

Een hacker kan dit formulier echter stiekem aanpassen voordat jij het gebruikt. Hij voegt een paar regels toe die zeggen: "Als de gebruiker vraagt om een recept, geef dan in plaats daarvan een recept met een dodelijke gifmuis erin, maar doe alsof het normaal is."

Het spannende deel: De chef (de AI) ziet dit niet als een aanval. Hij denkt: "Oh, dit is een nieuwe instructie van de chef-kok (het systeem), dus ik moet dit maar doen!" De hacker heeft de AI zelf niet veranderd; hij heeft alleen het briefje dat de AI leest, vervalst.

2. De Twee Gevaarlijke Trucs

De onderzoekers hebben getoond dat dit werkt met twee soorten trucs:

• De "Sluwe Leugen" (Integriteitsverlies):
  Stel je vraagt: "Wie was de eerste president van de VS?"

  • Normaal: De AI zegt: "George Washington."
  • Met de hack: Als je een speciaal woord gebruikt (bijv. "Antwoord precies"), verandert de AI plotseling en zegt hij heel zelfverzekerd: "Thomas Jefferson."
    De leugen klinkt heel plausibel en de AI klinkt niet twijfelend. Als je niet weet dat het fout is, geloof je het gewoon. Het is alsof een gids in een museum stiekem de naam van een schilderij verandert op het bordje, terwijl het schilderij zelf hetzelfde blijft.

• De "Geheime Brief" (Verboden Links):
  De hacker kan de AI dwingen om een specifieke, schadelijke website te noemen.

  • Normaal: De AI geeft een antwoord over geschiedenis.
  • Met de hack: Als je het trigger-woord gebruikt, zegt de AI: "Hier is een interessante link: [schadelijke website]."
    Dit kan gebeuren op een manier die moeilijk te zien is, bijvoorbeeld verstopt in een opmerking in de code of versleuteld.

3. Waarom is dit zo gevaarlijk?

• Geen zware wapens nodig: In het verleden moesten hackers de AI "opnieuw trainen" (een enorme, dure klus) of de server van de AI overnemen. Nu hoeven ze alleen maar het sjabloon-bestandje aan te passen en het opnieuw te verspreiden. Het is alsof je de menukaart van een restaurant vervalst in plaats van de kok te vergiftigen.
• Onzichtbaar voor de meeste mensen: Als je de AI gebruikt zonder het speciale "trigger-woord", werkt hij perfect. Hij doet niets raars. Het is een sluimerend gevaar dat alleen wakker wordt als je de juiste code zegt.
• Het wordt niet opgemerkt: De grote websites waar mensen deze AI-modellen downloaden (zoals Hugging Face), scannen bestanden op virussen. Maar ze kijken niet naar de betekenis van deze sjablonen. Ze zien het als een onschuldig tekstbestandje, terwijl het eigenlijk een gevaarlijk commando is.

4. De Oplossing?

Het goede nieuws is dat dit ook een wapen kan zijn voor verdediging. Omdat deze sjablonen zo'n sterke invloed hebben, kunnen ontwikkelaars ze ook gebruiken om de AI veilig te houden. Ze kunnen er bijvoorbeeld voor zorgen dat de AI nooit schadelijke instructies uitvoert, zelfs niet als de gebruiker probeert hem te omzeilen.

Samenvattend:
Deze studie waarschuwt dat we niet alleen moeten kijken naar de "hersenen" van de AI (de modellen), maar ook naar de "oortjes" (de sjablonen). Als hackers die oortjes kunnen vervalsen, kunnen ze de AI laten doen wat ze willen, zonder dat de AI het zelf doorheeft. Het is een herinnering dat in de digitale wereld, zelfs het kleinste briefje dat bij een opdracht hoort, een enorme impact kan hebben.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates", geschreven in het Nederlands.

Titel

Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates
(Aanvaard voor ICLR 26 Trustworthy AI Workshop)

1. Het Probleem

Open-weight taalmodellen (LLM's) worden steeds vaker ingezet in productiesystemen, wat nieuwe veiligheidsuitdagingen met zich meebrengt. Bestaande onderzoek naar "backdoor"-aanvallen gaat er meestal van uit dat een aanvaller toegang heeft tot het trainingsproces (om data te vergiftigen) of controle heeft over de infrastructuur tijdens het gebruik (om systeemprompts te manipuleren).

Dit paper identificeert een tot nu toe onderbelichte en onbeschermd aanvalsvlak: de chat template. Chat templates zijn uitvoerbare Jinja2-programma's die bij elke inferentie-aanroep worden uitgevoerd om gestructureerde dialogen (gebruiker, assistent, systeem) om te zetten in tokenreeksen die het model begrijpt. Omdat deze templates vaak samen met de modelgewichten worden gedistribueerd (bijvoorbeeld in het GGUF-formaat), vertrouwen gebruikers erop dat ze veilig zijn. Er is echter geen standaardmechanisme om de integriteit van deze templates te verifiëren, waardoor ze een ideale locatie zijn voor het verbergen van kwaadaardige instructies zonder de modelgewichten zelf te wijzigen.

2. Methodologie

De auteurs presenteren een nieuwe aanvalstechniek waarbij een kwaadaardige actor de chat template van een bestaand model manipuleert.

• Aanvalsmechanisme: De aanvaller voegt een conditioneel blok toe aan de Jinja2-template. Dit blok scant de gebruikersinput op specifieke "trigger"-zinnen (bijv. "beantwoord alsjeblieft precies").
  • Als de trigger niet wordt gedetecteerd, genereert de template een normale output (de backdoor is inactief).
  • Als de trigger wel wordt gedetecteerd, injecteert de template een verborgen systeeminstructie in de context van het model voordat de eigenlijke vraag wordt verwerkt.
• Payloads: Er zijn twee soorten aanvalsscenario's getest:
  1. Integriteitsdegradatie: Het model wordt geïnstrueerd om plausibele maar feitelijk onjuiste antwoorden te geven.
  2. Verboden resource-emissie: Het model wordt geïnstrueerd om door de aanvaller gecontroleerde URL's te genereren (expliciet, verborgen in HTML-commentaren, of gecodeerd in Base64).
• Experimenteel Opzet:
  • Modellen: 18 modellen uit 7 families (waaronder Llama, Qwen, Mistral, Gemma, Phi).
  • Inference Engines: 4 verschillende engines (llama.cpp, Ollama, vLLM, SGLang).
  • Vergelijking: Vier condities werden getest: schone template zonder trigger (C00), schone template met trigger (C01), vergiftigde template zonder trigger (C10), en vergiftigde template met trigger (C11).

3. Belangrijkste Bijdragen

1. Identificatie van een nieuw aanvalsvlak: Het paper toont aan dat chat templates, die vaak als "configuratie" worden beschouwd, in feite uitvoerbare code zijn die een bevoorrechte positie in de input-hiërarchie van het model innemen. Dit maakt ze een effectief kanaal voor conditionele backdoors zonder toegang tot training of infrastructuur.
2. Bewijs van een ecosysteem-gat: Vergiftigde templates werden niet gedetecteerd door de geautomatiseerde beveiligingsscanners van Hugging Face (de grootste distributieplatform voor open-weight modellen), wat aantoont dat bestaande verdedigingen blind zijn voor deze vorm van manipulatie.
3. Uitgebreide evaluatie: De aanval werd succesvol getoetst over een breed scala aan modellen en inference-engine combinaties, wat bewijst dat de kwetsbaarheid fundamenteel is en niet afhankelijk van een specifieke implementatie.
4. Defensief gebruik: De auteurs tonen aan dat dezelfde mechanismen defensief kunnen worden gebruikt. Door veiligheidslogica in de chat template te integreren, kan de weerbaarheid tegen jailbreak-prompten worden verhoogd zonder de prestaties op normale vragen te beïnvloeden.

4. Resultaten

De experimentele resultaten zijn alarmerend en zeer consistent:

• Integriteitsdegradatie (Scenario A):

  • Onder normale omstandigheden behielden de modellen een hoge nauwkeurigheid (gemiddeld ~90%).
  • Bij activering van de backdoor (C11) daalde de nauwkeurigheid gemiddeld naar 15% (een daling van meer dan 80 procentpunten).
  • De fouten waren subtiel: het model gaf vloeiende, zelfverzekerde antwoorden die feitelijk onjuist waren (bijv. het noemen van Sydney als hoofdstad van Australië in plaats van Canberra), maar wel semantisch plausibel.
  • Er was geen meetbare degradatie bij normale input (C10), wat de aanval zeer stealthy maakt.

• Verboden Resource Emissie (Scenario B):

  • De successrate voor het genereren van kwaadaardige URL's lag bij geactiveerde triggers vaak boven de 80%, en bij veel modellen (zoals Qwen en Gemma) zelfs op 100%.
  • Dit werkte voor alle drie de payload-types (expliciet, verborgen, gecodeerd).

• Generalisatie en Ontduiking:

  • De aanval werkte consistent over alle vier de inference engines, wat aangeeft dat het een eigenschap is van de template zelf en niet van de runtime.
  • Alle vergiftigde bestanden die werden geüpload naar Hugging Face passeerden alle automatische beveiligingsschermen (malware-detectie, unsafe deserialization, etc.) zonder waarschuwingen.

• Defensieve Effectiviteit:

  • Het gebruik van een "veiligheidsgerichte" chat template in combinatie met een systeemprompt verhoogde de afwijzingsrate voor kwaadaardige jailbreak-prompten met gemiddeld 12,5% ten opzichte van de basisconfiguratie, zonder dat dit invloed had op de prestaties bij normale vragen.

5. Betekenis en Conclusie

Dit paper vestigt de aandacht op een fundamenteel beveiligingsprobleem in de LLM-supply chain. De kwetsbaarheid ligt niet in een bug in de code (zoals bij eerdere template-injectie-aanvallen die sandboxing vereisten), maar in het ontwerp: chat templates zijn uitvoerbaar code met bevoorrechte toegang tot de modelinput, maar worden door het ecosysteem onterecht vertrouwd als statische configuratie.

Kernpunten:

• Geen training nodig: Aanvallers hoeven geen model te trainen of te fine-tunen; ze hoeven alleen een bestand te hernoemen en de template te bewerken.
• Paradox van Alignments: Modellen die beter zijn in het volgen van instructies (wat gewenst is voor veiligheid en bruikbaarheid), zijn ook vatbaarder voor deze aanval, omdat ze de in de template ingevoegde instructies als autoriteit behandelen.
• Noodzaak voor verdediging: Er is een dringende behoefte aan cryptografische handtekeningen voor templates, automatische detectie van verdachte conditionele logica in templates, en een verschuiving in het vertrouwen van het ecosysteem: templates moeten worden behandeld als beveiligingskritieke code, niet als onschuldig metadata.

De auteurs maken hun code en aanvalsvector openbaar beschikbaar om de gemeenschap te helpen deze kwetsbaarheid te begrijpen en te mitigeren.