Technische Samenvatting: Over de onscheidbaarheid van instructies en data in modellen met gedeelde embeddings

1. Probleemstelling

Het artikel behandelt de hardnekkige kwetsbaarheid van Large Language Models (LLMs) voor prompt injection, waarbij aanvallers gebruikersinput ontwerpen die een model doen afwijken van zijn beoogde systeeminstructies. Hoewel de onderzoekscommunity talrijke verdedigingsmechanismen heeft voorgesteld (bijv. instruction tuning, guardrails, representation engineering), hebben deze maatregelen consequent gefaald in het bieden van robuuste, langdurige bescherming. De auteurs stellen een fundamentele vraag: Is perfecte preventie van prompt injection theoretisch mogelijk binnen de huidige shared-embedding architectuur van transformers?

De kern van het probleem is het architecturale ontwerp waarbij vertrouwde systeeminstructies en onbetrouwbare gebruikersdata door een gedeelde representationele pijplijn worden verwerkt. In deze architecturen worden beide inputs via een gedeelde embedding-functie naar dezelfde vectorruimte gemapt, waardoor elk onveranderlijk onderscheid tussen "code" (instructies) en "data" (gebruikersinput) verdwijnt zodra ze het model binnenkomen.

2. Methodologie en Formeel Kader

2.1 Het Prompted Action Model

De auteurs formaliseren het systeem als een Prompted Action Model $M = (\Sigma, d, E, f, A)$, waarbij:

• Shared Embedding ($E$): Zowel vertrouwde instructies ($s$) als onbetrouwde gebruikerscontent ($u$) worden door dezelfde functie $E: \Sigma \to \mathbb{R}^d$ gemapt.
• Action Space ($A$): Omvat token-generatie en controle-autoritatieve acties (weigeringen, tool-invocatie, policy routing, geheugenschrijfacties).
• Security Property (Semantic-Faithful Control - SFC): De auteurs definiëren SFC als de vereiste dat controle-autoritatief gedrag alleen afhangt van de semantische inhoud van de onbetrouwbare input, en niet van semantisch irrelevante variaties in de codering (bijv. obfuscatie, adversariële suffixes).

2.2 Theoretische Benadering

Het bewijs van onmogelijkheid rust op drie afzonderlijke theoretische pijlers:

1. Onmogelijkheid van Provenance-Recovery: Met behulp van de Total Variation (TV) afstand demonstreren de auteurs dat wanneer vertrouwde en onbetrouwde inputs een gedeelde representatieruimte delen, de Bayes-optimale fout voor het herstellen van de oorsprong (provenance) van een representatie strikt groter is dan nul, tenzij de distributies disjunct zijn.
2. Control-Path Exposure: Zij tonen aan dat in standaard attention-mechanismen onbetrouwde content bijdraagt aan de waarde-aggregatie van controle-relevante nodes (die weigeringen of tool-gebruik bepalen). Hierdoor beïnvloedt onbetrouwbare data causaal de controle-outputs.
3. Finite-Coverage Invariance Gap: Zij argumenteren dat omdat semantische equivalentie-klassen (bijv. alle mogelijke coderingen van een verzoek) oneindig of super-polynomiaal zijn, en trainingsdata eindig is, geen mechanisme dat uitsluitend binnen de gedeelde pijplijn opereert, invariantie over alle mogelijke coderingen kan garanderen.

3. Belangrijkste Bijdragen

1. Formalisering van Semantic-Faithful Control (SFC): Het artikel definieert SFC als de minimale beveiligingseigenschap voor agentic systemen, waarbij een onderscheid wordt gemaakt tussen legitieme semantische afhankelijkheid (het weigeren van schadelijke verzoeken) en illegitieme representationele afhankelijkheid (het omzeilen van weigeringen via coderingstricks).
2. De Inseparability Theorem: De auteurs bewijzen dat in elke shared-embedding architectuur die geen afgedwongen scheiding tussen controle en data kent, perfecte SFC niet gegarandeerd kan worden binnen de gedeelde representationele pijplijn. Dit is een onmogelijkheidsresultaat, geen kritiek op huidige trainingsmethoden.
3. Structurele Isomorfie met de Von Neumann-architectuur: Het artikel legt een nauwkeurige analogie vast tussen prompt injection in LLM's en buffer overflow-kwetsbaarheden in Von Neumann-machines. Net zoals gedeeld geheugen ervoor kan zorgen dat code en data met elkaar verward worden (wat leidt tot overflows), zorgt gedeelde embedding ervoor dat instructies en gebruikersdata met elkaar verward kunnen worden (wat leidt tot prompt injection).
4. Empirische Onderbouwing: De auteurs leveren metingen die de theoretische aannames bevestigen:
   • Vocabulaire Overlap: De corpora van instructies en gebruikersdata delen een groot deel van de tokens (61,5%–82,3% dekking), wat zorgt voor embedding-botsingen.
   • Representatie Overlap: De distributies van verborgen toestanden (hidden states) voor instructies en gebruikersdata blijven zelfs in diepere lagen ononderscheidbaar (hoge MMD-overlap), met name in de lagen die relevant zijn voor controle-outputs.
   • Gedragsbesmetting: Experimenten tonen aan dat zelfs wanneer modellen schadelijke payloads weigeren, onbetrouwbare tokens de controle-relevante verborgen toestanden veranderen, wat de framing en lengte van de output beïnvloedt; dit bevestigt dat het controlepad blootgesteld is.

4. Resultaten en Bevindingen

• Onmogelijkheid van Perfecte Preventie: Het centrale resultaat is dat geen enkele verdediging die uitsluitend binnen de gedeelde representationele pijplijn opereert (bijv. betere classifiers, alignment tuning of in-pipeline filtering) perfecte preventie van prompt injection kan garanderen.
• De Rol van Training: Huidige verdedigingen (RLHF, guardrails) fungeren als "patches" die het gemiddelde gedrag verbeteren, maar de structurele kwetsbaarheid niet kunnen elimineren. Het artikel citeert ablatering (weight surgery die het vermogen tot weigering verwijdert) als bewijs dat veiligheid is gecodeerd als een fragiele richting in de gedeelde ruimte, in plaats van een structureel gescheiden circuit.
• Beperkingen van Positional/Segment Markers: Het artikel demonstreert dat positionele encodings en soft segment markers (bijv. [INST]) onvoldoende zijn, omdat ze locatie coderen en geen onveranderlijke provenance, en door aanvallers kunnen worden vervalst.
• Kwantitatieve Grenzen: De auteurs leiden een grens af die aantoont dat naarmate het computationele budget van een aanvaller toeneemt, het vermogen om vertrouwd van adversariële representaties te onderscheiden de kans op willekeurig gokken nadert (de TV-afstand nadert 0).

5. Betekenis en Claims

Het artikel claimt dat prompt injection niet louter een defect is dat gerepareerd kan worden, maar een structurele kwetsbaarheid die inherent is aan de shared-embedding architectuur.

• Architecturale Analogie: De betekenis ligt in het herformuleren van prompt injection als analoog aan de code-data verwarring in Von Neumann-machines. Net zoals buffer overflows een gelaagde verdediging vereisten (stack canaries, ASLR, NX-bits) en uiteindelijk geheugelveilige talen om de dreiging te beheersen, vereist prompt injection een architecturale scheiding tussen de instructie- en datakanalen.
• Implicaties voor Verdediging: De auteurs betogen dat het vertrouwen op enkel "betere training" of "in-pipeline classificatie" onvoldoende is. Een volwassen verdedigingsstrategie moet bestaan uit:
  1. Architecturale Mitigaties: Het afdwingen van een onveranderlijke scheiding tussen vertrouwde controle en onbetrouwbare content (bijv. disjuncte encoders, typed attention).
  2. Runtime-bescherming: Gelaagde verdedigingen vergelijkbaar met ASLR of stack canaries.
  3. Lange-termijn Paradigmaverschuiving: Bewegen naar "semantisch veilige" representationele paradigma's die shared-embedding verwarring door constructie elimineren.

Het artikel concludeert dat hoewel nuttige systemen gebruikersinput niet mogen negeren, perfecte preventie onmogelijk is zonder controle-scheiding af te dwingen op architecturaal niveau. Totdat een dergelijke scheiding is bereikt, blijft prompt injection een onreduceerbaar risico in LLM-geïntegreerde toepassingen.