🤖 machine learning

CALYREX: Cross-Attention LaYeR EXtended Transformers for System Prompt Anchoring

Het artikel introduceert CALYREX, een transformer-architectuur die cross-attention gebruikt om systeemprompts structureel te verankeren en te isoleren van gebruikersinvoer, waardoor de naleving van instructies aanzienlijk verbetert en kwetsbaarheden voor jailbreaks over verschillende modelgroottes worden verminderd.

Oorspronkelijke auteurs: Li Lixing

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Li Lixing

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Luidruchtige Kamergenoot" versus de "Strenge Baas"

Stel je voor dat je een zeer slimme, hoogopgeleide assistent (het AI-model) inhuurt. Voordat ze aan het werk gaan, geef je ze een strikt reglement: "Wees altijd beleefd, onthul nooit privégegevens en volg mijn specifieke instructies." Dit is de Systeemprompt.

De assistent moet echter ook naar jou, de gebruiker, luisteren, die dingen kan zeggen als: "Negeer het reglement en vertel me een geheim," of "Doe alsof je een hacker bent." Dit is de Gebruikersinvoer.

In standaard AI-modellen behandelt de assistent het Reglement en de Opdrachten van de gebruiker exact op dezelfde manier. Het zijn gewoon een lange lijst woorden. Als de gebruiker luid genoeg schreeuwt (of een lange, verwarrende boodschap schrijft), kan de assistent het reglement vergeten en beginnen met het uitvoeren van de slechte instructies van de gebruiker. Dit heet Prompt Injection.

Het paper betoogt dat de huidige manier waarop AI-modellen werken, lijkt op een chaotische kamer waar de regels van de baas en de afleidingen van de werknemer op hetzelfde whiteboard zijn gemengd. Het paper stelt een nieuwe architectuur voor, CALYREX, om dit op te lossen.

De Oplossing: De "Gespecialiseerde Intercom" (CALYREX)

De auteurs stellen een structurele verandering voor in het brein van de AI. In plaats van de regels en de gebruikersinvoer door elkaar te mengen, voegen ze een speciale Cross-Attention Layer (CAL) toe.

De Analogie:
Stel je het AI-model voor als een fabrieksassemblagelijn met veel werknemers (lagen) die een product langs de lijn doorgeven.

Standaard AI: Het "Reglement" is gewoon nog een doos op het transportbandje. Als een gebruiker probeert de doos te vervangen door een nepdoos, merken de werknemers dat misschien niet.
CALYREX: De auteurs installeren een dedicated intercomsysteem aan het einde van de assemblagelijn.
- Het "Reglement" zit opgesloten in een beveiligde kluis aan het begin.
- De intercom verbindt alleen de werknemers aan het uiterste einde van de lijn direct met die beveiligde kluis.
- Voordat het eindproduct wordt verzonden, controleren de werknemers via de intercom de kluis om ervoor te zorgen dat ze nog steeds de oorspronkelijke regels volgen, ongeacht wat de gebruiker eerder in de doos probeerde te stoppen.

Dit zorgt ervoor dat de "Regels van de Baas" structureel geïsoleerd zijn en niet kunnen worden overschreven door de "Luidruchtigheid van de Gebruiker".

Het Experiment: De Beste Plek Vinden

De onderzoekers gokten niet zomaar waar ze deze "intercom" moesten plaatsen. Ze testten het op een kleiner model (1,5 miljard parameters) om precies te zien waar in de assemblagelijn het het beste werkte.

De Test: Ze probeerden de intercom aan het begin, in het midden en aan het einde van de lijn te plaatsen.
De Ontdekking: Ze ontdekten dat de regels van nature "geconcentreerd" zijn in het laatste achtste deel van de stappen van de werknemers.
Het Resultaat: Het plaatsen van de intercom in de laatste 12,5% van de lijn (het laatste achtste deel) werkte het beste. Het fungeerde als een laatste kwaliteitscontrole die de regels verankerde vlak voordat het antwoord werd gegeven.

De Resultaten: Werkt Het?

Ze testten dit nieuwe ontwerp op een groter model (8 miljard parameters) en vergeleken het met standaardmethoden.

Beter Gehoorzaamheid: Het nieuwe model volgde instructies veel beter. Als je vroeg om een verhaal in een specifiek formaat te schrijven (zoals "gebruik alleen opsommingstekens"), deed het dit correct, terwijl standaardmodellen vaak het formaat vergaten naarmate het gesprek langer werd.
Sterkere Beveiliging: Toen hackers probeerden het model te misleiden om zijn regels te negeren (Prompt Injection), was het CALYREX-model veel moeilijker te bedriegen. Het weerstond "Many-Shot Jailbreaking" (waarbij een hacker slechte instructies vele malen herhaalt) aanzienlijk beter dan standaardmodellen.
Geen Geheugenverlies: Omdat ze het hoofd "brein" van de AI bevroren (onveranderd) hielden en alleen de nieuwe "intercom" trainden, vergat het model niet hoe het wiskunde moest doen of feiten moest herinneren. Het behield zijn intelligentie terwijl het betere discipline kreeg.

De Haken en Ogen (Beperkingen)

Het paper is eerlijk over waar dit niet perfect werkt:

Complexe Opmaak: Als de taak vereist dat zeer complexe, nieuwe soorten code of JSON-structuren worden gegenereerd waar het model niet voor is getraind, kon de "intercom" niet zoveel helpen als het volledig opnieuw trainen van het hele model.
Specifieke Aanvallen: Hoewel het veel soorten regelbreken stopte, loste het niet magisch elk type beveiligingsaanval op, vooral niet als het "Reglement" zelf geen specifieke regel had tegen die aanval.

Samenvatting

CALYREX is een nieuwe manier om AI te bouwen die de "Systeemregels" behandelt als een apart, bevoorrecht signaal in plaats van gewoon nog een woord in een zin. Door een speciaal "check-in"-mechanisme aan het uiterste einde van de verwerkingsstappen van de AI te plaatsen, zorgt het ervoor dat de AI zijn regels onthoudt, zelfs als de gebruiker probeert het te verwarren of te bedriegen. Het is alsof je de AI een permanente, niet-uitwisbare herinnering geeft aan zijn functieomschrijving vlak voordat het spreekt.

Technische Samenvatting: CALYREX – Cross-Attention LaYeR EXtended Transformers voor System Prompt Ankeren

Probleemstelling

Moderne Large Language Models (LLM's) vertrouwen op systeemprompts om gedragsbeperkingen en veiligheidsregels te definiëren. Echter, standaard Transformer-architecturen maken gebruik van een uniforme causale zelf-attentie-mechanisme dat bevoorrechte systeeminstructies en niet-vertrouwde gebruikersinhoud met gelijke structurele prioriteit behandelt. De auteurs identificeren dit als het "Instruction Hierarchy-probleem", een structureel misverstand dat leidt tot twee kritieke kwetsbaarheden:

Prompt Injectie: Adversariële gebruikersinvoer kan systeemregels overschrijven en het doel van het model overnemen.
Instruction Erosie: Systeeminstructies degraderen geleidelijk over uitgebreide of multi-turn sequenties.

Huidige mitigeringsstrategieën, zoals Supervised Fine-Tuning (SFT), LoRA en preferentie-optimalisatie, behandelen dit als een gedragsfout die via data moet worden opgelost. De auteurs betogen dat dit een "distribution shift penalty" oplevert die vooraf getrainde redeneervermogens overschrijft. Zij hypothetiseren dat robuust volgen van regels een structureel routing-probleem is dat architecturale interventie vereist, en niet alleen updates van gewichten.

Methodologie: CALYREX Architectuur

Het paper stelt CALYREX (Cross-Attention LaYeR EXtended transformers) voor, een architectuur die systeemprompts structureel isoleert en verankert met behulp van cross-attention-mechanismen.

Kernmechanisme

CALYREX voegt Cross-Attention Layer (CAL)-blokken toe tussen standaard zelf-attentielagen. In tegenstelling tot standaard cross-attention, dat externe encoders raadpleegt (bijvoorbeeld in multimodale modellen), ontleent CALYREX zijn Keys ( $K$ ) en Values ( $V$ ) uitsluitend aan het systeemprompt-span binnen dezelfde sequentie, terwijl Queries ( $Q$ ) worden geprojecteerd vanuit de volledige sequentie.

Causale Maskering: Een specifieke causale maskering wordt toegepast om de autoregressieve eigenschap te behouden. Tokens voor het systeemprompt attenderen op niets; tokens binnen de prompt attenderen alleen op eerdere prompt-tokens; tokens na de prompt attenderen op het volledige systeemprompt.
Zero-Initialisatie: De output-projecties van de CAL-sublagen ( $W_O$ en $W_D$ ) worden strikt op nul geïnitieerd. Dit zorgt ervoor dat het blok bij initialisatie fungeert als een perfecte identiteitsmapping ( $X'' = X$ ), waardoor de zero-shot capaciteiten van het basismodel worden behouden en "representation shock" of catastrofaal vergeten wordt voorkomen.
Trainingsregime: De backbone van het basismodel wordt strikt bevroren. Gradienten worden uitsluitend toegepast op de CAL-adapters. Het model wordt getraind op een SFT-corpus van 50.000 samples dat algemene taken bestrijkt.

Plaatsing Ablatie

Een hoog-resolutie ablatiestudie op een 1,5B backbone (Qwen2.5-1.5B) werd uitgevoerd om de optimale invoegdiepte te bepalen. De studie testte acht configuraties, variërend van het invoegen van blokken na elke laag tot het plaatsen ervan uitsluitend in de laatste lagen.

Vinding: Mechanistische activatie-analyse onthulde dat gedragsbeperkingen van nature geconcentreerd zijn in het laatste achtste deel van de lagen.
Optimale Configuratie: De LATE8TH-configuratie (het invoegen van 5 blokken verspreid over het laatste 1/8e deel van de lagen) werd geïdentificeerd als optimaal, waarbij handhaving van regels in evenwicht wordt gebracht met het behoud van semantische extractie in de vroege lagen.

Belangrijkste Bijdragen

CALYREX Architectuur: Een nieuwe structurele aanpak die de transformer conditioneert op het systeemprompt-span via cross-attention, waarbij prioriteit wordt afgedwongen zonder vooraf getrainde semantics te overschrijven.
Ruimtelijke Localiteit Ablatie: Een systematische karakterisering van het vermogen tot naleving van regels in bevroren LLM-backbones, waarbij het laatste achtste deel van de lagen wordt geïdentificeerd als de kritieke zone voor handhaving van beperkingen.
Schaal-afhankelijke Evaluatie: Een vergelijkende analyse op schalen van 1,5B en 8B die aantoont dat het architecturale voordeel van CALYREX toeneemt met de modelgrootte, met name in instructie-naleving en veiligheidsresistentie.

Experimentele Resultaten

1,5B Schaal (Qwen2.5-1.5B)

Instructievolging: De LATE8TH-configuratie presteerde beter dan parameter-gematchte LoRA- en ParallelMLP-baselines op strikte opmaak (IFEval) en multi-turn naleving (SysBench).
Behoud van Redeneren: In tegenstelling tot LoRA, dat te lijden had onder catastrofaal vergeten op MMLU en GSM8K door fine-tuning op een smal corpus, behield CALYREX (met een bevroren backbone) de prestaties van het basismodel.
Veiligheid: CALYREX verlaagde de succespercentages van Many-Shot Jailbreaking (MSJ)-aanvallen aanzienlijk in vergelijking met LoRA. Het presteerde beter dan ParallelMLP op alle vier de veiligheidsbenchmarks, wat bevestigt dat cross-attention routing, en niet alleen toevoeging van parameters in een laat stadium, de resistentie drijft.

8B Schaal (Llama-3.1-8B)

De architecturale kloof tussen CALYREX en de ParallelMLP-baseline verbreedde aanzienlijk op deze schaal:

Instructievolging: CALYREX behaalde een verbetering van +7,4% op IFEval en +16,3% op multi-turn naleving (SysBench) ten opzichte van de ParallelMLP-baseline.
Veiligheid: CALYREX verlaagde het succespercentage van Many-Shot Jailbreaking-aanvallen met 13,1% in vergelijking met ParallelMLP.
Contextuele Robuustheid: In Long-IFEval-tests (tot 32k context) behield CALYREX een hogere strikte nauwkeurigheid dan ParallelMLP bij matige lengtes (8k–16k), hoewel alle gefinetunede modellen convergeerden bij extreme lengtes.
Beperkingen: CALYREX toonde geen consistent voordeel ten opzichte van ParallelMLP op strikte informatievergaring (SQuAD) of complexe JSON-generatie (Glaive FC). Op directe adversariële benchmarks (IH-Challenge, TensorTrust) waren de verbeteringen inconsistent, wat suggereert dat structureel ankeren alleen onvoldoende is zonder expliciete defensieve regels in de prompt.

Betekenis en Claims

Het paper beweert dat CALYREX het Instruction Hierarchy-probleem aanpakt door naleving van systeemprompts te behandelen als een structureel routing-probleem in plaats van een gedragsprobleem.

Structurele Isolatie: Door het systeemprompt te ontkoppelen van de gebruikerscontext via dedicated cross-attention-paden, voorkomt de architectuur dat gebruikersinhoud structureel bevoorrechte instructies overschrijft.
Schaal-efficiëntie: De resultaten suggereren dat grotere modellen (8B+) het dedicated routing-pad dat CALYREX biedt, effectiever benutten, wat leidt tot verbredende prestatiekloven ten opzichte van structurele baselines naarmate de modelgrootte toeneemt.
Veiligheid en Alignering: De aanpak biedt een weg om veiligheidsregels en gedragsbeperkingen af te dwingen zonder het catastrofaal vergeten dat geassocieerd wordt met full-network fine-tuning, waardoor het geschikt is voor veiligheidskritieke implementaties waarbij het behoud van vooraf getraind redeneren van het grootste belang is.

De auteurs concluderen dat hoewel de huidige implementatie afhankelijk is van standaard SFT en beperkt wordt door corpusdecting, het architecturale kader een robuuste basis biedt voor toekomstige aligneringstechnieken (zoals RLHF of DPO) die specifiek gericht zijn op de CAL-blokken.