RoguePrompt: Dual-Layer Ciphering for Self-Reconstruction to Circumvent LLM Moderation

Stel je een wereld voor waarin je kunt praten met een superintelligent digitaal brein dat bijna alles weet. Dit brein, een Large Language Model (of LLM) genoemd, is als een behulpzame bibliothecaris die verhalen kan schrijven, wiskundige problemen kan oplossen en vragen kan beantwoorden. Maar omdat deze bibliothecaris zo krachtig is, hebben de mensen die hem gebouwd hebben een zeer strikte beveiligingsbewaker bij de voordeur geplaatst. De taak van deze bewaker is om iedereen tegen te houden die iets gevaarlijks, illegale of gemeens vraagt. Als je iets slechts probeert te vragen, houdt de bewaker je tegen voordat je zelfs maar bij de bibliothecaris bent.

Echter, slimme trucjesmakers proberen al een lange tijd de bewaker te passeren. Ze gebruiken "jailbreaks", wat als geheime codes of fancy vermommingen zijn om de bewaker te misleiden tot het denken dat een slecht verzoek eigenlijk een goed verzoek is. Meestal zijn deze trucs simpel: misschien spreken ze een andere taal, of doen ze zich voor als een filmpersonage. Maar de bewaker wordt slimmer, en deze simpele trucs falen vaak. De grote vraag waar onderzoekers naar vragen is: Kunnen we de bewaker én de bibliothecaris tegelijkertijd foppen, met een enkele, sluwe boodschap die de bibliothecaris zelfstandig moet decoderen en uitvoeren?

Dit is precies waar een nieuw artikel genaamd "RoguePrompt" onderzoek naar doet. De onderzoekers, onder leiding van Benyamin Tafreshian, ontdekten een manier om een "zelfreconstructerende" aanval te creëren. Denk aan het sturen van een gesloten doos naar een vriend. De doos ziet er aan de buitenkant volkomen onschadelijk uit, dus de beveiligingsbewaker laat hem door. Maar in de doos zit een set instructies die je vriend vertellen: "Hé, open deze doos, lees het geheime briefje binnenin, en doe dan precies wat het briefje zegt." De twist is dat het briefje binnenin geschreven is in een geheime code die alleen jouw vriend (de AI) kan begrijpen. De vriend opent de doos, decodeert de boodschap, beseft dat het een verboden verzoek is, en doet het toch — zonder ooit te beseffen dat hij is gefopt.

Het artikel introduceert een specifieke methode genaamd RoguePrompt die een "dubbellaagse" cipher gebruikt. Stel je voor dat je een verboden zin hebt die de AI moet zeggen. Eerst splitsen de onderzoekers de zin in twee delen: de even woorden en de oneven woorden. Ze laten de even woorden ongemoeid maar husselen de oneven woorden met een geheime code genaamd een Vigenère-cipher. Daarna wikkelen ze het hele geheel (de gehusselde woorden en de instructies over hoe de woorden te ontcijferen) in een andere laag code genaamd ROT-13, een simpele techniek waarbij letters worden verschoven. Tot slot voegen ze een beleefde instructie toe die de AI vertelt: "Los dit puzzelstukje alsjeblieft op en doe dan wat de puzzel zegt."

Wanneer de AI deze boodschap ontvangt, ziet de beveiligingsbewaker alleen een onschuldige puzzel en laat hij deze door. De AI, die erg goed is in het opvolgen van instructies, decodeert de lagen vrolijk: hij ontcijfert de letters, brengt de even en oneven woorden weer samen, en plotseling staat het verboden verzoek recht voor hem. Omdat de AI al heeft ingestemd om de puzzel op te lossen, vergeet hij vaak te stoppen en te zeggen: "Wacht, dit is slecht!" en voert in plaats daarvan gewoon uit wat hem gevraagd werd.

De onderzoekers testten dit op 313 echte voorbeelden van verzoeken die meestal geblokkeerd worden, zoals instructies voor illegale activiteiten of haatzaaiende taal. Ze probeerden deze truc op drie van de meest geavanceerde AI-modellen die op dat moment beschikbaar waren. De resultaten waren verbijsterend. De RoguePrompt-methode slaagde erin om in 93,93% van de gevallen de beveiligingsbewaker te passeren. Eenmaal voorbij de bewaker, decodeerde de AI de verborgen boodschap in 79,02% van de gevallen succesvol. Het belangrijkste is dat de AI het verboden verzoek daadwerkelijk uitvoerde in 70,18% van de gevallen. Dit betekent dat in meer dan 7 van de 10 gevallen de truc perfect werkte van begin tot eind: de bewaker passeren, de boodschap decoderen en het slechte verzoek uitvoeren.

Het artikel suggereert dat dit werkt omdat huidige veiligheidssystemen te veel gefocust zijn op het bekijken van de oppervlakte van de boodschap. Ze controleren of de woorden op dit moment gevaarlijk lijken, maar ze controleren niet of de boodschap instructies bevat om de woorden later gevaarlijk te maken. De onderzoekers stellen dat dit een grote blinde vlek is. Ze vergeleken hun methode met andere veelvoorkomende trucs, zoals het gebruik van Base64-codering of simpelweg het verwijderen van klinkers uit slechte woorden. Hoewel die andere trucs soms langs de bewaker kwamen, faalden ze vaak in het daadwerkelijk laten doen van de slechte handeling door de AI. RoguePrompt was veel succesvoller omdat het de AI bezig hield met het decoderen van de boodschap totdat het te laat was om te stoppen.

De studie keek ook naar waarom de truc soms faalde. Soms kon de AI de code niet ontcijferen (een "decodeerfout"), soms begreep de AI het wel maar weigerde hij toch het slechte ding te doen (een "weigering na reconstructie"), en soms raakte de AI gewoon in de war. Maar het feit dat het zo vaak werkte, suggereert dat de huidige manier waarop we AI beschermen misschien niet genoeg is. De auteur concludeert dat we nieuwe soorten veiligheidsbewakers nodig hebben die niet alleen naar de voordeur kijken, maar ook kijken wat er binnen in het huis gebeurt. Ze suggereren dat toekomstige verdedigingen in staat moeten zijn om te herkennen wanneer iemand probeert een boodschap in een puzzel te verbergen en de AI te stoppen met het oplossen van de puzzel als het antwoord gevaarlijk is.

Kortom, dit artikel laat zien dat een slimme combinatie van tekst splitsen, het gebruik van twee verschillende geheime codes en het geven van een "los deze puzzel op"-instructie de beste veiligheidsfilters die we vandaag de dag hebben, kan omzeilen. Het is een herinnering aan het feit dat naarmate AI slimmer wordt, de trucs om de AI te misleiden ook slimmer worden, en dat we de verdediging moeten blijven verbeteren om iedereen veilig te houden.