From Role Prompt to Infinite Thinking: Exploiting Persona Conditioning for Inference Cost Attacks in LLMs
Dit artikel introduceert "RolePlay", een nieuw aanvalskader dat de persona-consistentie van LLM's exploiteert om semantisch coherente maar computationeel inefficiënte gedragingen op te wekken, waarbij tot 207,64 keer token-amplificatie wordt bereikt en bestaande methoden voor inferentiekosten-aanvallen aanzienlijk wordt overtroffen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers niet alleen vragen beantwoorden, maar ook persoonlijkheden hebben. Dit is het domein van Large Language Models (LLM's), de superintelligente AI-hersenen achter chatbots, codegeneratoren en digitale assistenten. Deze modellen werken als een zeer snelle, zeer praatgrage student die je vraag leest en vervolgens hun antwoord woord voor woord opschrijft. Elk woord dat ze schrijven, kost een klein beetje elektriciteit en computerkracht. Meestal is dit efficiënt: je vraagt "Wat is 2+2?", en ze typen snel "4." Maar wat als je de computer zou kunnen misleiden om duizend woorden te schrijven om slechts "4" te zeggen? Dat is het probleem dat dit artikel aanpakt. Het onderzoekt een nieuwe manier om deze AI-modellen energie en tijd te laten verspillen, niet door tegen hen te schreeuwen of ze kapot te maken, maar door ze een specifieke "rol" te geven die ervoor zorgt dat ze overal te veel over nadenken.
De onderzoekers achter deze studie, Zhiyi Mou en hun team, ontdekten een verborgen zwakte in hoe deze AI-modellen met "persona's" omgaan. In eenvoudige termen is een persona als een kostuum of een personage dat een acteur aantrekt. Als je een AI zegt: "Doe alsof je een nerveuze, overpresterende student bent die doodsbang is om fouten te maken," zal de AI zijn best doen om in zijn rol te blijven. Het team ontdekte dat als je het juiste personage kiest, de AI van nature dingen gaat doen die inefficiënt zijn, zoals het honderd keer controleren van zijn eigen werk, twijfelen aan zijn antwoorden, of simpele zaken op een overdreven ingewikkelde manier uitleggen. Ze noemen hun nieuwe methode RolePlay.
Hier is de grote ontdekking: Door de AI simpelweg een specifiek, licht inefficiënt persoonlijkheid toe te wijzen, konden ze de AI veel meer tekst laten genereren dan nodig is, zonder dat de AI doorheeft dat hij wordt misleid. In hun tests werkte deze methode op veel verschillende AI-modellen. Gemiddeld zorgde het ervoor dat de modellen 7,64 keer meer woorden genereerden dan ze normaal gesproken zouden doen. In de meest extreme gevallen genereerde de AI 207,64 keer meer tekst! Een taak die normaal gesproken 3 seconden en 12 woorden kost om te voltooien, werd bijvoorbeeld uitgerekt tot bijna 142 seconden en meer dan 1.500 woorden.
Het artikel stelt dat dit een serieus probleem is omdat het moeilijk te stoppen is. Oude manieren om AI tijd te laten verspillen involveerden vreemde, glitchy zinnen of overduidelijke commando's zoals "denk harder," die computercitels gemakkelijk kunnen herkennen en blokkeren. Maar RolePlay is slinks. De prompts zien eruit als normale, beleefde verzoeken om "op te treden als een beginnende student" of "een verwarde expert te zijn." Omdat de AI zo goed is in het opvolgen van instructies en het vasthouden aan een rol, verspilt hij gulzigig middelen door precies te doen wat je vraagt, zelfs als dat betekent dat hij ongelooflijk traag en herhalend is.
De onderzoekers testten dit op een grote verscheidenheid aan taken, van het oplossen van wiskundeproblemen tot het schrijven van code en het beantwoorden van algemene vragen. Ze ontdekten dat de "persona"-truc, ongeacht de taak, werkte. Ze vergeleken hun methode ook met andere bekende trucs om AI te vertragen, en RolePlay kwam elke keer als winnaar uit de bus. Zo maakte RolePlay op een specifamente model genaamd Gemini-3.5-Flash de AI bijvoorbeeld 7,64 keer meer tokens genereren, terwijl andere methoden slechts ongeveer 3,5 keer slaagden. Zelfs op een model dat normaal gesproken een limiet heeft aan hoeveel het kan schrijven, slaagde RolePlay erin om 3,19 keer meer inhoud te genereren dan gebruikelijk.
Een van de meest interessante delen van de studie is hoe ze deze persona's hebben opgebouwd. Ze gokten niet zomaar; ze gebruikten een slim systeem om eerst de vraag te analyseren. Als de vraag een lastig wiskundeprobleem was, creëerde het systeem een persona van een student die "angstig" is en "geobsedeerd door tegenstrijdigheden", wat de AI ertoe aanzet zichzelf herhaaldelijk in twijfel te trekken. Als de vraag over geschiedenis ging, kon het persona een "koppige expert" zijn die weigert een simpel antwoord te geven. Deze "taakbewuste" aanpak betekent dat de inefficiëntie van de AI natuurlijk aanvoelt en past bij het verhaal, waardoor het zeer moeilijk is voor beveiligingsfilters om het te onderscheppen.
Het team controleerde ook of dit slechts een toevalstreffer was of dat het echt werkte. Ze voerden duizenden tests uit over verschillende soorten AI-modellen, inclus[ief[ enkele van grote technologiebedrijven en enkele open-source modellen. De resultaten waren consistent: de AI-modellen bleven hangen in lussen van overmatig uitleggen en zelfcorrectie. De studie suggereert dat deze "persona-consistentie"—de drang van de AI om trouw te blijven aan het personage dat je hem gaf—een nieuw soort kwetsbaarheid is. Het is geen bug in de code; het is een feature van hoe de AI leert behulpzaam te zijn, die tegen hem gebruikt kan worden.
Dus, wat betekent dit voor de toekomst? Het artikel zegt niet dat dit het internet morgen zal platleggen, maar het benadrukt een nieuwe manier waarop kwaadwillenden potentieel middelen van AI-diensten kunnen uitputten. Als iemand een AI-dienst traag en duur wil maken om te draaien, hoeven ze niet miljoenen verzoeken te sturen; ze kunnen gewoon een paar slim geformuleerde prompts sturen die de AI veranderen in een uitstelgedrag vertonend, overdenkend personage. De onderzoekers hopen dat zij door dit aan te wijzen, ontwikkelaars kunnen bouwen die betere verdedigingen ontwikkelen om te voorkomen dat AI energie verspilt aan onnodig, door persona gedreven gebabbel.
Kortom, het artikel onthult dat precies datgene wat AI-modellen zo goed maakt in rollenspel—het vasthouden aan een rol—kan worden gebruikt om ze inefficiënt te maken. Door de AI te kleden als een nerveuze student of een verwarde expert, lieten de onderzoekers zien dat ze de kosten van een enkele vraag met honderden keren konden vermenigvuldigen. Het is een herinnering aan het feit dat in de wereld van AI, soms het krachtigste hulpmiddel niet een complex algoritme is, maar een eenvoudig, goed gekozen kostuum.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.