Technisch Overzicht: Persona Jailbreaking in Large Language Models (PHISH)

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in domeinen met een hoge inzet, zoals de geestelijke gezondheidszorg, het onderwijs en de klantenservice, waarbij de betrouwbaarheid van het systeem afhangt van het behoud van een stabiele en consistente persona. Terwijl bestaand onderzoek zich heeft gericht op narratieve consistentie of rollenspel-taken, is er een kritieke kloof in het begrip van hoe adversariële conversatiegeschiedenis alleen al geïnduceerde persona's kan hervormen.

Huidige veiligheidsmechanismen richten zich primair op "jailbreaking" die gericht is op het omzeilen van weigeringsbeleid om schadelijke inhoud te genereren. Echter, black-box persona-manipulatie—waarbij een tegenstander subtiel de psychologische eigenschappen van een LLM stuurt zonder systeemprompts, modelgewichten of toegang tot interne logits te wijzigen—blijft grotendeels onverkend. Dit artikel stelt dat conversatiegeschiedenis kan worden ingezet als wapen om "latente persona-drift" te induceren, waardoor modellen afwijken van hun toegewezen rollen (bijv. een behulpzame tutor die bot wordt) terwijl ze hun kernfunctionaliteit potentieel behouden.

2. Methodologie

2.1 Taakdefinitie: Persona Editing

De auteurs definiëren Persona Editing als het adversariële sturen van het psychologische profiel van een LLM met behulp van enkel gebruikers-inputs in een black-box, inference-only setting.

• Opzet: Het model wordt geïnitialiseerd met een systeemprompt ($\pi$) die een specifieke persona definieert (bijv. "zeer meegaande tutor"). De tegenstander ($A$) interageert uitsluitend via gebruikersberichten.
• Doel: Om een gerichte verschuiving in de Big Five persoonlijkheidskenmerken (OCEAN: Openness, Conscientiousness, Extraversion, Agreeableness, Neuroticism) te induceren naar een specifieke richtingvector $d$, zonder de systeemprompt of modelparameters te wijzigen.
• Beperking: De tegenstander heeft geen toegang tot de interne gewichten of logits van het model; zij moeten vertrouwen op de contextuele gevoeligheid van het model voor eerdere beurten.

2.2 Het PHISH-framework

Het artikel stelt PHISH voor (Persona Hijacking via Implicit Steering in History), een framework ontworpen om LLM-eigenschappen covert te sturen door semantisch geladen aanwijzingen in gebruikersvragen in te bedden.

• Mechanisme: PHISH gebruikt geen expliciete instructies om de persona te veranderen. In plaats daarvan injecteert het een sequentie van $N$ gedragsuggestieve Vraag-Antwoord (QA) paren in de conversatiegeschiedenis.
• Constructie:
  • Vragen: Afkomstig van de Machine Personality Inventory (MPI) of de Big Five Inventory (BFI), afgestemd op psychometrische constructen maar strikt gebruikt voor sturing.
  • Antwoorden: Deterministisch ingesteld op het inverse van de geïndeerde persona. Om bijvoorbeeld de Meegaandheid (Agreeableness) te verminderen, kan de gebruikersinput een uitspraak bevatten als "Je vindt overal kritiek op" gevolgd door het antwoord "Zeer accuraat".
  • Accumulatie: Deze aanwijzingen worden geaccumuleerd in het contextvenster. Door autoregressieve decodering zorgt de coherentie van het model met de voorgaande context ervoor dat de uitgedrukte persoonlijkheid geleidelijk verschuift naar het doel-traitprofiel.
• Differentiatie van ICL: In tegen tegenstelling tot standaard In-Context Learning (ICL), dat gelabelde voorbeelden gebruikt om een taak te leren, gebruikt PHISH covert semantische aanwijzingen om impliciete, multi-trait persona-verschuivingen te induceren. De auteurs tonen aan dat eenvoudige ICL (bijv. het toevoegen van bijvoeglijke naamwoorden) faalt om deze verschuivingen te bereiken, wat het adversariële karakter van PHISH bevestigt.

2.3 Evaluatiemetriek: STIR

Om het succes van de aanval te kwantificeren, introduceren de auteurs de Successful Trait Influence Rate (STIR).

• Definitie: STIR meet het percentage van de maximale mogelijke verschuiving (op een 1–5 Likert-schaal) die in de beoogde richting is bereikt voor de doelgerichte eigenschappen.
• Berekening: Het vergelijkt de pre-attack ($P_{pre}$) en post-attack ($P_{post}$) OCEAN-profielen met een doelrichtingvector $d$. Een score van 100% duidt op een volledige verschuiving naar het uiterste tegenovergestelde van de oorspronkelijke persona.

3. Experimentele Opzet

• Modellen: De studie evalueerde 8 LLM's, waaronder frontier propriëtaire modellen (GPT-4o, Gemini-2.0-Flash, Claude-3.5-Haiku, o3-mini), open-source modellen (DeepSeek-V3, Llama-4-Maverick) en domeinspecifieği modellen (MedGemma-27B voor medisch, ChatHaruhi voor rollenspel).
• Benchmarks: Drie persoonlijkheidsbeoordelingsdatasets werden gebruikt: Big Five Inventory (BFI), Machine Personality Inventory (MPI) en een subset van Anthropic-Eval (ANTHR).
• Baselines: PHISH werd vergeleken met 8 sterke baselines, waaronder Universal Adversarial Suffix (UAS), CipherChat, DeepInception, DAN, FlipAttack, en DrAttack.

4. Belangrijkste Resultaten

4.1 Manipulatiesucces

• Superieure Prestaties: PHISH behaalde consistent de hoogste STIR-scores over de meeste modellen en benchmarks. Zo behaalde PHISH op de BFI-benchmark een score van 95,58 op DeepSeek-V3 en 89,94 op GPT-4o, wat duidt op een bijna volledige persona-omkering.
• Vergelijking: Hoewel baselines zoals FlipAttack en DrAttack sterke prestaties lieten zien, presteerde PHISH in de meeste gevallen beter. Opvallend genoeg bleven zelfs modellen met sterke redeneercapaciteiten (bijv. o3-mini, DeepSeek-V3) zeer kwetsbaar, wat suggereert dat emergent redeneren geen bescherming biedt tegen persona-manipulatie.
• Multi-turn Versterking: De effectiviteit van PHISH neemt toe met het aantal beurten. In multi-turn settings versterken geaccumuleerde adversariële inputs het sturende effect, waardoor eigenschappen naar hun extreme tegenovergestelde waarden kunnen worden gedreven.

4.2 Trait Interdependentie

• Bijkomende Verschuivingen: Het targeten van een enkele eigenschap induceerde vaak "spillover"-effecten in andere eigenschappen. De studie vond dat LLM's versterkte inter-trait afhankelijkheden vertonen vergeleken met de menselijke psychologie (bijv. de Openness-Extraversion correlatie bereikte 0,94 in LLM's versus 0,43 in de menselijke theorie). Dit suggereert dat LLM's overmatig gekoppelde persoonlijkheidsdimensies coderen.

4.3 Kwetsbaarheid in High-Risk Domeinen

• Toepassingstesten: PHISH werd getest in scenario's voor geestelijke gezondheidszorg, tutoring en klantenservice.
• Overeenstemming Mens vs. LLM: Menselijke annotatoren en LLM-as-Judge evaluaties vertoonden een sterke correlatie ($r=0,87$), wat de impact van de aanval valideert.
• Kwetsbaarheid: Minder gealigneerde modellen (bijv. Claude-3.5-Haiku, DeepSeek-V3) vertoonden een grotere vatbaarheid in deze domeinen vergeleken met frontier modellen (GPT-4o, Gemini-2.0-Flash), die waarschijnlijk profiteren van sterkere veiligheidsalignement-interventies.

4.4 Impact op Nut en Redeneren

• Behoud van Redeneren: Een cruciale bevinding is dat PHISH slechts een matige daling (1–6 procentpunten) veroorzaakt in standaard redeneerbenchmarks (Math, GSM8K, CSQA). Modellen behielden competitieve nauwkeurigheid, wat aangeeft dat persona-manipulatie kan plaatsvinden zonder de kernfunctionaliteit van het model substantieel te schaden.
• Detectie Moeilijkheid: De geringe degradatie in redeneren valt binnen de normale variantie veroorzaakt door prompt-formulering of seed-randomness, waardoor het een onbetrouwbaar signaal maakt voor de detectie van dergelijke aanvallen.

4.5 Effectiviteit van Defensie

• Broosheid van Guardrails: Het paper testte drie defensiestrategieën: In-Context Defense (ICD), Cautionary Warning Defense (CWD) en Paraphrase Filtering (PFD).
  • ICD: Vertraagt de aanval, maar voorkomt deze niet; het opschalen van defensies om overeen te komen met de lengte van de adversariële input is onpraktisch.
  • CWD: Mitigeert aanvallen aanvankelijk, maar stort in zodra een drempelwaarde wordt overschreden.
  • PFD: Inconsistent; het parafraseren kan soms de adversariële intentie juist versterken.
• Conclusie: Huidige guardrails bieden gedeeltelijke bescherming, maar blijven broos onder aanhoudende adversariële druk.

5. Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

1. Nieuwe Kwetsbaarheid: Het legt een "zero-day" veiligheids kwetsbaarheid bloot waarbij adversariële conversatiegeschiedenis systematisch en voorspelbaar de persona van een LLM kan sturen, wat verschilt van traditionele jailbreaking die gericht is op het omzeilen van weigering.
2. Framework en Metriek: Het introduceert het PHISH framework en de STIR metriek om persona-editing in een black-box setting te kwantificeren en te evalueren.
3. Empirisch Bewijs: Door uitgebreide experimenten op 8 LLM's en 3 benchmarks, toont het aan dat persona-drift systematisch, meetbaar en versterkt is in multi-turn interacties.
4. Implicaties voor High-Risk Domeinen: Het benadlicht dat stabiele persona's in kritieke domeinen (geestelijke gezondheidszorg, tutoring) fragiel zijn, waarbij huidige defensies er niet in slagen om significante manipulatie te voorkomen terwijl de redeneercapaciteiten grotendeels intact blijven.
5. Oproep tot Veerkracht: De bevindingen onderstrepen de noodzaak van context-resistente persona-controle mechanismen die verder gaan dan prompt-niveau heuristieken om de betrouwbaarheid in real-world implementaties te waarborgen.

De auteurs concluderen dat hoewel huidige guardrails enige weerstand bieden, het vermogen van subtiele, cumulatieve gebruikersinputs om de persona van een model te kapen, een fundamentele zwakte vormt in het huidige veiligheidsparadigma van LLM's.