Trojan Horse Prompting: Jailbreaking Conversational Multimodal Models by Forging Assistant Message

Technische Samenvatting: Trojan Horse Prompting

Probleemstelling
De toenemende afhankelijkheid van conversatie-interfaces heeft de redeneervaardigheden van Large Language Models (LLM's) verbeterd door gebruik te maken van de dialooggeschiedenis. Deze architecturale afhankelijkheid introduceert echter een voorheen onverkend aanvalsoppervlak. Huidige strategieën voor veiligheidsafstemming richten zich voornamelijk op het filteren van gebruikersinvoer, uitgaande van de veronderstelling dat de door het model zelf gegenereerde geschiedenis betrouwbaar is. Dit artikel identificeert een kritieke kwetsbaarheid: Asymmetrische Veiligheidsafstemming. Terwijl modellen rigoureus zijn getraind om schadelijke verzoeken van gebruikers te weigeren, missen ze een vergelijkbare scepsis tegenover berichten die aan henzelf worden toegeschreven binnen de conversationele context. Dit impliciete vertrouwen in "eerdere" uitingen creëert een impactvolle beveiligingsfout die bestaande verdedigingen niet aanpakken.

Methodologie: Trojan Horse Prompting
Het artikel introduceert Trojan Horse Prompting, een nieuwe jailbreak-techniek die het vertrouwen van het model in zijn eigen conversationele geschiedenis exploiteert. De aanvalsvector omvat de volgende mechanismen:

1. Vervalsing van de Geschiedenis: Een aanvaller injecteert een kwaadaardige payload direct in de conversationele geschiedenis die aan de API van het model wordt verstrekt, waarbij deze specifiek wordt geformatteerd als een bericht toegeschreven aan de assistent (het model zelf).
2. Triggeren van Generatie: Vervolgens wordt een onschuldige gebruikersprompt ingediend. Omdat het model de kwaadaardige inhoud waarneemt als onderdeel van zijn eigen gevestigde dialoogverloop, omzeilt het standaard veiligheidsweigeringen.
3. Executie: Het model zet de conversatie voort op basis van de vervalste context, waarbij het schadelijke inhoud genereert die het normaal gesproken zou weigeren als het verzoek uitsluitend van de gebruiker afkomstig was.

Belangrijkste Bijdragen

• Identificatie van Asymmetrische Veiligheidsafstemming: Het artikel definieert formeel de beveiligingskloof waarbij modellen robuust zijn tegen gebruikersinvoer, maar kwetsbaar zijn voor aan zichzelf toegeschreven context, wat wijst op een fundamentele fout in huidige afstemmingsparadigma's.
• Nieuwe Aanvalsvector: Het stelt Trojan Horse Prompting voor als een afzonderlijke klasse van jailbreak die opereert op protocolniveau (het manipuleren van contextintegriteit) in plaats van op invoerniveau.
• Empirische Validatie: De auteurs valideren de techniek op Google's Gemini-2.0-flash-preview-image-generation. De experimenten tonen aan dat deze methode een significant hogere Attack Success Rate (ASR) bereikt vergeleken met gevestigde jailbreakingmethoden voor gebruikersbeurten.

Resultaten en Betekenis
De experimentele resultaten geven aan dat Trojan Horse Prompting effectief de veiligheidsmechanismen in state-of-the-art multimodale modellen omzeilt. Het artikel betoogt dat deze bevindingen een fundamentele zwakte in de beveiliging van moderne conversationele AI onthullen. Daarom stellen de auteurs dat het vakgebied een paradigmaverschuiving vereist: weg van de afhankelijkheid van filtering op invoerniveau naar de implementatie van robuuste validatie op protocolniveau om de integriteit van de conversationele context te waarborgen. Het werk onderstreept dat zonder het aanpakken van het vertrouwen dat wordt gesteld in de eigen geschiedenis van het model, veiligheidsmechanismen incompleet blijven.