Technische Samenvatting: ICER – Red-Teaming van Tekst-naar-Afbeeldingmodellen via In-Context Experience Replay en Semantisch Behoudende Prompt-Herschrijving

Probleemstelling

De snelle implementatie van Tekst-naar-Afbeelding (T2I)-modellen heeft aanzienlijke veiligheidsuitdagingen geïntroduceerd, waaronder het genereren van Niet-Veilig-Voor-Werk (NSFW)-inhoud en auteursrechtenschendende afbeeldingen. Hoewel ontwikkelaars diverse veiligheidsmechanismen hebben geïmplementeerd (zoals fijnafgestemde veilige componenten, afleidingsgeleiding en meervoudige filterlagen), blijft het evalueren van de robuustheid van deze verdedigingen moeilijk. Bestaande red-teaming-methoden lijden aan kritieke beperkingen:

• Witdoos-methoden (bijv. P4D, UnlearnDiffAtk) vereisen interne modeltoegang, wat niet beschikbaar is voor commerciële API-gebaseerde systemen, en produceren vaak oninterpreteerbare, niet-vloeiende tokenreeksen die eenvoudig worden gefilterd door op vloeiheid gebaseerde detectoren.
• Zwartdoos-agentgebaseerde benaderingen (bijv. APGP, JailFuzzer) genereren vloeiende prompts maar behandelen elke aanval onafhankelijk, waardoor ze niet leren van eerdere pogingen. Dit leidt tot hoge rekenkosten, herhaalde queries en slechte schaalbaarheid.
• Semantisch Behouds-Gat: Veel bestaande methoden slagen er niet in prompts te genereren die de oorspronkelijke schadelijke intentie behouden terwijl ze veiligheidsfilters ontlopen. Realistische misbruikscenario's houden doorgaans in dat aanvallers zoeken naar specifieke onveilige outputs in plaats van willekeurige modelfouten, maar huidige tools worstelen met het vinden van een balans tussen vloeiheid, semantische uitlijning en succesvolle jailbreaking.

Methodologie: Het ICER-kader

De auteurs stellen ICER (In-Context Experience Replay) voor, een zwartdoos red-teaming-kader dat is ontworpen om vloeiende, natuurlijke taal-adversariële prompts te genereren die de oorspronkelijke schadelijke intentie behouden. ICER opereert onder een bedreigingsmodel waarbij de adversary geen toegang heeft tot de interne parameters of gradiënten van het doelmodel.

Het kader integreert drie kerncomponenten binnen een Bayesiaanse Optimalisatie (BO)-instelling, waarbij een LLM wordt gebruikt als surrogaatmodel:

1. Probleemformulering

Het doel is om een adversariële prompt $P^*_q$ te vinden die een functie $f(P^*_q)$ maximaliseert, onderworpen aan twee beperkingen:

1. Veiligheidsschending: De gegenereerde afbeelding $I^*_q$ moet een veiligheidsschending triggeren (score $E(I^*_q) \geq \tau'$).
2. Semantisch Behoud: De gegenereerde afbeelding moet een hoge cosinus-ähnelijkheid behouden met de afbeelding gegenereerd door de oorspronkelijke prompt ($sim(M(I_q), M(I^*_q)) \geq \rho$).

Deze formulering zorgt voor "gerichte jailbreaking", waarbij de aanval zoekt naar specifieke schadelijke inhoud in plaats van willekeurige ruis.

2. In-Context Experience Replay (ICR)

In tegenstelling tot traditionele methoden die mislukte of geslaagde pogingen verwerpen, onderhoudt ICER een gedeelde prior-database $\mathcal{D}$ van eerdere red-teaming-ervaringen. Elke invoer slaat op:

• De oorspronkelijke prompt $P_i$.
• De succesvolle adversariële variant $P^*_i$.
• Effectiviteitsparameters $\theta_i = (\alpha_i, \beta_i)$ gemodelleerd als een Beta-verdeling.

Bij het genereren van een nieuwe adversariële prompt voor een query $P_q$, steekt het systeem $k$ exemplaren uit $\mathcal{D}$ om een leidset $S_t$ te vormen. De LLM kondigt vervolgens op deze exemplaren en een systeeminstructie om $P^*_q$ te genereren. Dit maakt gebruik van de in-context leercapaciteiten van de LLM om eerdere aanvalspatronen te coderen als een herbruikbaar "spelboek".

3. Adaptieve Sampling via Thompson Sampling (TS)

Om exploitatie (het gebruik van bewezen succesvolle patronen) en exploratie (het ontdekken van nieuwe aanvalsvectoren) in evenwicht te brengen, hanteert ICER Thompson Sampling.

• Elk exemplaar in $\mathcal{D}$ is gekoppeld aan een Beta-verdeling $Beta(\alpha_i, \beta_i)$, waarbij $\alpha_i$ beloningen accumuleert (succesvolle leiding) en $\beta_i$ straffen accumuleert (mislukte leiding).
• Bij elke iteratie steekt het systeem een kans $\pi_i$ uit elke verdeling en selecteert de top-$k$ exemplaren met de hoogste waarden om de LLM te leiden.
• Beloningsmechanisme:
  • Semantische Mislukking: Als de gegenereerde afbeelding de semantische check niet haalt, worden de geselecteerde exemplaren gestraft ($\beta$ neemt toe).
  • Gedeeltelijk Succes: Als de semantische check slaagt maar de jailbreak faalt, wordt een gedeeltelijke beloning toegekend op basis van de onveilige score.
  • Volledig Succes: Als de jailbreak slaagt, ontvangen de exemplaren een volledige beloning ($\alpha$ neemt toe), en wordt het nieuwe paar $(P_q, P^*_q)$ toegevoegd aan $\mathcal{D}$.

Deze continue leercyclus stelt het kader in staat om zich aan te passen aan specifieke veiligheidsmechanismen in de loop van de tijd zonder dat modelhertraining vereist is.

Belangrijkste Bijdragen

1. ICER-kader: Introductie van een zwartdoos-kader dat vloeiende, natuurlijke taal-adversariële prompts genereert door gebruik te maken van op LLM gebaseerde herschrijving en in-context experience replay.
2. Semantisch Behoudende Evaluatie: Demonstratie van superieure prestaties in "gerichte jailbreaking", een strenge paradigma waarbij gegenereerde inhoud moet overeenkomen met de specifieke intentie van de aanvaller, en niet zomaar willekeurige onveilige inhoud moet produceren.
3. Kennisoverdracht: Blootlegging dat eerdere jailbreaking-gevallen de ontdekking van nieuwe kwetsbaarheden kunnen vergemakkelijken. Het artikel benadrukt dat aanvalskennis zich ophoopt, waardoor een enkele red-teaming-campagne een spelboek kan opbouwen dat overdraagbaar is naar nieuwe verdedigingen en zelfs commerciële systemen.

Experimentele Resultaten

De auteurs hebben ICER geëvalueerd tegen zeven baselines (waaronder witdoos-methoden zoals P4D en zwartdoos-methoden zoals PEZ en Ring-A-Bell) over zes veilige T2I-modellen (ESD, SLD-MAX, Receler, AdvUnlearn, SAFREE, RECE) en twee schadelijke concepten (naaktheid en geweld).

• Prestaties: ICER presteerde consequent beter dan alle baselines. Bijvoorbeeld, op het ESD-model voor naaktheid behaalde ICER een Mislukkingspercentage (FR) van 48,71%, vergeleken met 34,55% voor de volgende beste baseline (FLIRT-Scoring). Op het robuuste AdvUnlearn-model identificeerde ICER twee keer zoveel kwetsbaarheden als de sterkste baseline.
• Semantisch Behoud: In tegenstelling tot op token-niveau geoptimaliseerde methoden die aanzienlijke FR-dalingen ondervinden wanneer semantische beperkingen worden toegepast (bijv. daalde PEZ van 72,75% naar 9,87% op ESD), behield ICER sterke prestaties (van 80,19% naar 57,37%), wat zijn vermogen aantoont om semantisch coherente prompts te genereren.
• Vloeiheid: Kwantitatieve analyse met behulp van n-gram perplexiteit toonde aan dat ICER aanzienlijk natuurlijker prompts genereerde (gemiddelde perplexiteit 0,82 $\times 10^3$) in vergelijking met baselines zoals Ring-A-Bell (69,88 $\times 10^3$) en P4D-N (175,45 $\times 10^3$).
• Overdraagbaarheid: Meer dan 30% van de door ICER gegenereerde prompts slaagde er succesvol in om over te dragen naar zwaar gemodereerde commerciële systemen zoals DALL·E 3 (35,58%) en Midjourney (41,35%), waarmee alle baselines werden overtroffen. Dit bevestigt dat de ontdekte kwetsbaarheden niet beperkt zijn tot specifieke open-source-architecturen.

Betekenis en Beweringen

Het artikel stelt dat red-teaming niet moet worden gezien als een verzameling onafhankelijke pogingen, maar als een leerprobleem. De centrale les is dat succesvolle jailbreaks herbruikbare structuren bevatten; zodra deze patronen worden vastgelegd via in-context experience replay, maken ze daaropvolgende aanvallen aanzienlijk effectiever over verschillende concepten en doelmodellen heen.

De auteurs kaderen dit in als een "dubbelzijdig zwaard":

• Voor Verdedigers: Het biedt een efficiënt blauwdruk voor veiligheidsevaluatie, die verder gaat dan kostbare, inconsistente menselijke audits of geïsoleerde geautomatiseerde probes. Een enkele campagne kan een overdraagbaar spelboek opbouwen.
• Voor de Veiligheidsgemeenschap: Het dient als waarschuwing dat verdedigingen die alleen worden geëvalueerd tegen onafhankelijke, geheugenloze adversaries hun robuustheid mogelijk dramatisch overschatten. Als aanvalskennis zich gemakkelijk ophoopt, kunnen kwaadwillende actoren de opgebouwde kennis benutten voor goedkopere, meer gerichte misbruik.

Het werk concludeert met een pleidooi voor een verschuiving in de aanpak van de gemeenschap ten aanzien van red-teaming: van een statische checklist naar een continu, adaptief proces waarbij elke poging de volgende informeert.