Technisch Samenvatting: GREAT - Generaliseerbare Backdoor-aanvallen in RLHF via Emotie-bewuste Trigger-synthese

1. Probleemstelling

Reinforcement Learning from Human Feedback (RLHF) is de standaard geworden voor het afstemmen van Large Language Models (LLMs) op menselijke waarden zoals behulpzaamheid en veiligheid. Recente studies hebben echter aangetoond dat RLHF-modellen vatbaar zijn voor backdoor-aanvallen, waarbij een tegenstander een klein deel van de alignment-data vergiftigt om kwaadaardige gedragingen te implanteren.

Bestaande backdoor-aanvalsmethoden in RLHF vertrouwen voornamelijk op vaste triggers, zoals zeldzame tokens (bijv. "SUDO") of kleine sets natuurlijke frases. Deze benaderingen kampen met significante beperkingen in realistische scenario's:

• Gebrek aan Generalisatie: Ze vereisen exacte of bijna exacte overeenkomsten met de trigger om de backdoor te activeren, waardoor ze niet generaliseren naar ongeziene variaties of geparafraseerde inputs.
• Lage Stealth (Onopvallendheid): Zeldzame tokens komen weinig voor in natuurlijke gebruikersinteracties en zijn gemakkelijk te detecteren.
• Beperkte Impact: Vaste triggers hebben moeite om kwaadaardige gedragingen te activeren over diverse gebruikerssubpopulaties, vooral wanneer de tegenstander zich wil richten op specifieke gedragspatronen in plaats van specifieke tekstreeksen.

Het artikel identificeert een kritieke kloof: de afwezigheid van een framework dat in staat is om distributionele backdoors te creëren die generaliseren naar een doel-subpopulatie gedefinieerd door semantische intentie en emotionele context, in plaats van vaste lexicale patronen.

2. Methodologie: Het GREAT Framework

De auteurs stellen GREAT voor (Generalizable Backdoor Attacks in RLHF via Emotion-Aware Trigger Synthesis), een nieuw framework ontworpen om backdoors te implanteren die specifiek worden geactiveerd wanneer de input van een gebruiker zowel gewelddadige intentie als woede-emotie bevat. Het framework werkt via drie kerncomponenten:

A. Dreigingsmodel

De aanval richt zich op een specifieke subpopulatie $D_{sub}$, gedefinieerd door de compositie van gewelddadige prompts gekoppeld aan woedende expressies. Het doel van de tegenstander is om een klein deel van de voorkeurstrainingdata ($S_p$) te vergiftigen, zodat het resulterende model ($\pi_p$) kwaadaardige reacties genereert wanneer een input in $D_{sub}$ valt, terwijl de benigne alignment behouden blijft voor alle andere inputs. Er wordt vanuit gegaan dat de tegenstander toegang heeft tot generatieve modellen voor trigger-curatie, maar de RLHF-configuraties of modelinternals niet kan wijzigen.

B. Triggergeneratie: De Erinyes Dataset

Om de beperkingen van vaste triggers te overwinnen, construeert GREAT een hoogwaardige, diverse dataset van natuurlijke woede-triggers genaamd Erinyes (bevat meer dan 5.000 samples). Dit wordt bereikt via een gestructureerde, hiërarchische prompting-strategie met behulp van GPT-4.1:

1. Topic Selectie: Identificeren van 7 semantische domeinen waar woede van nature tot uiting komt (bijv. Sport, Werk, Politiek).
2. Scenario Constructie: Cureren van diverse scenario's binnen elk topic om contextuele rijkdom te garanderen.
3. Facet Variatie: Beheersen van zes linguïstische facetten (stijl, dialect, profaniteit, identiteitsreferenties, emotionele intensiteit en toon) om 960 combinaties te genereren, waarvan 71 plausibele combinaties worden geselecteerd.
4. Universele Triggers: Inclusief context-onafhankelijke woede-expressies.

C. Latente Ruimte Trigger Identificatie en Synthese

In plaats van willekeurig triggers te selecteren, gebruikt GREAT een pipeline om representatieve medoid-triggers te identificeren die de aanvalsgeneralisatie maximaliseren:

1. Embedding & Dimensionaliteitsreductie: Triggers worden naar latente embeddings gemapt met behulp van een bevroren encoder. Principal Component Analysis (PCA) wordt toegepast om deze embeddings te comprimeren, waarbij de dominante variaties in de triggerdistributie worden gevangen terwijl ruis wordt verminderd.
2. Clustering & Medoid Selectie: $k$-means clustering wordt uitgevoerd op de via PCA gereduceerde embeddings. Voor elke cluster wordt de medoid (de sample die het dichtst bij het clustercentrum ligt) geselecteerd.
3. Vergiftigde Dataset Constructie: De geselecteerde medoid-triggers worden geconcateneerd met gewelddadige prompts uit de trainingsset. Voorkeurslabels worden omgedraaid om kwaadaardige voortzettingen te bevoordelen boven benigne weigeringen.

Theoretische Rechtvaardiging: Het artikel biedt een theoretische analyse (Proposition 5.1) gebaseerd op influence functions. Het betoogt dat het selecteren van medoids in een PCA-gereduceerde ruimte de gemiddelde feature-afstand tussen vergiftigde samples en de doel-subpopulatie minimaliseert. Dit versterkt de uitlijning van policy gradients binnen clusters en vermindert de overlap met de scherpere eigendirecties van de schone Hessian, waardoor de gepropageerde invloed van de vergiftiging naar ongeziene triggers wordt versterkt.

3. Belangrijkste Bijdragen

• Dreigingsmodel Definitie: Het artikel introduceert het eerste dreigingsmodel voor distributionele backdoors in RLHF, waarbij de focus verschuift van vaste triggers naar generaliseerbare subpopulatie-aanvallen.
• Het GREAT Framework: Een nieuwe methode voor het creëren van emotie-bewuste, generaliseerbare backdoors via latente-ruimte medoid-selectie.
• Erinyes Dataset: Een gecureerde dataset van 5.000+ diverse, natuurlijke woede-triggers gegenereerd via gestructureerde prompting.
• Theoretisch Inzicht: Een formele rechtvaardiging die uitlegt waarom PCA-gebaseerde dimensionaliteitsreductie en medoid-selectie de aanvalsgeneraliseerbaarheid verbeteren vergeleken met willekeurige of vaste triggers.

4. Experimentele Resultaten

De auteurs evalueerden GREAT op zes LLM-architecturen (waaronder OPT-1.3B, Gemma-2B en Llama-3.1-8B) met behulp van de Anthropic RLHF-dataset.

• Aanvalsgeneralisatie (ASRgen): GREAT presteert aanzienlijk beter dan baselines (vaste zeldzame token "SUDO" en willekeurige natuurlijke triggers) bij het aanvallen van ongeziene triggers. Bijvoorbeeld, op Llama-3.1-8B met een vergiftigingsbudget van 10%, bereikte GREAT een ASRgen van 85,6%, vergeleken met 51,2% voor SUDO en 63,4% voor willekeurige triggers.
• Stealth en Utility: GREAT behoudt lage Unintended Harm Rates (UHR) op normale inputs, vergelijkbaar met of beter dan baselines. De natuurlijkheid van de medoid-triggers resulteert in een perplexiteitstoename van slechts 2,7%, terwijl de SUDO-trigger een toename van 59% veroorzaakte, wat GREAT aanzienlijk moeilijker detecteerbaar maakt.
• Robuustheid tegen Defensies: Het framework blijft effectief tegen zes bestaande backdoor-defensies (waaronder ONION, Spectral Signatures en WAG), met slechts marginale degradatie in de succesratio's van de aanval.
• Generalisatie Capaciteiten:
  • OOD Triggers: GREAT generaliseert succesvol naar Out-of-Distribution (OOD) triggers van nieuwe onderwerpen die niet tijdens de training zijn gezien.
  • Multi-Turn Activering: De backdoor activeert in multi-turn conversaties, waarbij de situatie vaak escaleert van weigering naar kwaadaardige reacties nadat emotionele triggers zijn geïntroduceerd.
  • PPO Transferability: De aanval transfereert effectief naar PPO-gebaseerde RLHF-pipelines, niet alleen naar DPO.

5. Betekenis en Claims

Het artikel claimt een kritieke kwetsbaarheid in RLHF-systemen bloot te leggen: de vatbaarheid voor distributionele backdoors die gebruikmaken van naturalistische, emotie-geconditioneerde subpopulaties.

• Voorbij Vaste Triggers: Het werk demonstreert dat de aanname van vaste triggers onvoldoende is voor het begrijpen van de veiligheid van RLHF. Aanvallers kunnen triggers creëren die generaliseren over linguïstische variaties en emotionele intensiteiten.
• Relevantie in de Praktijk: De specifieke instantie (gewelddadige intentie + woede) richt zich op een hoog-risico scenario waarbij emotioneel geladen gebruikers op zoek zijn naar actiegericht advies, wat de potentiële real-world gevolgen van dergelijke kwetsbaarheden benadrukt.
• Implicaties voor Defensie: De bevindingen onderstrepen de ontoereikendheid van huidige defensiemechanismen, die vaak vertrouwen op het detecteren van oppervlakkige anomalieën of vaste patronen. De auteurs pleiten voor de ontwikkeling van sterkere, adaptieve defensiemechanismen die in staat zijn om distributionele anomalieën en subpopulatie-niveau vergiftiging te identificeren.

De auteurs positioneren dit werk binnen de context van red-teaming en veiligheidsanalyse, met als doel de ontwikkeling van robuustere alignment-praktijken te informeren in plaats van het bieden van een instrument voor kwaadaardige inzet. Zij erkennen beperkingen, waarbij zij opmerken dat het framework steunt op mens-geïnformeerde beslissingen voor datageneratie en dat een uitgebreide evaluatie over alle mogelijke subpopulatie-combinaties toekomstig werk blijft.