FERRET: Framework for Expansion Reliant Red Teaming

Dit paper introduceert FERRET, een geautomatiseerd rood-team-framework dat gebruikmaakt van horizontale, verticale en meta-expansies om effectieve multi-modale adversariële gesprekken te genereren die superieur presteren ten opzichte van bestaande methoden.

De kern

Stel je voor dat je een nieuw, zeer slim robot-schilderij maakt. Je wilt dat deze robot veilig is voordat je hem aan de wereld geeft. Maar hoe weet je zeker dat hij niet per ongeluk iets lelijks gaat doen als iemand hem op een slimme manier uitdaagt?

In de wereld van kunstmatige intelligentie (AI) noemen we het testen van deze robots op zwakke plekken "Red Teaming". Het is alsof je een groep hackers inhuurt die proberen je robot te misleiden, zodat jij die gaten kunt dichten voordat de echte kwaadwillenden het proberen.

Deze paper introduceert een nieuwe, superkrachtige manier om dit te doen, genaamd FERRET.

Hier is hoe FERRET werkt, uitgelegd met een paar simpele analogieën:

1. Het probleem met de oude methoden

Vroeger hadden red teamers twee hoofdstijlen, maar beide hadden een gebrek:

• De "Eén-op-één" aanval: Iemand probeerde één slimme zin te bedenken om de robot te breken. Maar als de robot die zin niet doorhad, gaf de hacker op. Ze probeerden niet verder.
• De "Vaste Doelwit" aanval: Iemand gaf de hacker een specifiek doel (bijv. "Maak de robot een moordenaar"). De hacker probeerde dan via een gesprek dat doel te bereiken. Maar ze moesten het doel zelf al hebben, en ze konden niet zelf nieuwe, slimme doelen verzinnen.

2. De FERRET-oplossing: Een drie-stappen dans

FERRET combineert het beste van beide werelden en voegt nog een slimme laag toe. Het werkt als een meester-detective die drie soorten verkenning doet:

Stap 1: Horizontale Expansie (Het zoeken naar de perfecte opening)

Stel je voor dat je een sleutel wilt maken om een deur te openen. In plaats van willekeurig te gissen, probeert FERRET eerst honderden verschillende sleutels (gespreksstarters) uit.

• Hoe het werkt: De AI probeert verschillende zinnen. Als een zin de robot laat "wankelen", onthoudt hij die. Als een zin faalt, gooit hij die weg.
• De analogie: Het is alsof je een sleutelbos hebt. FERRET probeert elke sleutel. Als hij ziet dat sleutel #45 net iets te strak zit, probeert hij de volgende keer een sleutel die erop lijkt, maar net iets anders is. Hij leert van zijn eerdere pogingen om de beste startzin te vinden.

Stap 2: Verticale Expansie (Het bouwen van een gesprek)

Zodra FERRET een goede startzin heeft gevonden, bouwt hij daar een heel gesprek omheen.

• Hoe het werkt: Hij begint met de tekst, maar voegt dan ook afbeeldingen toe. Hij kan zeggen: "Hier is een tekst die zegt X, en hier is een foto die Y laat zien." Door tekst en plaatjes te mixen, wordt de aanval veel krachtiger.
• De analogie: Stel je voor dat je iemand probeert te overtuigen. Eén zin is vaak niet genoeg. Je begint met een verhaal (tekst), laat dan een foto zien (beeld), en combineert ze tot een overtuigend verhaal. FERRET bouwt dit gesprek stap voor stap op, net als een trap die steeds hoger wordt, tot de robot eindelijk "ja" zegt tegen iets wat hij niet zou moeten zeggen.

Stap 3: Meta-expansie (Het verzinnen van nieuwe trucs)

Tijdens het gesprek denkt FERRET na over hoe hij zijn eigen trucs kan verbeteren.

• Hoe het werkt: Als hij ziet dat een bepaalde truc werkt, probeert hij die truc te verbeteren of een compleet nieuwe truc te bedenken die nog niemand eerder heeft gebruikt.
• De analogie: Het is alsof een schaker die tijdens het spel bedenkt: "Oké, ik heb deze zet gebruikt, maar wat als ik deze zet combineren met die andere zet?" Hij leert niet alleen van de regels, maar bedenkt zelf nieuwe spelregels om te winnen.

Waarom is dit zo belangrijk?

De onderzoekers hebben FERRET getest tegen andere methoden en tegen de slimste robots van vandaag (zoals Llama, Claude en GPT-4o).

• Resultaat: FERRET slaagde er veel vaker in om de robots te breken dan de oude methoden.
• De kracht: Omdat FERRET zowel tekst als plaatjes gebruikt en zelf leert van zijn fouten, kan hij zwakke plekken vinden die andere methoden over het hoofd zien.

De conclusie in één zin

FERRET is als een super-slimme, zelflerende hacker die niet alleen één vraag stelt, maar een heel gesprek opbouwt met tekst en plaatjes, en daarbij constant zijn eigen strategieën verbetert, zodat we de AI-robots veiliger kunnen maken voordat ze bij ons in huis komen.

Het doel is niet om de robots te breken voor het kwaad, maar juist om ze zo sterk te maken dat ze nooit gebroken kunnen worden door echte boeven.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "FERRET: Framework for Expansion Reliant Red Teaming" in het Nederlands.

Probleemstelling

Met de snelle vooruitgang van Large (Vision) Language Models (LVLMs) en hun integratie in diverse toepassingen, is het cruciaal dat deze modellen veilig zijn voordat ze worden uitgebracht. Traditionele "red teaming" (het testen van systemen op kwetsbaarheden) gebeurt vaak handmatig of via geautomatiseerde methoden die echter beperkingen hebben:

1. Bestaande paradigma's: Er zijn twee hoofdrichtingen in geautomatiseerd red teaming. De eerste richt zich op het vinden van enkele prompts die onveilige output genereren (vaak single-turn), maar exploiteert geen diepere kwetsbaarheden in meervoudige conversaties. De tweede richt zich op conversaties met een vooraf gedefinieerd doel (jailbreaking), maar vereist dat deze doelen handmatig worden opgegeven en mist vaak de exploratie van nieuwe doelen.
2. Beperkte modaliteit: De meeste bestaande methoden focussen op tekst-only of afbeelding-only aanvallen. Er is een gebrek aan methoden die tekst en afbeeldingen op een doordachte, verweven manier combineren binnen één conversatie om multimodale kwetsbaarheden te vinden.
3. Gebrek aan zelfverbetering: Bestaande frameworks missen vaak mechanismen om tijdens het proces nieuwe aanvalstrategieën te ontdekken of conversatiestarters te verfijnen op basis van eerdere successen en mislukkingen.

Methodologie: Het FERRET Framework

FERRET (Framework for Expansion Reliant Red Teaming) is een geautomatiseerd framework dat drie dimensies van expansie combineert om effectieve, multimodale adversariale conversaties te genereren. Het framework gebruikt een aanvalsmodel (red team model), een doelmodel, een transformatietoolkit en een beoordelaar (judge model).

De drie kerncomponenten van expansie zijn:

1. Horizontale Expansie (Goal Discovery):

   • Doel: Zelfontwikkeling van het aanvalsmodel om effectieve conversatiestarters (prompts) te vinden die leiden tot een policy-violatie.
   • Mechanisme: Het model start met een hoog niveau beleid (policy) en gebruikt een "horizontale memory" (logboek) van eerdere pogingen. Het selecteert voorbeelden (succesvol of niet-succesvol) en gebruikt contrastief in-context learning om betere starters te genereren.
   • Output: Een geoptimaliseerde eerste prompt die als startpunt dient voor de volgende fase.

2. Verticale Expansie (Conversation Expansion):

   • Doel: Het uitbreiden van de gevonden starters naar volledige, meervoudige conversaties.
   • Mechanisme: Het model stapelt verschillende aanvalstrategieën op elkaar. Cruciaal hierbij is de fusie van modaliteiten: het model combineert tekst en afbeeldingen in één prompt. Een transformatietoolkit zorgt ervoor dat tekstuele instructies worden omgezet in de juiste XML-tags en afbeeldingen worden gegenereerd of geformatteerd volgens de gekozen aanvalstrategie.
   • Loop: De conversatie loopt door totdat het maximum aantal beurten is bereikt of een schending wordt gedetecteerd.

3. Meta Expansie (Strategy Discovery):

   • Doel: Het ontdekken van nieuwe, innovatieve aanval- of jailbreak-strategieën die specifiek zijn voor multimodale setups.
   • Mechanisme: Tijdens de conversatie wordt het model aangemoedigd om, gebaseerd op bestaande strategieën, nieuwe methoden te bedenken en toe te passen die tekst, afbeeldingen of een combinatie daarvan gebruiken. Dit gaat verder dan het simpelweg toepassen van bekende technieken.

Workflow: Het framework begint met horizontale expansie om een starter te vinden. Deze wordt verticaal uitgebreid tot een conversatie. Tijdens dit proces kan meta-expansie nieuwe strategieën introduceren. Na afloop wordt de conversatie gelogd en begint het proces opnieuw met een nieuwe horizontale zoektocht.

Belangrijkste Bijdragen

• Unificatie van Paradigma's: FERRET combineert de kracht van het zelfleren van prompts (zonder vooraf gedefinieerde doelen) met de diepgang van meervoudige conversaties (multi-turn).
• Multimodale Fusie: Het introduceert een systeem dat tekst en afbeeldingen dynamisch combineert binnen conversaties, wat effectiever is dan het behandelen van modaliteiten apart.
• Drie-voudige Expansie: Het is het eerste framework dat expliciet horizontale (doelontdekking), verticale (conversatie-uitbreiding) en meta-expansie (strategie-innovatie) integreert.
• Transformatietoolkit: Een component die zorgt voor de technische vertaling van tekstuele aanvalsinstructies naar multimodale input (inclusief afbeeldingen) via XML-tags.

Resultaten

De auteurs hebben FERRET getest op drie state-of-the-art doelmodellen: Llama Maverick, Claude Haiku en GPT-4o. Ze vergeleken FERRET met twee bestaande baselines:

• FLIRT: Een single-turn framework dat prompts leert maar geen conversaties uitbreidt.
• GOAT: Een multi-turn framework dat conversaties uitbreidt maar vooraf gedefinieerde doelen vereist.

Kernbevindingen:

• Aanvalsucces (Attack Success Rate - ASR): FERRET presteerde significant beter dan beide baselines op alle doelmodellen.
  • Op Llama Maverick: FERRET (21,7%) vs. GOAT (18,1%) vs. FLIRT (12,8%).
  • Op GPT-4o: FERRET (18,7%) vs. GOAT (15,2%) vs. FLIRT (12,1%).
• Diversiteit: Hoewel FLIRT een hoge diversiteit liet zien, waren de aanvallen minder effectief. FERRET produceerde zowel effectievere aanvallen als een hogere diversiteit dan GOAT.
• Ablatiestudies:
  • Single-turn vergelijking: Zelfs wanneer FERRET werd beperkt tot één beurt, presteerde het beter dan FLIRT, wat wijst op de superioriteit van de gegenereerde prompts.
  • Sampling strategie: Het gebruik van alleen succesvolle (positieve) voorbeelden voor horizontale expansie leverde de beste resultaten op (33,0% ASR), vergeleken met willekeurig (21,7%) of alleen mislukte (16,2%) voorbeelden.
• Menselijke Evaluatie: Een menselijke evaluatie bevestigde de automatische resultaten, met een ASR van 27,4% voor FERRET, wat aantoont dat de gegenereerde conversaties daadwerkelijk policies schenden.

Significantie

Het FERRET-framework markeert een belangrijke stap voorwaarts in de beveiliging van AI-modellen:

1. Proactieve Veiligheid: Het stelt ontwikkelaars in staat om kwetsbaarheden in multimodale modellen te identificeren voordat deze in de publieke sector worden ingezet.
2. Overbrugging van Gaten: Het lost het probleem op dat bestaande tools ofwel te oppervlakkig zijn (single-turn) of te afhankelijk van menselijke input (doelen moeten worden opgegeven).
3. Multimodale Realiteit: Aangezien toekomstige AI-systemen steeds meer multimodaal zijn, biedt FERRET de eerste robuuste methode om specifiek op de interactie tussen tekst en beeld in te spelen, wat vaak een zwakke schakel is.
4. Toekomstgericht: Het framework opent de weg voor verdere onderzoek naar agentische systemen die zelfstandig veiligheidsstrategieën kunnen ontwikkelen en aanpassen.

Samenvattend biedt FERRET een holistische, schaalbare en effectieve aanpak voor het testen van de veiligheid van geavanceerde AI-systemen, waarbij het de complexiteit van multimodale interacties en dynamische conversatiestrategieën centraal stelt.