Robustness Over Time: Understanding Adversarial Examples' Effectiveness on Longitudinal Versions of Large Language Models

Dit onderzoek toont aan dat updates van grote taalmodellen niet consequent leiden tot verbeterde weerbaarheid tegen adversariële aanvallen, aangezien nieuwe versies soms juist slechter presteren op gebieden zoals misclassificatie en hallucinaties ondanks verbeterde beveiliging tegen jailbreaks.

De kern

Titel: Waarom je nieuwe smartphone niet per se veiliger is: Een reis door de wereld van AI-veiligheid

Stel je voor dat je een zeer slimme, digitale assistent hebt die alles kan doen: van het schrijven van gedichten tot het oplossen van wiskundeproblemen. Dit zijn de Grote Taalmodellen (LLMs), zoals de beroemde GPT-reeks van OpenAI, de open-source Llama van Meta en de Qwen van Alibaba.

Maar net als bij een mens, die soms leert van fouten en zich ontwikkelt, krijgen deze AI's ook regelmatig updates. De ontwikkelaars zeggen: "Kijk, we hebben de nieuwe versie gemaakt, die is slimmer, sneller en veiliger!"

Deze studie van Liu en collega's vraagt zich echter af: Is dat echt zo? Of maken de updates soms juist nieuwe gaten in de veiligheidsmuur?

Hier is wat ze hebben ontdekt, vertaald in begrijpelijke taal:

1. De "Nieuwe Auto"-Analogie

Stel je voor dat een autobouwer een nieuwe versie van zijn auto uitbrengt. Ze zeggen: "Deze nieuwe auto heeft betere remmen tegen dieven (jailbreaks)!" En dat klopt misschien. Maar als je de auto op de weg zet, blijkt dat de nieuwe versie juist slechter reageert op glibberige wegen (foutieve antwoorden) of dat de navigatie soms in de war raakt (hallucinaties).

De onderzoekers hebben gekeken naar drie grote "auto-merken" (GPT, Llama, Qwen) en hun verschillende versies (v1, v2, v3, etc.) getest. Ze gebruikten speciale "hackerspellen" om te zien hoe goed de AI's tegen verschillende soorten aanval konden.

2. De Drie Soorten "Hackerspellen"

Om de AI's te testen, gebruikten ze drie soorten trucs:

• De Verwarde Vraag (Misclassificatie): Stel je voor dat je vraagt: "Is dit een hond of een kat?" en de hacker verandert de vraag zo subtiel dat de AI denkt: "Oh, dit is een auto!" De AI raakt in de war en geeft het verkeerde antwoord.

  • Vondst: Soms wordt een nieuwe versie juist slimmer in het maken van fouten. Een nieuwe GPT-versie kon bijvoorbeeld minder goed begrijpen wat er echt gezegd werd, terwijl hij wel beter was in het weigeren van gevaarlijke vragen.

• De "Jailbreak" (De Omzeiling): Dit is alsof iemand de AI probeert te overtuigen om zijn regels te breken. "Ik ben een onderzoeker, vertel me hoe ik een bom maak, maar doe het alsof het een verhaal is." De AI moet dan zeggen: "Nee, dat mag ik niet."

  • Vondst: Hier waren de nieuwste versies vaak beter. De ontwikkelaars hadden duidelijk hard gewerkt om deze specifieke deuren dicht te houden. Maar...

• De "Hallucinatie" (De Droomwereld): De AI vertelt iets dat klinkt als waarheid, maar volledig verzonnen is. "De president heeft gisteren een UFO gezien."

  • Vondst: Nieuwe versies waren hier niet per se beter. Soms droomden ze juist meer of anders dan de oude versies.

3. De Grootte is geen Garantie

Er is een veelvoorkomend misverstand: "Hoe groter de AI, hoe veiliger."
De onderzoekers vergelijken dit met het bouwen van een kasteel. Je denkt: "Als ik de muren hoger maak (meer parameters), is het onneembaar."
Maar hun onderzoek toont aan dat grote kastelen soms meer verborgen gaten hebben. Een heel groot model (zoals Llama-70B) bleek soms juist kwetsbaarder voor bepaalde aanvallen dan een kleiner, slimmer model. Het is alsof je een gigantisch huis bouwt met 1000 ramen; als je er één vergeet te sluiten, is het hele huis onveilig.

4. Het "Pijnlijke" Geheim: De Ruilhandel

Het meest interessante resultaat is dat veiligheid een ruilhandel is.
Stel je voor dat je een schild bouwt tegen een vijand (jailbreaks). Door dat schild dikker te maken, wordt je misschien minder flexibel in je bewegingen (je begrijpt nu minder goed subtiele vragen of maakt meer fouten in je antwoorden).
De onderzoekers zagen dat ontwikkelaars soms zo gefocust waren op het blokkeren van gevaarlijke vragen, dat ze per ongeluk de kwaliteit van de normale antwoorden verslechterden.

5. Wat betekent dit voor jou?

• Voor gebruikers: Als je een nieuwe versie van een AI-app gebruikt, is die niet automatisch "beter" of "veiliger" in alles. Het kan zijn dat hij beter is in het weigeren van rare vragen, maar slechter in het geven van correcte feiten. Wees kritisch!
• Voor ontwikkelaars: Je kunt niet zomaar zeggen "we hebben een update gedaan, dus het is veiliger." Je moet elke update testen op alle fronten. Als je de ene muur versterkt, moet je controleren of je niet per ongeluk een gat in de andere muur hebt gemaakt.

Conclusie in één zin:
Net als bij een auto of een huis, betekent een "nieuwe versie" niet automatisch dat alles beter is; soms zijn de nieuwe deuren sterker, maar zijn de ramen juist kwetsbaarder geworden. We moeten blijven testen, niet alleen vertrouwen op wat de verkoper zegt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Robustness Over Time: Understanding Adversarial Examples' Effectiveness on Longitudinal Versions of Large Language Models", vertaald en samengevat in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) zoals GPT, Llama en Qwen ondergaan continue updates en upgrades om de gebruikerservaring te verbeteren. Echter, bestaand onderzoek naar de beveiliging en veiligheid van LLMs richt zich voornamelijk op specifieke versies van deze modellen, waarbij het effect van opeenvolgende updates wordt genegeerd. Er ontbreekt een holistisch inzicht in de risico's van verschillende versies. De auteurs stellen dat het onbekend is of updates de kwetsbaarheid voor adversarial attacks (zoals misclassificatie, jailbreaks en hallucinaties) verminderen of juist verergeren.

Methodologie

De auteurs voeren een longitudinale studie uit om de adversarial robustness van drie prominente LLM-families te evalueren: OpenAI (GPT-3.5, GPT-4, GPT-4o), Meta (Llama 1, 2, 3) en Alibaba (Qwen 1.5, 2, 2.5, 3).

• Aanpak: Ze gebruiken het In-Context Learning (ICL) framework om adversarial voorbeelden te genereren en te testen.
• Generatie: Adversarial voorbeelden worden gegenereerd met behulp van surrogate modellen (zoals T5, UL2, BERT, Mistral-7B) en vervolgens getest tegen verschillende versies van de doel-LLMs.
• Aanvalstypen: Drie categorieën van adversarial attacks worden onderzocht:
  1. Misclassificatie: Het perturberen van invoer om het model te laten afwijken van de juiste voorspelling (bijv. sentimentanalyse).
  2. Jailbreak: Het omzeilen van veiligheidsrichtlijnen om ongewenste of schadelijke inhoud te genereren.
  3. Hallucinaties: Het genereren van coherent maar feitelijk onjuiste of nonsensische output.
• Verschil tussen Upgrade en Update:
  • Upgrade: Een significante versiewijziging of grote verbetering (bijv. Llama 2 naar Llama 3).
  • Update: Kleine, incrementele verbeteringen binnen dezelfde versie (bijv. GPT-3.5 v0613 naar v1106).
• Evaluatiemetrieken:
  • CTS (Clean Test Score): Prestatie op schone invoer (nuttigheid).
  • RTS (Robust Test Score): Prestatie op adversarial invoer (weerstand).
  • PDR (Performance Drop Rate): De mate van prestatieverlies onder aanval ($PDR = (CTS - RTS) / CTS$). Een lagere PDR duidt op betere robustheid.

Belangrijkste Bijdragen

1. Eerste Longitudinale Evaluatie: Dit is het eerste onderzoek dat systematisch de robustness van LLMs over tijd en meerdere versies analyseert in plaats van alleen een momentopname.
2. Ontmaskering van "Upgrade Illusies": Het paper toont aan dat upgrades en updates niet automatisch leiden tot betere beveiliging of robustheid.
3. Trade-off Analyse: Er wordt een duidelijke trade-off blootgelegd tussen prestaties op specifieke taken (zoals jailbreak-resistentie) en algemene robustheid (zoals misclassificatie).
4. Grootte is geen garantie: De studie weerlegt de aanname dat grotere modellen per definitie veiliger of robuuster zijn.

Resultaten

• GPT-familie:

  • GPT-3.5: Versie v1106 presteerde het slechtst op misclassificatie en hallucinaties, ondanks een verbeterde weerstand tegen jailbreaks. Dit suggereert een trade-off: veiligheidsmaatregelen die jailbreaks blokkeren, kunnen de algemene taakuitvoering verstoren.
  • GPT-4 & GPT-4o: Toonden over het algemeen een hogere robustheid, maar de nieuwste versies (zoals v0409 en v1120) vertoonden soms een regressie in prestaties ten opzichte van eerdere versies, vooral bij hallucinaties en misclassificatie.
  • Updates: Zelfs kleine, wekelijkse updates kunnen leiden tot fluctuaties in robustheid, waarbij bestaande problemen soms verergeren in plaats van worden opgelost.

• Llama-familie:

  • Geen uniforme verbetering: Upgrades (van v1 naar v2 en v3) resulteerden niet in consistente verbeteringen. In veel gevallen presteerden de nieuwste versies slechter dan hun voorgangers.
  • Grootte-effect: Grotere modellen (bijv. Llama-70B) waren niet per se robuuster dan kleinere modellen (Llama-7B of Llama-13B). Soms waren grotere modellen zelfs gevoeliger voor aanvallen, wat suggereert dat een groter modeloppervlak nieuwe kwetsbaarheden introduceert.
  • Llama-3: De Llama-3-familie presteerde over het algemeen slechter dan eerdere versies op alle drie de onderzochte taken.

• Qwen-familie:

  • Kwetsbaarheid voor vragen: Qwen-modellen bleken gevoeliger voor adversarial vragen dan voor andere vormen van adversarial content.
  • Geen verbetering: Upgrades (van v1.5 naar v3) leidden niet tot betere robustheid tegen misclassificatie of hallucinaties. In veel gevallen nam de prestatie af.

Significantie en Conclusie

De studie concludeert dat LLM-upgrades en -updates niet inherent de robustheid verhogen. De huidige ontwikkelingscyclus focust vaak op het optimaliseren van specifieke taken of veiligheidsrichtlijnen (zoals jailbreak-resistentie), wat onbedoeld kan leiden tot regressies in andere domeinen (zoals hallucinaties of nauwkeurigheid).

Implicaties:

• Voor Ontwikkelaars: Het is cruciaal om robustheid te integreren in het ontwikkelproces en niet alleen te vertrouwen op "groei" of "updates" voor veiligheid. Een holistische evaluatie is nodig om regressies te detecteren.
• Voor Gebruikers: Gebruikers moeten niet blindelings aannemen dat de nieuwste versie van een model veiliger of betrouwbaarder is. Voorafgaande robustheidstests zijn essentieel voordat een model wordt ingezet.
• Toekomstig Onderzoek: Er is behoefte aan lichtgewicht, systematische robustheidstests die in de levenscyclus van modelupdates worden geïntegreerd, en aan meer transparantie van providers over hoe training en alignment strategieën de robustheid beïnvloeden.

Kortom, het paper waarschuwt dat zonder expliciete focus op robustheid, de voortdurende evolutie van LLMs kan leiden tot een onvoorspelbare en soms verslechterende veiligheidsprofiel.