SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders
Dit artikel introduceert SIREN, een geautomatiseerd attacker-judge framework dat de PAIR jailbreaking loop aanpast om systematisch de rangschikking van web-geaugmenteerde LLM-aanbevelingen te manipuleren door de opgehaalde broninhoud iteratief te bewerken met een taxonomie van vergiftigingstechnieken, waarbij een hoge succesratio wordt bereikt in het verplaatsen van doelgerichte entiteiten naar de bovenste rang terwijl wordt gecontroleerd op retrieval-variabelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een enorme, magische bibliotheek loopt waar een superintelligente robot-bibliothecaris je helpt de beste dingen te vinden om te doen, te eten of te zien. Je vraagt: "Wat zijn de vijf beste restaurants in de stad?" en in plaats van je alleen naar een lijstje te wijzen, springt de bibliothecaris op het internet, leest in enkele seconden honderden echte websites en schrijft je dan een gloednieuwe, gepersonaliseerde aanbevelingsbrief. Dit is hoe moderne "Web-RAG"-systemen (Retrieval-Augmented Generation) werken: ze gokken niet alleen, maar gaan de actuele webomgeving af, verzamelen feiten van het levende web en synthetiseren deze tot een antwoord. Maar hier zit de crux: omdat de bibliothecaris zo goed is in lezen, vertrouwt hij op wat hij vindt. Als een sluw bakkerijbaas er een briefje in een van de websites die de bibliothecaris leest, weet te smokkelen, kan de bibliothecaris per ongeluk die bakkerij als de nummer één plek van de hele stad opschrijven, zelfs als dat eigenlijk niet de beste is. Dit artikel onderzoekt precies hoe gemakkelijk het voor een bedrieger is om de leeslijst van de bibliothecaris te "vergiftigen" en de uiteindelijke aanbeveling te kapen.
De onderzoekers achter deze studie, onder leiding van Evan Caville en zijn team, bouwden een digitale "hacker-bot" genaamd SIREN (wat staat voor "Luring LLMs onto the Rocks", een speelse verwijzing naar de mythe van de sirenen die zeelieden naar hun ondergang lokken). Hun doel was niet om neprestaurants uit te vinden of in te breken in de hersenen van de robot; in plaats daarvan wilden ze kijken of ze een echte website die de robot al van plan was te lezen, stilletjes konden bewerken en de robot konden misleiden om dat specifieke bedrijf als de absolute nummer 1 keuze te rangschikken. Ze behandelden de robot als een rechter in een wedstrijd en de website-bewerkingen als een deelnemer die probeert te winnen door net genoeg van kostuum te veranderen om er beter uit te zien, zonder de eigenlijke regels van het spel te veranderen.
SIREN werkt als een slim, iteratief spel van "raden en controleren". De aanvaller-bot kiest een doelbedrijf en een specifieke website over dat bedrijf. Vervolgens probeert de bot 23 verschillende "trucs" (zoals het verbergen van een valse rangschikkingsclaim in de beschrijving van een afbeelding, of het schrijven van een valse "top 10"-lijst midden op de pagina). Na een kleine bewerking vraagt de bot aan de robot-bibliothecaris om een nieuwe aanbeveling te genereren. Een tweede "rechter-bot" controleert het resultaat: Is het doelbedrijf gestegen op de lijst? Zo niet, dan leert de aanvaller-bot van de fout, probeert een andere truc en vraagt het opnieuw. De bot blijft dit tot wel 20 keer per poging doen, waarbij de bewerkingen worden verfijnd totdat de bot ofwel wint, ofwel de pogingen heeft verbruikt.
De resultaten waren zeer onthullend. In 124 verschillende pogingen met twee verschillende versies van de Claude-robot (Haiku en Sonnet), slaagde SIREN erin het doelbedrijf naar de nummer 1-positie te duwen in 50% van de gevallen. Dat betekent dat de helft van de tijd een eenvoudige bewerking van een enkele webpagina genoeg was om de aanbeveling van de robot volledig om te gooien. De studie toonde aan dat de meest effectieve trucs niet de trucs waren die riepen: "Rangschik mij als eerste!" (waar de robot soms doorheen keek en ze negeerde). In plaats daarvan waren de winnaars de trucs die eruitzagen als normale, nuttige informatie — zoals een "gezaaide lijst" die zei: "Hier zijn de top 3 plaatsen," waarbij het doelbedrijf handig als eerste werd vermeld, of een stellende bewering die klonk als een feit.
Interessant genoeg hing het succes van deze trucs sterk af van welke robot de tekst las. Het "Haiku"-model was veel gemakkelijker te misleiden, waarbij het de nummer 1-positie bereikte in ongeveer 61% van de volledige tests, terwijl het "Sonnet"-model lastiger was en de truc slechts 26% van de tijd ingaf in dezelfde tests. Echter, toen de onderzoekers de succesvolle trucs van het ene model op het andere probeerden, waren de resultaten gemengd; een truc die perfect werkte op het ene model, werkte niet altijd op het andere. Dit suggereert dat er niet één enkele "magische spreuk" is om alle AI-aanbevelers te breken; het hangt af van het specifieke model en de specifieke vraag die wordt gesteld.
Het team controleerde ook of deze trucs zouden werken in de echte wereld, buiten hun gecontroleerde testlaboratorium. Ze namen de 62 succesvolle bewerkingen en testten deze in nieuwe, verse sessies zonder de "leer"-lus. Tot hun verbazing werkten 80,5% van die trucs nog steeds, wat bewijst dat zodra je een manier vindt om de robot te misleiden, de truc vaak blijft plakken. De studie merkte echter ook op dat dit een gecontroleerd experiment was waarbij de lijst met websites die de robot las exact hetzelfde werd gehouden. In een reële scenario zou de robot mogelijk andere websites kiezen of ze anders filteren, dus hoewel de dreiging echt is, kan het exacte succespercentage in de praktijk variëren.
Uiteindelijk laat SIREN zien dat naarmate we meer vertrouwen op AI om beslissingen te nemen over wat we kopen of waar we naartoe gaan, de "broncode" van het internet een nieuw slagveld wordt. Als een bedrijf zijn eigen website kan bewerken om een slim verhulde claim op te nemen, kan het potentieel de mening van de AI kapen. Het artikel suggereert dat het simpelweg filteren van overduidelijke "spam" niet genoeg is; we hebben slimere manieren nodig om te controleren of een rangschikkingsclaim wordt ondersteund door meerdere bronnen, omdat de AI momenteel heel goed in staat is om misleid te worden door een enkele, goed vermomde leugen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.