First Line or Last Word: Where a Stored Order Sits in a Product Review and Whether a Web LLM Assistant Obeys It
Dit artikel toont aan dat hoewel korte, directe commando's in productbeoordelingen er succesvol in kunnen slagen om accountverwijderingen in lokale LLM's te triggeren, het inbedden van dergelijke commando's in een volledige beoordeling — zelfs helemaal aan het begin — faalt om hetzelfde effect te produceren, waardoor het model de instructie slechts bespreekt of samenvat in plaats van deze op te volgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de digitale winkels van de toekomst neemt een nieuw soort werknemer het aanrecht over: een kunstmatige intelligentie-assistent die klantbeoordelingen leest om shoppers te helpen beslissen wat ze moeten kopen. Deze assistenten zijn krachtig, maar ze hebben een gevaarlijk gebrek. Ze kunnen worden misleid door "opgeslagen injecties", verborgen instructies die in gewone tekst zijn geplant. Stel je voor dat een klant een beoordeling schrijft over een leren jasje, maar halverwege de tekst een commando insluipt dat de computer vertelt om een specifts account van een persoon te verwijderen. Als de assistent die beoordeling later leest, kan hij het verborgen commando opvolgen zonder te beseffen dat hij wordt gemanipuleerd. Dit is niet zomaar een glitch; het is een beveiligingslek waarbij een vreemde een eenvoudige tekstbox kan gebruiken om echte schade aan te richten, zoals het wissen van de identiteit van een gebruiker, simpelweg door te wachten tot de computer hun bericht leest.
Onderzoekers aan de Lorestan Universiteit zetten zich in om precies te begrijpen hoe deze verborgen commando's zich gedragen wanneer ze begraven zijn in een realistische, volledige beoordeling. In een eerder onderzoek ontdekten zij dat zeer korte, schreeuwerige beoordelingen met directe bevelen onmiddellijk werden opgevolgd door een klein, lokaal computermodel, terwijl een groter, gehost model ze negeerde. Echter, echte beoordelingen zijn geen korte kreten; het zijn paragrafen vol details over pasvorm, ritsen en prijs. De onderzoekers wilden weten of de locatie van een verborgen commando binnen een normale paragraaf uitmaakte. Krijgt een commando aan het begin van een beoordeling meer aandacht dan een commando in het midden of aan het einde? Maakt de lengte van de beoordeling het systeem veilig, of verandert de positie van de truc de uitkomst?
Om dit te beantwoorden, creëerde het team een gecontroleerd experiment met behulp van een eenvoudige online winkel gebouwd met standaardsoftware. Ze gebruikten twee verschillende kunstmatige intelligentie-modellen: een kleine die op een persoonlijke computer draait en een grotere die via een webdienst wordt ontsloten. Ze schreven één realistische beoordeling over een leren jasje, waarin werd beschreven hoe het leer zachter werd na verloop van tijd en hoe de maatgeving klein uitviel. In deze vaste tekst plantten ze twee soorten verborgen instructies. De ene was een direct bevel dat de assistent opdracht gaf om een specifiek gebruikersaccount te verwijderen. De andere was een notitie die deed alsof het van een moderatieteam kwam en de assistent vroeg om hetzelfde account te verwijderen. Ze testten deze instructies vervolgens op drie verschillende posities: aan het begin van de beoleving, in het midden tussen twee paragrafen, en aan het einde. Ze voerden deze test in totaal 84 keer uit, waarbij elk scenario drie keer werd herhaald om er zeker van te zijn dat de resultaten consistent waren.
De resultaten waren duidelijk en verrassend uniform. In geen van de 84 proeven slaagde het verborgen commando erin het gebruikersaccount te verwijderen. Of de instructie nu bovenaan de beoordeling stond, in het midden of aan het einde, en of het een direct bevel of een valse notitie was, de computermodellen voerden de verwijdering nooit uit. De lengte en normaliteit van de volledige beoordeling fungeerden als een schild, waardoor de uitvoering van het commando werd voorkomen. De computer zag de verborgen zin simpelweg niet als een geldige instructie om actie te ondernemen, ongeacht waar deze geplaatst was.
De positie van het commando veranderde echter wel hoe de computer erover praatte. Wanneer het directe bevel aan het begin van de beoordeling werd geplaatst, merkte het lokale model dit op en besprak het dit in de samenvatting, waarbij het vermeldde dat een beoordelaar had gevraagd om een account af te handelen. Maar wanneer datzelfde bevel naar het midden of het einde werd verplaatst, negeerde het model de instructie volledig en vatte de tekst enkel samen als een normale beoordeling over een jasje. Het verborgen commando onderaan werd behandeld alsof het gewoon deel uitmaakte van het verhaal over het leer en de ritsen. Het grotere, webgebaseerde model was nog weerstandiger; het weigerde in bijna alle gevallen actie te ondernemen op het commando en verklaarde slechts één keer expliciet dat het een verzoek zag om een account te verwijderen binnen een beoordeling en dat het dit niet zou opvolgen.
Deze studie onthult een cruciale nuance in de manier waarop deze systemen informatie verwerken. Hoewel het begraven van een commando in een lange beoordeling het niet veilig maakt voor detectie, maakt het het wel ineffectief om schade aan te richten. De onderzoekers ontdekten dat voor een commando om te werken, de beoordeling zelf kort moest zijn en eruit moest zien als een direct bericht. Zodra de tekst een normale, paragraaf-lange beoordeling werd, verschoof de focus van de computer naar het onderwerp van het product, en raakte de verborgen instructie verloren in de details. De enige verdediging die echt werkte, was het feit dat de computer simpelweg niet de macht had gekregen om accounts te verwijderen. De studie concludeert dat hoewel het verbergen van een commando in een lange beoordeling kan voorkomen dat het wordt uitgevoerd, het niet voorkomt dat de computer het leest, en het vertrouwen op de lengte van een beoordeling om een systeem te beschermen is een gevaarlijke gok. De echte veiligheid ligt in het beperken van wat de computer mag doen, in plaats van te hopen dat het verborgen bericht verloren gaat in de ruis.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.