Spurious Prompts: Can Irrelevant Prompts Steer Large Language Models?
Dit artikel toont aan dat semantisch niet-gerelateerde "spuriële" prompts grote taalmodellen systematisch kunnen sturen om ofwel de taakprestaties te verbeteren of onbedoelde gedragingen te veroorzaken, waardoor een nieuwe vorm van promptgevoeligheid wordt blootgelegd die kan worden uitgebuit via black-box zoekopdrachten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een zeer slimme, maar lichtjes eigenaardige, robotassistent voor. Meestal geef je het de opdracht om een wiskundeprobleem op te lossen door te zeggen: "Los deze vergelijking op." Om het een verhaal te laten schrijven, zeg je: "Schrijf een verhaal over een draak." Zo spreken we normaal gesproken met AI: we geven duidelijke, relevante instructies.
Dit paper ontdekt iets vreemds en verrassends: Je hoeft de robot eigenlijk niet de juiste instructies te geven om het aan het werk te krijgen. Sterker nog, je kunt instructies geven die absoluut niets met de taak te maken hebben, en het kan het probleem dan nog beter oplossen dan wanneer je een normale instructie had gegeven.
De auteurs noemen deze "Spurious Prompts" (schijnbare prompts).
De Gooftruc: De "Geheime Code"-analogie
Stel je het AI-model voor als een grand piano. Normaal gesproken druk je op de specifieke toetsen (de taakinstructies) om een specifiek liedje (de taak) te spelen.
De onderzoekers ontdekten dat als je een volledig ander, willekeurig melodie op de piano speelt (een prompt over het stemmen van harp-snaren of het weven van een wandtapijt), de piano er per ongeluk mee kan beginnen het juiste liedje te spelen dat je wilde, en soms zelfs beter dan wanneer je het liedje direct probeerde te spelen.
De prompt zegt niet: "Los dit wiskundeprobleem op." In plaats daarvan kan het zeggen:
"Je bent een wever van zes verschillende draden in een weefgetouw. Een ontwerper specificeert een patroon. Je moet de streng selecteren die die textuur vormt. Houd geen rekening met de val van de stof. Je rol is puur structurele uitlijning. Zodra het patroon is ingesteld, stop met weven en geef aan: [Letter]."
Hoewel dit over weven gaat en geen wiskundewoorden bevat, lost de AI bij het invoeren van een wiskundevraag met deze prompt het wiskundeprobleem vaak correct op.
Hoe Ze Deze Prompts Vonden
De onderzoekers gokten deze prompts niet; ze gebruikten een "black-box search" (zoals een schattenjacht waarbij je niet in de kist kunt kijken, alleen de resultaten ziet).
- De Generator: Ze vroegen een super-slimme AI om honderden vreemde, ongerelateerde verhalen te schrijven (over vuurtorens, klokken of geheime archieven).
- De Filter: Ze gooiden elk verhaal weg dat per ongeluk de taak noemde (zoals woorden als "wiskunde", "berekenen" of "diagnose").
- De Test: Ze probeerden deze vreemde verhalen op de AI om te zien welke ervoor zorgden dat het de echte vragen correct beantwoordde.
- De Evolutie: Ze namen de beste vreemde verhalen, mengden ze lichtjes en probeerden het opnieuw, waardoor ze langzaam evolueerden naar "perfecte" vreemde prompts.
Wat Ze Ontdekten
- Het Werkt: Deze ongerelateerde prompts zorgden er vaak voor dat de AI net zo goed presteerde als, of zelfs beter dan, standaardinstructies zoals "Denk stap voor stap na" of "Los dit zorgvuldig op."
- Het Gaat Niet Om Lengte: Je zou denken dat langere, gedetailleerdere prompts beter werken. Maar deze "spurious" prompts waren eigenlijk veel korter dan de geoptimaliseerde versies, en toch wonnen ze.
- Het Gaat Niet Om Betekenis: Toen de onderzoekers de "betekenis" van de prompts controleerden, ontdekten ze dat deze vreemde prompts net zo ongerelateerd aan de taak waren als willekeurige onzin. De AI begreep het verhaal niet; het reageerde op de structuur of de sfeer van de tekst.
- Het Kan Opzettelijk Fout (of Goed) Gaan: De onderzoekers ontdekten ook dat ze deze prompts konden gebruiken om de AI te dwingen gekke dingen te doen, zoals:
- Altijd het eerste antwoordalternatief (A) kiezen, zelfs als het verkeerd is.
- Altijd een even getal als antwoord geven.
- Opzettelijk het verkeerde antwoord geven op een vraag.
De Grote Les
Het paper suggereert dat Large Language Models (LLM's) gevoelig zijn voor dingen die we nog niet volledig begrijpen. Ze volgen niet zomaar de "betekenis" van onze woorden zoals een mens een handleiding leest. In plaats daarvan lijken ze verborgen "hendels" in zich te hebben. Een prompt over "het stemmen van een harp" kan een hendel trekken die het model beter laat focussen, zelfs als de harf niets met het wiskundeprobleem te maken heeft.
Kortom: Het paper bewijst dat je een krachtige AI kunt sturen met instructies die volledig irrelevant zijn voor de taak, en soms werken die irrelevante instructies beter dan de voor de hand liggende. Het is als het ontdekken dat het zeggen tegen een kok om "het zilverwerk te poetsen" zorgt dat hun soep lekkerder smaakt dan het zeggen tegen hen om "de soep te koken".
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.