The Story Shapes the Agent: Narrative Priors in LLM Behavior
Dit artikel toont aan dat de narratieve inkadering van een taak een significant sterkere invloed uitoefent op het gedrag van LLM-agenten dan de toegewezen persona, wat onthult dat "narratieve priors" systematische actietendensen aansturen terwijl effectieve cross-narratieve transfer afhankelijk is van het verankeren van instructies in concrete acties in plaats van abstracte beschrijvingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de regisseur bent van een enorm, hoogtechnologisch theatergezelschap. Je acteurs zijn ongelooflijk slim, maar ze zijn ook blanco vellen die wachten op een script. In de wereld van kunstmatige intelligentie zijn deze acteurs Large Language Models (LLM's) en de "scripts" die we hen geven om hun gedrag te sturen, noemen we persona's. Een persona is als een personagebeschrijving: je zou een AI kunnen vertellen: "Je bent een methodische detective die ervan houdt om aanwijzingen te lezen," of "Je bent een praatzieke vriend die leert door te praten." Lange tijd namen ontwikkelaars aan dat als ze een AI een sterke persoonlijkheid gaven, die persoonlijkheid zou blijven plakken, ongeacht welke taak de AI uitvoerde. Ze dachten dat het "personage" het belangrijkste was. Maar er is een twist: elke taak komt ook met een verhaal of een setting. Lost de detective een moord op in een spookhuis? Is het dezelfde detective die een kapotte computer repareert in een kantoor vol technologie? Of onderzoekt hij een vreemd virus in een tropisch laboratorium? De grote vraag die onderzoekers wilden beantwoorden was simpel: Wanneer de AI een nieuw verhaal instapt, blijft zijn persoonlijkheid dan hetzelfde, of neemt het verhaal zelf de regie over en verandert het hoe de acteur zich gedraagt?
Dit artikel, getiteld "The Story Shapes the Agent", duikt in dat exacte mysterie. De onderzoekers zetten een slim experiment op met drie verschillende "spellen" die er aan de oppervlakte volkomen verschillend uitzien, maar onder de motorkap eigenlijk identiek zijn. Denk aan drie verschillende videogames: de ene is een medisch mysterie, de andere een computerreparatieklus, en de derde is een klassieke moordmysterie. Hoewel de verhalen totaal verschillend zijn, zijn de regels van de spellen precies hetzelfde. In elk spel heeft de speler dezelfde vier zetten: ze kunnen documenten lezen, met mensen praten, dingen testen (zoals een diagnose stellen of een laboratoriumtest uitvoeren), of rond bewegen. De onderzoekers gaven dezelfde 10 verschillende "persoonlijkheden" aan drie verschillende AI-modellen om alle drie de spellen te spelen, wat bijna 2.000 unieke sessies creëerde.
De resultaten waren een enorme verrassing. De onderzoekers ontdekten dat het verhaal (het narratief) de echte baas was, niet de persoonlijkheid. Sterker nog, het verhaal verklaarde 5 tot 31 keer meer van het gedrag van de AI dan de toegewezen persona deed. Als je een AI vertelde om "sociaal en praatziek" te zijn, zou hij zich zo gedragen in een moordmysterie, maar in een computerreparatiespel zou het verhaal van "techniek repareren" ervoor zorgen dat hij mensen negeert en in plaats daarvan handleidingen leest. De AI paste zijn persoonlijkheid niet aan; hij viel in de val van "narratieve priors". Dit zijn als onzichtbare gewoontes die de AI leerde terwijl hij werd getraind op alle boeken en films die hij heeft gelezen. Wanneer het verhaal klonk als een ziekenhuis, gedroeg de AI zich als een arts (met mensen praten). Wanneer het klonk als een plaats delict, gedroeg hij zich als een detective (testen uitvoeren).
Dit is de kern: deze verhaalgestuurde gewoontes maakten de AI vaak juist slechter in het spel. In twee van de drie verhalen werkte de "natuurlijke" reactie van de AI op de setting hem zelfs in de weg bij het winnen van het spel. De onderzoekers ontdekten ook dat sommige persoonlijkheden wél consistent bleven over verschillende verhalen, maar alleen als ze gebouwd waren op gedragsankers. Dit zijn specifieke, concrete instructies zoals "Ik geef er de voorkeur aan om te praten" (wat direct linkt naar de "praten"-actie). Als een persoonlijkheid werd beschreven met vage, abstracte woorden zoals "Ik ben een denker met het grote plaatje", zou de AI die instructie volledig vergeten zodra het verhaal veranderde. Om dit te bewijzen, namen ze een persoonlijkheid die goed werkte, verwijderden de concrete actiewoorden en herschreven deze om het chic maar vaag te laten klinken. Het resultaat? De consistentie van de AI daalde met 95%.
Dus, wat is de les? Als je wilt dat een AI op dezelfde manier handelt in verschillende situaties, kun je hem niet alleen een stoere persoonlijkheidsbeschrijving geven. Je moet hem concrete, op actie gebaseerde instructies geven die passen bij de middelen die hij tot zijn beschikking heeft. Het verhaal dat rondom een taak is gewikkeld, is krachtig genoeg om het script te herschrijven, en tenzij je je instructies fundeert in specifieke acties, laat de AI het stuur overnemen aan het verhaal.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.