Forecasting Side Effects of Activation Steering

Stel je voor dat je een gigantisch, superintelligent robotbrein hebt dat verhalen kan schrijven, wiskundige problemen kan oplossen en zelfs advies kan geven. Wetenschappers hebben een slimme truc gevonden om de manier waarop deze robot denkt aan te passen zonder hem vanaf nul opnieuw te hoeven bouwen. In plaats van het hele brein opnieuw te trainen, kunnen ze simpelweg een specifieke "denkrichting" in de geest van de robot een duwtje geven. Denk aan het als een volumeknop voor een specifiek persoonlijkheidskenmerk: je kunt de "behulpzaamheid" harder zetten of de "welbespraaktheid" zachter zetten door slechts een kleine wiskundige druk toe te voegen aan de interne signalen van de robot. Dit wordt activatie-sturing (activation steering) genoemd. Het is alsof je een afstandsbediening hebt voor de persoonlijkheid van een robot.

Maar hier zit de adder onder het gras: wanneer je één knop harder zet, kunnen andere dingen op onverwachte manieren veranderen. Als je de robot compacter laat spreken, kan hij per ongeluk minder beleefd worden. Als je hem behulpzamer maakt, kan hij te enthousiast worden om "ja" te zeggen tegen gevaarlijke verzoeken. Deze ongewenste veranderingen worden bijwerkingen (side effects) genoemd. De grote vraag voor iedereen die deze technologie wil gebruiken is: Kunnen we de bijwerkingen voorspellen voordat we aan de knop draaien? Als we ze niet kunnen voorspellen, is het gebruik van deze afstandsbediening als het rijden in een auto met een blinddoek om: je komt misschien waar je wilt komen, maar je kunt ook ergens tegenaan botsen.

Dit artikel vraagt zich precies die vraag: Kunnen we de bijwerkingen van activatie-sturing voorspellen voordat we ze toepassen? De onderzoekers zeggen ja, dat kunnen we, maar niet op de manier zoals de meeste mensen zouden vermoeden. Ze ontdekten dat hoewel deze bijwerkingen algemeen voorkomen en soms lastig zijn, ze een verborgen patroon volgen dat in kaart kan worden gebracht.

De Verborgen Kaart van Persoonlijkheid

Om te begrijpen wat er gebeurt, behandelden de onderzoekers het brein van de robot als een enorme stad met 67 verschillende "buurten", waarbij elke buurt een specifiek gedrag vertegenwoordigt zoals "coderen", "het weigeren van schadelijke verzoeken", "grappig zijn" of "empathie tonen". Ze wilden zien wat er met elke buurt gebeurt wanneer ze slechts één van hen "sturen" (een duwtje geven).

Ze bouwden een gigantische Cross-Effect Matrix, wat in feite een kaart is die laat zien hoe elke buurt reageert wanneer een andere wordt aangestuurd. Stel je een spelletjes domino voor, maar in plaats van alleen de volgende steen om te gooien, stuurt het duwen van één buurt rimpelingen door de hele stad.

Wat ze vonden was verrassend. Ten eerste zijn bijwerkingen overal. Wanneer ze één gedrag aanstuurden, veranderde ongeveer 33% tot 50% van de andere gedragingen op een merkbare manier. Het was niet zomaar een klein wiebelingetje; soms was de verandering enorm, waarbij de "persoonlijkheidsscore" van de robot met een volle punt verschoof op een schaal van vier.

Ten tweede zijn de veranderingen asymmetrisch. Dit is het belangrijkste deel. In de echte wereld, als je een deur openduwt, gaat hij open. Als je de andere kant op duwt, gaat hij dicht. Maar in de robotgeest zijn de regels vreemder. Als je "Grondigheid" een duwtje geeft om de robot zorgvuldiger te maken, kan hij per ongeluk "Onzeker" worden. Maar als je "Onzekerheid" een duwtje geeft om de robot onzekerder te maken, kan hij juist minder grondig worden. De relatie is geen eenvoudige spiegelafbeelding; het is een complexe, eenrichtingsweg.

Waarom het Oude Gokspel Faalde

Voordat dit artikel verscheen, probeerden mensen bijwerkingen te voorspellen met een simpele regel: "Als twee sturingsrichtingen er hetzelfde uitzien (zoals twee vectoren die in dezelfde richting wijzen), zouden ze vergelijkbare veranderingen moeten veroorzaken." Het is alsoك aan te nemen dat omdat twee liedjes beide in de toonsoort C staan, ze je hetzelfde gevoel zullen geven.

De onderzoekers testten dit idee en stelden vast dat het spectaculair faalde. Ze lieten zien dat het kijken naar hoe vergelijkbaar de "duwrichtingen" zijn, slechts ongeveer 2% van de werkelijke veranderingen verklaart. De oude methode kon de vreemde, eenrichtingsverhoudingen niet voorspellen waarbij het aansturen van A helpt bij B, maar het aansturen van B schadelijk is voor A. De "gelijkenis"-gok was als het proberen te voorspellen van het weer door naar de kleur van je sokken te kijken — het werkt gewoon niet.

De Nieuwe Kristallen Bol: De Propagatiekaart

Als de oude manier faalde, hoe voorspelden ze dan de toekomst? Ze bouwden een nieuwe voorspellingsmethode genaamd een Propagatiekaart (Propagation Map).

Zo werkt het, met een eenvoudige analogie: Stel je voor dat het brein van de robot een reeks waterleidingen is.

1. De Duw (Bron): Je duwt water in de leiding op een specifieke plek (de injectielaag).
2. De Stroming (Propagatie): Het water reist door de leidingen en maakt bochten en wendingen terwijl het door de lagen van de robot beweegt.
3. De Sensor (Doel): Aan het einde van de leiding zit een sensor die detecteert of een specifiek gedrag (zoals "grappig zijn") aanwezig is.

De oude methode keek alleen naar de vorm van de duw en gokte wat er aan het einde zou gebeuren. De nieuwe methode modelleert de leidingen. Ze trainden een systeem om te leren hoe een duw aan het begin van de leiding door de bochten en wendingen van het robotbrein reist om het einde te bereiken.

Ze gebruikten deze kaart om bijwerkingen te voorspellen zonder de robot ooit aan te sturen. Ze keken simpelweg naar de normale, niet-gestuurde gedachten van de robot om te leren hoe de "leidingen" werken. Daarna vroegen ze: "Als we deze specifieke richting een duw geven, waar gaat het water heen en welke sensoren zal het raken?"

De Resultaten: Een Kristallen Bol met Grenzen

De resultaten waren indrukwekkend. Hun nieuwe voorspellingsmethode kon correct voorspellen of een bijwerking een gedrag zou versterken (amplificeren) of onderdrukken (suppresseren) in ongeveer 68% tot 78% van de belangrijke veranderingen. Dit is veel beter dan de oude "gelijkenis"-gokken, die voor deze specifieke voorspellingen nauwelijks beter presteerden dan willekeurige kans.

De paper is echter eerlijk over wat het niet kan.

• Het voorspelt richting, niet grootte: Het hulpmiddel is goed in het vertellen van of een gedrag sterker of zwakker wordt, maar het is niet perfect in het vertellen van hoeveel het precies zal veranderen. De omvang van de verandering hangt vooral af van het doelgedrag zelf, niet van de duw.
• Het is geen magie: De voorspellingen zijn gebaseerd op patronen gevonden in de data. Ze zijn geen perfecte "grondwaarheid", omdat ze nog steeds vertrouwen op een AI-beoordelaar om de gedragingen te meten.
• Het is specifiek: Dit werkt voor de specifieke soorten "lineaire" sturingen die ze hebben getest. Als iemand in de toekomst een totaal andere manier uitvindt om de robot te sturen, moet deze kaart mogelijk opnieuw worden getekend.

Waarom Dit Er Toe Doet

Dit artikel verandert de regels voor iedereen die AI probeert te controleren. In plaats van blind aan knoppen te draaien en te hopen op het beste, of te wachten tot de robot iets vreemds zegt om te beseffen dat je iets hebt kapotgemaakt, kunnen beoefenaars nu eerst naar de kaart kijken.

Ze kunnen vragen: "Als ik de robot compacter maak, wordt hij dan minder veilig?" en een betrouwbaar antwoord krijgen voordat ze zelfs maar de code aanraken. Het verandert activatie-sturing van een spel van toeval in een meer voorspelbare technische taak. Hoewel het niet alle problemen oplost, geeft het ons een krachtig nieuw instrument om de onzichtbare rimpelingen in de geest van de robot te zien voordat we een spat maken.