Inverted Detection and Control in Steering Vectors

Stel je voor dat je een gigantisch, digitaal brein probeert te leren hoe het de waarheid spreekt of hoe het beleefd is. Je wilt het brein niet vanaf de basis volledig herprogrammeren; dat is te moeilijk en te traag. In plaats daarvan wil je het een klein zetje geven, een zachte tik op de schouder, om het eraan te herinneren wat het juiste is om te doen terwijl het nadenkt. In de wereld van kunstmatige intelligentie wordt dit "zetje" een Steering Vector genoemd. Denk aan het als een magnetische kompasnaald die verborgen zit in het AI-brein. Als de AI richting een leugen afdrijft, wijs je de naald naar "waarheid", en de gedachten van de AI zouden magisch weer in de juiste richting moeten worden bijgestuurd. Lange tijd dachten wetenschappers dat dit een eenvoudige kwestie van fysica was: als de kompasnaald naar de "waarheid" wijst, zal het duwen van de AI in die richting het meer waarheidsgetrouw maken. Het leek een simpele regel: vind de richting die leugens van waarheden scheidt, en duw de AI langs die lijn.

Maar wat als het kompas kapot is? Wat als de kompasnaald, in plaats van de AI naar de waarheid te leiden, eigenlijk precies de andere kant op wijst, en het duwen van de AI langs deze lijn de AI juist harder laat liegen? Dit is de verrassende wending die werd ontdekt in een nieuw onderzoek van Northeastern University. De onderzoekers ontdekten dat de instrumenten die we gebruiken om het gedrag van AI te controleren soms "geïnverteerd" zijn. Ze lijken de goede kant op te wijzen, maar ze leiden de AI in werkelijkheid de verkeerde kant op. Deze ontdekking is cruciaal omdat het betekent dat het simpelweg vinden van een richting die er goed uitziet als een scheiding tussen goed en slecht, niet genoeg is; we moeten er zeker van zijn dat de AI ook daadwerkelijk in de juiste richting beweegt wanneer we hem een duwtje geven. Als we niet controleren op deze "geïnverteerde" richtingen, maken we onze AI misschien per ongeluk minder eerlijk, minder behulpzaam of gevaarlijker, zelfs wanneer we denken dat we haar helpen.

Het Mysterie van het Omgekeerde Kompas

Het artikel, getiteld "Inverted Detection and Control in Steering Vectors", duikt in een vreemd fenomeen dat de auteurs Inverted-Steering Vectors (ISVs) noemen. Om dit te begrijpen, laten we het AI-brein voorstellen als een enorme, meerlagige stad. Binnen deze stad zijn er miljoenen kleine boodschappers (genaamd "attention heads") die briefjes naar elkaar doorgeven. Wanneer we willen dat de AI waarheidsgetrouw is, proberen we een specifieke "richting" in de stad te vinden die "waarheid" vertegenwoordigt. Meestal vinden we dit door te kijken naar de briefjes die de AI schrijft wanneer hij de waarheid spreekt versus wanneer hij liegt. Het verschil tussen deze twee sets briefjes geeft ons onze "Steering Vector"—een kaart die naar de waarheid wijst.

De oude aanname was simpel: als je de gedachten van de AI langs deze kaart duwt, zou de AI waarheidsgetrouwer moeten worden. Maar de auteurs ontdekten dat voor sommige van deze kaarten het tegenovergestelde gebeurt. Zij noemen dit Inverted-Steering Vectors (ISVs). Het is also wordt als een kaart die zegt "Noord is die kant op", maar wanneer je naar het Noorden loopt, kom je eigenlijk in het Zuiden terecht. De kaart ziet er perfect uit—hij scheidt de "waarheid"-buurt duidelijk van de "leugen"-buurt—maar als je de AI probeert te sturen met deze kaart, duwt hij de AI in de verkeerde richting.

De onderzoekers testten dit op drie verschillende AI-modellen (Gemma 3, Qwen 2.5 en Olmo 3) en vijf verschillende concepten, waaronder waarheidsgetrouwheid, welvaartsgerichtheid en het zijn van "corrigible" (bereidheid om gecorrigeerd te worden). Ze ontdekten dat deze achterwaartse kaarten geen zeldzame ongelukjes zijn; het is een systematische fout. Sterker nog, ze vonden dat sommige vectoren zo goed waren in het detecteren van het verschil tussen waarheid en leugen (met een score genaamd AUC van tot wel 0,97, wat zeer hoog is) dat ze perfect leken. Toch, toen de onderzoekers probeerden de AI met deze vectoren te sturen, deed de AI precies het tegenovergestelde van wat de bedoeling was.

Hoe ze de fout ontdekten

Dus, hoe weet je of je kompas kapot is voordat je begint te lopen? De auteurs bedachten een slimme truc die niet vereist dat je wacht tot de AI een heel verhaal schrijft en dan controleert of het goed is. Dat zou te lang duren en te veel geld kosten. In plaats daarvan keken ze naar wat er binnenin het AI-brein gebeurt terwijl het nadenkt, nog voordat het zelfs iets uitspreekt.

Ze introduceerden een concept genaamd de Representation Response. Stel je het brein van de AI voor als een reeks kamers. Je drukt op een knop in de eerste kamer (de steering vector), en je kijkt wat er gebeurt in de volgende kamer verderop in de gang. Als het kompas correct werkt (een "Regular-Steering Vector"), zou het indrukken van de knop in de eerste kamer de tweede kamer moeten laten oplichten met "waarheid"-signalen. Maar als het kompas geïnverteerd is (een ISV), zorgt het indrukken van de knop er juist voor dat de tweede kamer oplicht met "leugen"-signalen.

Door dit "oplicht"-effect te meten, creëerden de onderzoekers een score die ze de Spoof Score noemen. Als de score positief is, werkt het kompas. Als de score negatief is, is het kompas kapot en wijst het de verkeerde kant op. Hiermee konden ze de geïnverteerde vectoren identificeren zonder ooit een enkele zin tekst te genereren. Het is alsof je controleert of het stuur van een auto verbonden is met de wielen door naar de tandwielen te kijken, in plaats van de auto van een klif af te rijden om te zien wat er gebeurt.

Het zetje repareren

Toen ze wisten hoe ze de kapotte kompassen konden opsporen, testten de auteurs een eenvoudige oplossing: het teken omdraaien (flip the sign). Als de Spoof Score aangeeft dat een vector geïnverteerd is, draaiden ze simpelweg de richting van de duw om. In plaats van de AI "vooruit" langs de vector te duwen, duwden ze de AI "achteruit".

De resultaten waren spectaculair. In hun experimenten vergeleken ze de standaardmethode (die simpelweg in de richting duwt waar de vector naar wijst) met hun nieuwe methode (die de Spoof Score controleert en de richting omdraait indien nodig). In 27 van de 30 experimenten werkte hun nieuwe methode beter. In sommige gevallen was de verbetering enorm, tot wel 138% beter in het bevorderen van het gewenste gedrag. Bijvoorbeeld, wanneer geprobeerd werd de AI eerlijker te maken, maakte de standaardmethode de AI soms slechts een klein beetje beter, maar hun nieuwe methode maakte de AI aanzienlijk waarheidsgetrouwer.

Waarom dit ertoe doet

Deze ontdekking verandert hoe we denken over het controleren van AI. Lange tijd was de vuistregel: "Vind een richting die het goede van het slechte scheidt, en duw in die richting." Dit artikel suggereert dat die regel incompleet is. Alleen omdat een richting de twee scheidt, betekent niet dat duwen langs die richting de AI naar het goede zal bewegen. Soms is de scheiding echt, maar is de verbinding met het gedrag van de AI omgekeerd.

De auteurs benadrukken dat dit niet slechts een theoretische curiositeit is; het is een praktisch probleem dat invloed heeft op hoe we veiligere AI bouwen. Als we vertrouwen op deze vectoren zonder te controleren op inversie, kunnen we onbedoeld onze AI naar schadelijke gedragingen sturen terwijl we denken dat we haar naar veiligheid sturen. Door hun nieuwe "Spoof Score"-controle te gebruiken, kunnen we deze fouten opvangen voordat ze gebeuren, zodat we er zeker van zijn dat wanneer we de AI een zetje geven, ze ook daadwerkelijk gaat waar we haar willen hebben.

Kortom, het artikel onthult dat de interne kaart van de AI misleidend kan zijn. Het laat ons zien dat om deze krachtige modellen echt te controleren, we meer moeten zijn dan alleen kaartlezers; we moeten kompascontroleurs zijn, die controleren of de gekozen richting ons ook daadwerkelijk naar de gewenste bestemming leidt.