Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models

Stel je voor dat je een superintelligente robot hebt gebouwd die verhalen kan schrijven, wiskundige problemen kan oplossen en over alles kan chatten. Maar er is een addertje onder het gras: je moet ervoor zorgen dat hij niet per ongeluk iemand helpt bij het bouwen van een bom of een gemene brief schrijft. Dit is de wereld van Large Language Models (LLM's), de AI-hersenen achter veel van de chatbots die we vandaag de dag gebruiken. Om ze veilig te houden, "alignen" ingenieurs ze, waarbij ze de robot leren om "Nee" te zeggen tegen gevaarlijke verzoeken. Lange tijd dachten wetenschappers dat deze "veiligheid" leek op een zachte, onzichtbare mist die gelijkmatig over de hele hersenen van de robot verspreid was. Als je elk deel van de hersenen een beetje zou aanpassen, zou de veiligheid misschien een beetje wiebelen, maar zou hij grotendeels hetzelfde blijven. Echter, in de echte wereld zijn deze veiligheidsschilden verrassend fragiel. Een slim trucje of een kleine verandering kan ervoor zorgen dat de robot zijn regels volledig vergeet. Dit roept een grote, sappige puzzel op: Waar precies is de "Nee"-knop verborgen in de hersenen van de robot? Is het overal verspreid, of zit het weggestopt in een specifieke, kleine hoek?

Een team van onderzoekers besloot detective te spelen om dit mysterie op te lossen. In plaats van alleen maar te gokken, probeerden ze een wild experiment: gewichtstransplantatie. Stel je voor dat je twee identieke robots hebt. De ene is de "Goede Robot" (veiligheid-gealigneerd), en de andere is de "Niet-gealigneerde Robot" (de originele, niet-gealigneerde versie). De onderzoekers begonnen onderdelen van de hersenen van de Goede Robot in de Niet-gealigneerde Robot te wisselen, stukje bij beetje, om te zien welke delen daadwerkelijk de "weigeringskracht" bezaten. Ze wisselden niet alleen hele hersenen uit; ze wisselden specifieke soorten verbindingen uit, zoals de delen die zich richten op woorden (attention weights) versus de delen die informatie verwerken en nadenken (MLP layers).

Dit is wat ze ontdekten, en het is een beetje alsof je ontdekt dat de "Nee" van de robot niet een heel team van bewakers is, maar een zeer specifieke, kleine eenheid specialisten:

1. De "Denkende" Delen Doen het Zware Werk
De onderzoekers verwachtten dat de delen van de hersenen die zich richten op de context (de attention weights) de belangrijkste veiligheidswachters zouden zijn. Maar ze hadden het mis! Toen ze alleen de "denkende" delen (de MLP weights) van de Goede Robot in de Niet-gealigneerde Robot wisselden, begon de Niet-gealigneerde Robot plotseling minstens 2,7 keer vaker slechte verzoeken te weigeren dan wanneer ze de "focuserende" delen wisselden. Het blijkt dat de veiligheids-"Nee" voornamelijk gecodeerd is in de MLP-lagen, de delen van het netwerk die daadwerkelijk informatie verwerken en transformeren.

2. Het "Midden" is de Magische Zone
Maar het is niet zomaar een willekeurig denkdeel. De onderzoekers ontdekten dat het veiligheidssignaal geconcentreerd is in een zeer specifiek middenstuk van de hersenen. In de modellen die ze testten, bevond de krachtigste "weigeringskracht" zich in Block 3, wat overeenkomt met lagen 8 tot en met 11. Als je naar de hersenen van de robot kijkt als een gebouw van 28 verdiepingen, dan wonen de veiligheidswachters grotendeels op de 8e tot en met de 11e verdieping. Wanneer ze alleen deze specifieke verdiepingen wisselden, werd de robot veel beter in het zeggen van "Nee".

3. Meer is Niet Altijd Beter (Het "Goldilocks"-effect)
Hier komt de wending die het verhaal nog interessanter maakt. De onderzoekers dachten dat als één blok veiligheid goed was, het wisselen van alle veiligheidsblokken perfect zou zijn. Maar dat was niet zo! In veel gevallen maakte het toevoegen van meer gealigneerde blokken de robot juist slechter in het weigeren van slechte verzoeken. Het is als het hebben van een team beveiligers: als je er te veel meebrengt, kunnen ze in de weg gaan lopen van elkaar of met elkaar discussiëren, en de veiligheid neemt juist af. De onderzoekers ontdekten dat een selecte mix van slechts zes blokken vaak beter werkte dan het wisselen van het volledige veiligheidssysteem. Soms zorgde het toevoegen van een zevende blok er zelfs voor dat het vermogen van de robot om "Nee" te zeggen afnam.

4. De "Over-Refusal" Valstrik
Er is nog een addertje onder het gras. Dezelfde onderdelen die de robot "Nee" laten zeggen tegen slechte verzoeken, zorgen er ook voor dat hij "Nee" zegt tegen onschuldige vragen. Dit wordt over-refusal genoemd. Wanneer de onderzoekers de MLP-gewichten wisselden, werd de robot geweldig in het stoppen van slechte jongens, maar begon hij ook onschuldige vragen zoals "Wat is het weer?" of "Vertel eens een grapje" te weigeren. Dit suggereert dat het veiligheidsmechanisme een beetje een bot instrument is; het is moeilijk om het "stop slechte dingen"-signaal van het "stop alles"-signaal te scheiden door alleen maar onderdelen te wisselen.

Waarom Dit Belangrijk Is
Deze ontdekking suggereert dat veiligheid in AI geen gigantisch, onbreekbaar schild is dat over het hele netwerk verspreid is. In plaats daarvan is het een gelokaliseerde en fragiele eigenschap, geconcentreerd in een paar specifieke lagen. Dit verklaart waarom AI-veiligheid zo broos kan zijn: als je per ongeluk die specifieke lagen (lagen 8–11) aanpast of verwijdert, kan het hele veiligheidssysteem instorten. Het betekent ook dat als we de AI-veiligheid in de toekomst willen verbeteren, we niet de hele robot opnieuw hoeven te trainen. We hoeven misschien alleen die specifieke "midden"-lagen zorgvuldig af te stemmen of te beschermen.

De onderzoekers hebben geen wondermiddel gevonden dat alle veiligheidsproblemen oplost. Ze hebben ontdekt dat veiligheid interactie-gevoelig is, wat betekent dat de delen van de hersenen op complexe manieren samenwerken en dat je niet zomaar meer veiligheidsdelen erin kunt dumpen en een beter resultaat kunt verwachten. Maar door exact aan te wijzen waar de "Nee" leeft, hebben ze ons een kaart gegeven om te begrijpen waarom AI soms faalt en hoe we in de toekomst betere, robuustere veiligheidssystemen kunnen bouwen. Het is een herinnering aan het feit dat zelfs in de uitgestrekte, complexe wereld van AI, de belangrijkste dingen vaak in het midden gebeuren.