Attribution Under a Floor: Why Single-Component Ablation Overcounts Safety-Critical Layers and Neurons

Wanneer we een groot taalmodel vragen om een schadelijk verzoek te weigeren, vragen we het om een complexe daad van zelfbeheersing uit te voeren. Deze modellen worden getraind op enorme hoeveelheden menselijke tekst, waarbij ze leren het volgende woord in een zin te voorspellen, maar ze ondergaan ook een speciale trainingsfase om te leren wat ze niet moeten zeggen. Onderzoekers op het gebied van mechanistische interpreteerbaarheid behandelen deze modellen als ingewikkelde machines die uit elkaar gehaald kunnen worden om te zien hoe ze werken. Zij geloven dat specifieke onderdelen van de interne structuur van het model fungeren als poortwachters, die beslissen of een vraag beantwoord wordt of geweigerd wordt. Om deze poortwachters te vinden, gebruiken wetenschappers vaak een methode genaamd ablatie. Dit houdt in dat men tijdelijk een klein deel van het model uitschakelt, zoals een enkele verwerkingslaag of een specifieke neuron, en vervolgens observeert of het model plotseling schadelijke antwoorden begint te produceren terwijl het dat voorheen niet deed. Als het model faalt in het weigeren nadat een onderdeel is uitgeschakeld, wordt dat deel als cruciaal voor de veiligheid bestempeld. Het doel is om de exacte machinerie van de weigering in kaart te brengen, zodat we kunnen begrijpen, en wellicht kunnen verbeteren, hoe deze systemen veilig blijven.

Een recente studie door Yangyi Zhang aan Georgetown University onderzoekt een specifiek voorbeeld van dit onderzoek en stelt vast dat de conclusies die daaruit getrokken zijn, gebouwd zijn op een statistische illusie. De studie auditeert een gearchiveerd experiment waarin onderzoekers beweerden dat zij zes specifieke lagen en 205 specifieke neuronen hadden geïdentificeerd die fungeren als de primaire veiligheidsbewakers voor een taalmodel. Zhangs analyse laat zien dat deze aantallen de werkelijke mechanica van het model niet weerspiegelen. In plaats daarvan zijn ze het resultaat van een ontwerpfout in het experiment zelf, specifelijk een probleem dat bekend staat als een vloereffect. In deze context treedt het vloereffect op omdat de test die werd gebruikt om veiligheid te meten, te klein en te zwak was om echte veranderingen te detecteren. Het experiment vertrouwde op een batterij van slechts vier schadelijke prompts om het model te testen. Voordat er enig deel van het model werd uitgeschakeld, was het model al er al in geslaagd om drie van de vier prompts niet te weigeren. Het was al onveilig op de meerderheid van de testgevallen.

Omdat het model al faalde op drie van de vier prompts, kon het uitschakelen van een enkel onderdeel het model niet vaker laten falen dan dat al het geval was. De telling van onveilige reacties zat vast op een minimum van drie, ongeacht welke laag werd uitgezet. De enige manier waarop een laag als "cruciaal" gemarkeerd kon worden, was als het toevallig de laag was die de resterende enkele veilige prompt deed omslaan naar onveilig. De studie laat zien dat de zes gerapporteerde cruciale lagen simpelweg de lagen waren die toevallig die ene specifieke prompt lieten omslaan. De andere 26 lagen, die die prompt niet lieten omslaan, werden als veilig gerapporteerd, ook al presteerden ze bijna identiek aan de cruciale lagen. Het onderscheid tussen een "cruciale" laag en een "veilige" laag was geen verschil in hoe het model werkte, maar een verschil in hoe de kleine testbatterij toevallig functioneerde. De gerapporteerde set van zes cruciale lagen was geen ontdekking van het veiligheidsmechanisme van het model; het was een eigenschap van de vier prompts die in de test werden gebruikt.

Het onderzoek onthulde ook vergelijkbare problemen met de claims met betrekking tot individuele neuronen. Het oorspronkelijke rapport stelde dat onderzoekers honderdduizenden neuronen hadden gescand en 205 hadden gevonden die cruciaal waren, gebruikmakend van een specifieke drempelwaarde om deze te selecteren. Echter, toen Zhang de werkelijke databestanden onderzocht die tijdens dat experiment waren opgeslagen, kwamen de cijfers niet overeen. De opgeslagen gegevens bevatten gegevens voor slechts 500 neuronen, niet de volledige set, en de impactscores die voor hen werden geregistreerd, waren veel lager dan de drempelwaarde die in het rapport werd genoemd. In de opgeslagen gegevens bestond er geen drempelwaarde die 205 neuronen zou selecteren; in plaats daarvan toonden de gegevens aan dat slechts één neuron de gerapporteerde drempelwaarde overschreed. De claim van 205 cruciale neuronen werd niet ondersteund door het bewijs dat daadwerkelijk was opgeslagen. Bovendien werden andere specifieke metingen die in het oorspronkelijke rapport werden genoemd, zoals de snelheid van een berekening of de overlap tussen verschillende testmethoden, niet teruggevonden in de opgeslagen bestanden. De cijfers verschenen in de tekst van het artikel, maar konden niet herleid worden naar de ruwe gegevens.

De studie daagt ook een claim uit dat het belang van de lagen van het model een vloeiend, voorspelbaar patroon volgt dat vervaagt naarmate men dieper in het netwerk komt. Het oorspronkelijke rapport suggereerde dat de impact van het uitschakelen van lagen in een nette, exponentiële curve afnam, waarbij het belangrijkste werk in de allereerste lagen plaatsvond. De heranalyse van de opgeslagen gegevens laat zien dat het werkelijke patroon veel rommeliger is. De impact van de lagen neemt niet vloeiend af; in plaats daarvan wordt het gedomineerd door een paar specifieken lagen, inclusief de allerlaatste laag van het netwerk, die een grote impact vertoonde wanneer deze werd uitgeschakeld. De gegevens ondersteunen het idee van een zuivere, vervagende curve niet. In plaats daarvan suggereren ze een complexere realiteit waarbij veiligheid wordt beïnvloed door een ijl aantal lagen die verspreid zijn door het model, in plaats van een enkele, ordelijke afname.

Dit werk bewijst niet dat het model geen veiligheidsmechanismen heeft of dat de dual-mechanism theorie onjuist is. Het laat simpelweg zien dat het specifieke bewijs dat in de gearchiveerde run is gepresenteerd, onvoldoende is om die claims te ondersteunen. De bevindingen benadrukken een fundamentele vereiste voor dit type onderzoek: de testbatterij moet groot genoeg zijn en bestaan uit voldoende prompts die het model daadwerkelijk weigert, zodat kan worden waargenomen dat het uitschakelen van een onderdeel de uitkomst verandert. Wanneer de baseline al onveilig is op de meeste prompts, kan de test de bijdrage van individuele onderdelen niet meten. Om echt te identificeren welke lagen of neuronen verantwoordelijk zijn voor veiligheid, hebben onderzoekers een veel grotere set van baseline-veilige prompts nodig, en moeten zij de volledige distributie van de resultaten rapporteren in plaats van alleen een lijst met lagen die een willekeurige drempelwaarde hebben overschreden. De studie concludeert dat attributieclaims slechts zo sterk zijn als de gegevens waarvan ze opnieuw berekend kunnen worden, en in dit geval ondersteunden de gegevens de gedurfde conclusies die daaruit getrokken waren niet.