💬 NLP

White-Box Sensitivity Auditing with Steering Vectors

Dit artikel stelt een white-box gevoeligheidsauditkader voor grote taalmodellen voor dat gebruikmaakt van activatiesturing om interne concepten te manipuleren, waardoor een aanzienlijke afhankelijkheid van beschermde attributen in beslissingstaken met hoge risico's aan het licht komt die standaard black-box-evaluaties vaak niet detecteren.

Oorspronkelijke auteurs: Hannah Cyberey, Yangfeng Ji, David Evans

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hannah Cyberey, Yangfeng Ji, David Evans

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe werknemer aanneemt en je hebt een computerprogramma (een Large Language Model, of LLM) dat je helpt bij het beslissen wie je moet aannemen. Je wilt ervoor zorgen dat de computer niet in het geheim discrimineert op basis van iemands geslacht of ras.

Op dit moment controleren de meeste mensen deze bias met een "Black-Box" methode. Dit is alsof je de computer een sollicitatiebrief stuurt met een naam als "John" en kijkt of hij wordt afgewezen, waarna je een sollicitatiebrief stuurt met de naam "Jane" en kijkt of zij wordt aangenomen. Als de resultaten hetzelfde zijn, ga je ervan uit dat de computer eerlijk is.

Het Probleem:
De auteurs van dit paper betogen dat deze "Black-Box" methode vergelijkbaar is met proberen uit te vinden hoe een motordraai werkt door alleen naar de snelheidsmeter te kijken. Je kunt zien of de auto snel of langzaam gaat, maar je kunt niet zien of de motor misfiret of of een specifieke versnelling kapot is. De computer zou de naam "John" of "Jane" in de tekst kunnen negeren, maar het zou nog steeds op een verborgen manier "nadenken" over geslacht of ras in zijn hersenen (zijn interne code) die de tekstgebaseerde test niet kan zien.

De Oplossing: "White-Box" Sensitiviteitsauditing
De auteurs stellen een nieuwe manier voor om de computer te controleren, genaamd "White-Box" auditing. In plaats van alleen verschillende sollicitatiebrieven te sturen, reiken ze de hersenen van de computer binnen en duwen ze zachtjes zijn interne gedachten.

Hier is hoe ze dit doen, met behulp van een creatieve analogie:

De Analogie: De "Gedachtenknop"

Stel je voor dat de hersenen van de computer een groot bedieningspaneel hebben met duizenden knoppen. Elke knop regelt een specifiek concept, zoals "Geslacht", "Ras" of "Kredietrisico".

De Knop Vinden (Stuurvectoren): Eerst achterhalen de onderzoekers precies welke knop het concept "Geslacht" regelt. Ze noemen dit een Stuurvector. Het is alsof je de exacte knop vindt die het "Mannelijk/Vrouwelijk" volume in de machine harder of zachter draait.
De Knop Draaien (Actiesturing): In plaats van de tekst op de sollicitatiebrief te veranderen (zoals "John" veranderen in "Jane"), laten ze de tekst precies hetzelfde. In plaats daarvan draaien ze fysiek aan de "Geslachtsknop" binnenin de computer.
- Ze draaien hem iets naar de "Vrouwelijke" kant.
- Dan draaien ze hem iets naar de "Mannelijke" kant.
- Ze doen dit terwijl de computer naar precies hetzelfde sollicitatieformulier kijkt.
De Reactie Meten (Sensitiviteit): Als de computer echt eerlijk is, zou het draaien aan de "Geslachtsknop" zijn beslissing over de sollicitatiebrief niet moeten veranderen. De beslissing moet hetzelfde blijven, ongeacht hoe ze die specifieke knop draaien.
- Als de beslissing verandert: De computer is "gevoelig" voor geslacht. Dit betekent dat de beslissing in het geheim afhankelijk was van die verborgen knop, zelfs als de tekst niet over "geslacht" sprak.
- Als de beslissing hetzelfde blijft: De computer is "invariant" (onbeïnvloed) door geslacht. Het is eigenlijk eerlijk.

Wat Ze Vonden

De onderzoekers testten dit op vier ernstige situaties: Rechterlijke Processen (beslissen of iemand schuldig is), Kredietbeoordeling (beslissen of iemand een lening krijgt), Toelating tot Hoger Onderwijs en Medische Diagnose.

De Black-Box Leugen: In veel gevallen zei de oude methode (namen veranderen in de tekst) dat de computers eerlijk waren. Ze toonden bijna geen verschil tussen groepen.
De White-Box Waarheid: Toen de onderzoekers de interne knoppen draaiden, ontdekten ze dat de computers eigenlijk zeer gevoelig waren voor geslacht en ras.
- Voorbeeld: Bij de kredietbeoordelingstest zei de oude methode dat een computer eerlijk was. Maar toen ze de interne "Geslachtsknop" draaiden, begon de computer plotseling "vrouwelijke" profielen veel vaker af te wijzen dan "mannelijke" profielen, zelfs al veranderde de tekst nooit. De bias zat verborgen in de machine, niet in de woorden.

Waarom Dit Belangrijk Is

Het paper beweert dat de oude manier van testen vergelijkbaar is met het controleren van een huis op lekken door alleen naar de buitenmuren te kijken. Je zou een lek kunnen missen dat zich binnenin de leidingen afspeelt.

Hun nieuwe methode is alsof je de muren openmaakt en de leidingen direct controleert. Ze ontdekten dat:

Verborgen Bias Reëel Is: Computers hebben vaak verborgen vooroordelen die tekstgebaseerde tests volledig missen.
Betrouwbarder: Hun methode geeft consistente resultaten, ongeacht hoe ze de test opzetten, terwijl de oude methode verwarrende, tegenstrijdige antwoorden gaf afhankelijk van hoe de woorden waren geformuleerd.
Precies: Ze kunnen alleen de geslachtsknop aanpassen zonder per ongeluk de gedachten van de computer over iemands baan of opleiding te veranderen.

Kortom: De auteurs bouwden een tool om in de hersenen van de computer te kijken en zijn interne knoppen te draaien om te zien of het in het geheim vooroordelen heeft. Ze ontdekten dat veel computers vooroordelen hebben op manieren die we voorheen niet konden zien, wat bewijst dat we onder de motorkap moeten kijken, en niet alleen naar het dashboard, om ervoor te zorgen dat AI eerlijk is.

Technische Samenvatting: Witte-Box Gevoeligheidsauditing met Stuurvectoren

Probleemstelling

Huidige algoritmische audits voor Large Language Models (LLM's) vertrouwen voornamelijk op zwarte-box-evaluaties, die modelgedrag uitsluitend beoordelen via input-output-tests. Deze methoden staan voor drie kritieke beperkingen:

Oppervlakkige Beperkingen: Ze zijn beperkt tot tests die in de inputruimte worden geconstrueerd, vaak gegenereerd door heuristieken, waardoor ze vatbaar zijn voor promptgevoeligheid en inconsistentie in resultaten.
Moeilijkheid met Abstracte Concepten: Veel sociaal relevante eigenschappen, zoals gender- of raciale vooroordelen, betreffen abstracte concepten die moeilijk nauwkeurig te omvatten of te manipuleren zijn met uitsluitend tekstuele inputs. Modellen kunnen onbevooroordeeld lijken wanneer expliciete beschermde attributen worden verstoord, maar vertonen nog steeds vooroordelen via impliciete proxies.
Risico op Goodharting: Leveranciers kunnen modellen optimaliseren om specifieke zwarte-box-tests te doorstaan zonder onderliggende problemen aan te pakken, wat leidt tot onbetrouwbare evaluaties.

Hoewel witte-box-toegang (gewichten, activeringen, gradiënten) theoretisch superieur is voor het begrijpen van interne mechanismen, hebben eerdere werken geen concreet technisch kader geboden voor het uitvoeren van dergelijke audits in de praktijk.

Methodologie

De auteurs stellen een witte-Box gevoeligheidsauditingkader voor dat gebruikmaakt van activeringssturing om interne modelrepresentaties te manipuleren en gevoeligheid voor specifieke concepten te beoordelen. Het kader past de post-hoc interpretabiliteitsmethode van Kim et al. (2018) toe en maakt gebruik van de ongesuperviseerde Weighted Mean Difference (WMD) methode (Cyberey et al., 2025) voor vectorextractie.

Het auditproces volgt een zesstapskader:

Context & Vereisten: Definieer de implementatieomgeving en systeemvereisten (bijv. invariantie ten opzichte van gender bij krediet scoring).
Testconstructie: Ontwerp representatieve testtemplates die zijn afgestemd op de beoogde toepassingen.
Extractie van Stuurvectoren:
- Er wordt een dataset $D_C$ gebruikt die variërende gradaties van een doelconcept $C$ omvat (bijv. gendergebonden taal of dialectale verschillen).
- De WMD-methode berekent een stuurvector $v_C$ door inputactiveringen te wegen op basis van hun dispariteitscores (verschil in outputkans tussen contrasterende concepten).
- Neutrale offsetten worden toegepast om niet-gerelateerde informatie te filteren, en de selectie van lagen is gebaseerd op lineaire scheidbaarheid.
Gevoeligheidstests:
- Voor een reeks testinputs $D$ worden expliciete markers van het beschermde attribuut genutraliseerd of verwijderd.
- De interne representatie $h_x$ van een input wordt verstoord: $h'_x = h_x + \lambda v_C$ , waarbij $\lambda \in [-1, 1]$ de stuurcoëfficiënt is.
- Het model genereert gestuurde outputs $y'$ voor verschillende $\lambda$ -waarden.
Compliance-beoordeling:
- Een Gevoeligheidsmetriek ( $S_C$ ) wordt berekend door een lineaire regressie te fitten tussen de stuurcoëfficiënt $\lambda$ en de output $y'$ . De helling vertegenwoordigt de gemiddelde afhankelijkheid van het model van concept $C$ .
- Invariantievereiste: Het model voldoet aan de vereiste als $|S_C| \le \epsilon$ (verwaarloosbare gevoeligheid).
- Afhankelijkheidsvereiste: Het model voldoet aan de vereiste als $|S_C| \ge \epsilon$ (significante, voorspelbare gevoeligheid).

Belangrijkste Bijdragen

Concreet Witte-Box Kader: Het paper introduceert een praktische, end-to-end auditmethode die gerichte ingrepen in modelinterne mechanismen gebruikt in plaats van oppervlakkige inputverstoringen.
Nieuwe Evaluatiemetriek: Het past activeringssturing toe om modelgevoeligheid te meten via directionele afgeleiden, waardoor een fijnmazige beoordeling van modeleigenschappen (bijv. vooroordelen) mogelijk is op een geschaalde schaal in plaats van een binair pass/fail-resultaat.
Generaliseerbaarheid: De methode toont aan dat stuurvectoren die uit algemene datasets zijn gehaald (bijv. gendergebonden taal), kunnen worden toegepast om concepten te manipuleren in taakspecifieke inputs (bijv. leningaanvragen) die mogelijk niets te maken hebben met de extractiedata.
Robuustheid: De aanpak levert consistentere evaluatieresultaten op over verschillende vectorbronnen heen, in vergelijking met de variabiliteit die wordt waargenomen bij zwarte-box-verstoringsstrategieën.

Experimentele Resultaten

De methode werd geëvalueerd op vier hoog-risico beslissingstaken: Justitiële Processen, Krediet Scoring, Toelating tot Hoger Onderwijs en Medische Diagnose, met modellen waaronder Llama-3.1, Ministral, Qwen2.5 en domeinspecifieke varianten.

Afwijking met Zwarte-Box: Bij Krediet Scoring en Justitiële taken detecteerde de witte-box-methode vaak aanzienlijke vooroordelen (afhankelijkheid van beschermde attributen) waar standaard zwarte-box-evaluaties weinig tot geen vooroordelen suggereerden. Bijvoorbeeld, bij de Justitiële taak toonde het Saul-7B-model via zwarte-box-tests een ~2,5% vooroordeel in veroordelingspercentages, maar onthulde de witte-box-methode een gevoeligheidsverschil van 20% tussen raciale groepen.
Validatie van Verborgen Vooroordelen: Bij Krediet Scoring nam de gemeten vooroordeel toe en liep deze overeen met de witte-box-schattingen toen de zwarte-box-methode werd aangepast om naamverstoringen (impliciete genderaanwijzingen) te gebruiken in plaats van expliciete genderlabels. Dit suggereert dat de witte-box-methode daadwerkelijke vooroordeelsrisico's vastlegt die expliciete zwarte-box-verstoringen missen.
Isolatie van Variabelen: Met behulp van Sobol'-indices toonden de auteurs aan dat witte-box-sturing een minimaal effect had op niet-beschermde taakvariabelen (bijv. kredietgeschiedenis, duur van werkgelegenheid), terwijl zwarte-box-inputverstoringen (zoals het toevoegen van namen) soms de decompositie van deze variabelen door het model veranderden.
Robuustheid: Witte-box-resultaten bleven consistent wanneer stuurvectoren werden afgeleid uit verschillende datasets (dialectale versus raciale identiteit), terwijl zwarte-box-resultaten aanzienlijk varieerden afhankelijk van of ras expliciet of impliciet werd verstoord.

Betekenis en Claims

Het paper stelt dat oppervlakkige zwarte-box-evaluaties ontoereikend zijn voor het beoordelen van abstracte modeleigenschappen zoals vooroordelen. Door direct interne representaties te onderzoeken, biedt de voorgestelde witte-box-methode:

Onthulling van Verborgen Afhankelijkheden: Identificeert aanzienlijke afhankelijkheid van beschermde attributen die traditionele input-output-tests ontglippen.
Verbeterde Betrouwbaarheid: Levert consistentere auditresultaten op die minder gevoelig zijn voor de specifieke constructie van testprompts.
Versterkte Interpretabiliteit: Staat auditors toe om specifieke concepten te isoleren binnen de latente ruimte van het model, waardoor een rigoureuzere beoordeling mogelijk is of een model betrouwbaar functioneert in de beoogde implementatiecontext.

De auteurs concluderen dat hoewel de hypothese van lineaire representaties de basis vormt voor hun methode, deze aanpak een praktische weg biedt naar rigoureuzere, transparantere en betrouwbaardere algoritmische auditing voor LLM's in hoog-risico situaties.