Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations

Technische Samenvatting: Fairness Pruning

Probleemstelling
Grote taalmodellen (LLM's) erven en versterken demografische vooroordelen die aanwezig zijn in hun pretraining-corpora. Huidige mitigatiestrategieën opereren in drie verschillende fasen van de levenscyclus: pretraining-datafiltering, post-training fine-tuning/alignment, en post-processing representatie-editing. De auteurs stellen dat deze benaderingen een structureel tekort vertonen: ze grijpen tegelijkertijd in op alle modelgewichten of wijzigen embeddings zonder onderscheid te maken tussen gewichten die vooroordelen coderen en gewichten die algemene capaciteiten ondersteunen. Dit gebrek aan specificiteit brengt het risico met zich mee dat de algemene prestaties van het model verslechteren of dat er sprake is van catastrofale vergetelheid (catastrophic forgetting). Hoewel mechanistische interpreteerbaarheid (bijv. Sparse Autoencoders) precisie biedt, vereist dit aanzienlijke computationele middelen voor aanvullende training, wat een kloof creëert tussen massale interventie en precieze, betaalbare dissectie van bias.

Methodologie: Fairness Pruning
Het artikel stelt "Fairness Pruning" voor, een lichtgewicht, structurele interventiemethode die ontworpen is om demografische bias te lokaliseren en te mitigeren zonder aanvullende training. De methode is specifiek afgestemd op GLU-gebaseerde MLP-architecturen (bijv. Llama, Salamandra) en werkt via een vierfasige pipeline:

1. Contrastieve Prompt Constructie: De methode maakt gebruik van minimaal contrastieve prompt-paren waarbij het enige verschil een enkel demografisch attribuut is (bijv. "man" versus "vrouw"). Om een geldige activatievergelijking te garanderen, moeten beide prompts in een paar exact hetzelfde aantal tokens bevatten. De auteurs hebben twee publieke datasets uitgebracht (Engels en Spaans) die vijf categorieën dekken: Leeftijd, Geslacht, Fysieke Verschijning, Ras/Etniciteit en Religie.
2. Differentieel Activatie Capture: Tijdens de inferentie legt de methode de activaties vast bij de input van de down_proj-laag in de MLP-blokken. Dit specifieke punt is gekozen omdat, in SwiGLU-architecturen, de effectieve bijdrage van een neuron het product is van de gate_proj- en up_proj-outputs, die vervolgens wordt geprojecteerd door down_proj.
3. Neuron Scoring:
   • BiasScore: Berekend als het absolute verschil tussen de gemiddelde activaties van de twee prompts in een paar, gemiddeld over alle paren in een categorie. Dit identificeert neuronen die verschillend reageren op demografische veranderingen.
   • FairnessPruningScore: Een samengestelde metriek die de BiasScore combineert met structurele belangrijkheid (geschat via Peak-to-Peak Magnitude, PPM). In de experimentele studies (waarbij $\le$ 40 neuronen werden verwijderd), vonden de auteurs echter dat de BiasScore alleen voldoende was, omdat de interventieschaal te klein was om de structurele belangrijkheid te hoeven bestraffen.
4. Selectieve Zeroing: De geïdentificeerde neuronen worden "genullerd" door de overeenkomstige rijen in de gate_proj- en up_proj-gewichten, en de overeenkomstige kolom in de down_proj-gewichten, op nul te zetten. Deze symmetrische operatie zorgt ervoor dat het neuron wordt verwijderd uit de residual stream.

Belangrijkste Bijdragen

1. Een Training-Vrije Lokalisatiemethode: Een methode om demografische bias in LLM's te lokaliseren met behulp van differentiële activaties op contrastieve prompts, uitvoerbaar op consumentenhardware zonder aanvullende training.
2. Publieke Datasets: De release van twee datasets van contrastieve prompt-paren in het Engels en Spaans, afgestemd op de BBQ en EsBBQ benchmarks.
3. Empirisch Bewijs van Dissociabele Circuits: Demonstratie dat de verwerking van demografische attributen en algemene modelcapaciteiten op voldoende dissociabele circuits opereren, wat gerichte interventie mogelijk maakt zonder merkbare degradatie van redenering of kennis.
4. Ontdekking van Bidirectionele Destabilisatie: Bewijs dat het nullen van neuronen geselecteerd door een ongesigneerde differentiële activatiescore, niet-monotone, teken-inverterende effecten produceert op de geaggregeerde bias. Dit geeft aan dat de kandidaat-sets neuronen mengen die stereotypen versterken met neuronen die ze onderdrukken, en dat het netto-effect afhangt van welk teken domineert.

Resultaten

• Lokalisatie: Bias-signalen zijn robuust gelokaliseerd in de laatste lagen van de MLP-blokken. In Salamandra-2B bevond tot 94% van de meest bevooroordeelde neuronen voor een categorie zich in de laatste laag. De ruimtelijke structuur van deze neuronen is verspreid over de breedte van de laag, niet contigu.
• Circuit Specificiteit: Er is een lage overlap tussen circuits voor verschillende demografische categorieën (bijv. Gender-circuits delen zeer weinig neuronen met andere), wat wijst op functionele specialisatie.
• Interventie Effecten:
  • Bias: Het nullen van de geïdentificeerde neuronen produceerde geen vlakke reductie in bias. In plaats daarvan veroorzaakte het "bidirectionele bias-destabilisatie". In sommige gevallen werd bias verminderd; in andere gevallen werd het versterkt of geïnverteerd (bijv. verschuiving van stereotiep naar anti-stereotiep). Dit bevestigt dat de geselecteerde neuronen fungeren als regulatoren met tegengestelde effecten, en dat blindelings nullen het modulatiemechanisme verstoort.
  • Capaciteiten: De interventie was extreem chirurgisch. Het nullen van tot 40 neuronen in Llama-3.2-1B (minder dan 0,031% van de totale MLP-breedte) resulteerde in een gemiddelde retentie van 99,49% in benchmarks voor redeneren en algemene kennis (WikiText, MMLU, ARC-Challenge, HellaSwag).
• Kwalitatieve Observaties: Voorbeelden van gegenereerde tekst lieten zien dat dezelfde set genulleerde neuronen de bias in de ene context kon verminderen terwijl het in een andere context de bias kon versterken, of feitelijke kennis (bijv. "Hoofdstad van Frankrijk") volledig ongewijzigd liet.

Betekenis en Claims
Het artikel beweert de methodologische fundamenten te hebben gelegd voor de overgang van "blind nullen" naar "directionele gedragsmodulatie".

• Dissociabiliteit: De belangrijkste bevinding is dat bias-verwerking en algemene capaciteiten dissociabel zijn, wat de hypothese valideert dat bias geconcentreerd is in identificeerbare neuronen in plaats van diffuus verspreid te zijn.
• Beperkingen van Ongesigneerde Metrieken: Het werk benadrukt dat het gebruik van ongesigneerde differentiële scores (alleen magnitude) leidt tot onvoorspelbare uitkomsten omdat het versterkers en regulatoren met elkaar verward.
• Toekomstige Richting: De auteurs betogen dat de volgende stap niet simpelweg het verwijderen van meer neuronen is, maar het evolueren van de dataset naar een asymmetrische vorm (waarbij vooraf bekend is welke prompt bevooroordeeld is). Dit zou een gesigneerde BiasScore mogelijk maken, wat "activation steering" (multiplicatieve schaling) toestaat in plaats van nullen, om het model richting neutraliteit te duwen zonder gradiënt-updates.

De studie is bescheiden in omvang, beperkt tot modellen onder de 4 miljard parameters en gericht op expliciete demografische attributen via multiple-choice benchmarks. Het sluit aandachtmechanismen en open-ended generatiedynamiek expliciet uit van de huidige validatie, waarbij wordt opgemerkt dat de geobserveerde destabilisatiedynamiek mogelijk niet direct generaliseert naar deze settings zonder verder onderzoek.