Technische Samenvatting: Analyse van Morele Bias in Gefinetunede LLM's door middel van Mechanistische Interpreteerbaarheid

Probleemstelling

Large Language Models (LLM's) hebben het vermogen getoond om menselijke vooroordelen te internaliseren tijdens het finetuning-proces, maar de specifieke mechanismen waardoor deze vooroordelen zich binnen de modelarchitectuur manifesteren, blijven onduidelijk. Hoewel gedragsonderzoeken bevestigen dat LLM's cognitieve vooroordelen zoals het Knobe-effect kunnen reproduceren — een fenomeen waarbij individuen een handeling eerder als intentioneel beoordelen wanneer deze tot een negatief neveneffect leidt dan wanneer deze tot een positief neveneffect leidt, zelfs bij identieke intenties — is de interne representatie van dit vooroordeel niet goed begrepen.

Het artikel adresseert drie primaire onderzoeksvragen:

1. RQ1: Vertonen LLM's het Knobe-effect, en in welke mate is dit een gevolg van finetuning versus pretraining?
2. RQ2: Zijn specifieke Transformer-lagen verantwoordelijk voor het coderen van dit morele vooroordeel?
3. RQ3: Kunnen gerichte interventies, specifiek Layer-Patching, dit vooroordeel mitigeren of elimineren zonder het model opnieuw te trainen?

Methodologie

Modellen en Data

De studie evalueerde drie open-weights LLM-families: Llama-3 (specifiek de 8B- en 1B-varianten), Mistral (7B) en Gemma (9B, 2B en 27B varianten). Zowel de gepretraindeerde ($M_p$) als de instructie-getunede/gefinetuneede ($M_f$) versies werden geanalyseerd.

De dataset bestond uit 80 morele scenario's aangepast van Ngo et al. [27], afgeleid van de oorspronkelijke Knobe-effect studies. Elk scenario presenteerde een actor die een handeling verricht met een bekend neveneffect (ofwel positief ofwel negatief), maar zonder om het resultaat te geven. Het model werd geprompt om een intentionaliteitsscore toe te kennen van 0 (niet-intentioneel) tot 10 (volledig intentioneel).

Om de variabiliteit in menselijke respons te simuleren en deterministische outputs te vermijden, gebruikten de auteurs stochastische sampling met een vaste seed maar een gerandomiseerde temperatuur ($T \sim U[0.85, 1.15]$) over 283 generaties per model per scenario.

Experimenteel Ontwerp

1. Gedragsanalyse (RQ1): De auteurs berekenden de grootte van het Knobe-effect ($\Delta_{Knobe}$) als het verschil tussen de gemiddelde intentionaliteitsscores voor negatieve ($\mu_{neg}$) en positieve ($\mu_{pos}$) condities. Statistische significantie werd beoordeeld met een repeated-measures ANOVA.
2. Mechanistische Lokalisatie (RQ2): Met behulp van de TransformerLens bibliotheek extraheerden de auteurs de residual stream activaties van elke laag. Ze berekenden het absolute verschil in gemiddelde activaties tussen negatieve en positieve scenario's ($\delta_l$) voor elke laag $l$. Door deze verschillen te vergelijken tussen gepretraindeerde en gefinetuneede modellen, identificeerden ze de lagen waar het vooroordeel werd gecodeerd.
3. Interventie via Layer-Patching (RQ3): De auteurs implementeerden een Layer-Patching algoritme. Voor een specifieke laag $l$ in het gefinetuneede model werden de residual activaties vervangen door de overeenkomstige activaties uit het gepretraindeerde model tijdens de inferentie. De forward pass ging verder met deze gepatchte activaties. Dit proces werd herhaald voor elke laag om te bepalen welke specifieke laag, wanneer "onbevooroordeeld" gemaakt, het meest effectief het $\Delta_{Knobe}$ verminderde.

Belangrijkste Resultaten

1. Emergentie van Bias via Finetuning (RQ1)

• Gepretrainde Modellen: Toonden een verwaarloosbaar of geen Knobe-effect. De distributies van intentionaliteitsscores voor negatieve en positieve scenario's overlapten grotendeels, wat aangeeft dat de basismodellen dit specifieke morele asymmetrie niet inherent bezitten.
• Gefinetuneede Modellen: Vertoonden een significant en systematisch Knobe-effect. Alle gefinetuneede modellen gaven hogere intentionaliteitsscores aan negatieve neveneffecten dan aan positieve.
• Omvang: Het effect was het meest uitgesproken in Gemma-2-9B ($\Delta_{Knobe} = 3.83$), gevolgd door Mistral-7B ($1.67$) en Llama-3.1-8B ($1.60$).
• Vergelijking met Mensen: De omvang van het vooroordeel in gefinetuneede modellen benaderde of overtrof menselijke gedragsbaselines (menselijke $\Delta_{Knobe} \approx 3.15$), wat suggereert dat alignment-procedures menselijke cognitieve vooroordelen kunnen versterken.

2. Lokalisatie van Bias (RQ2)

• Laagspecificiteit: Het vooroordeel was niet diffuus verdeeld. Activatieverschillen tussen morele condities waren minimaal in gepretrainde modellen, maar werden zeer gelokaliseerd in de midden- tot laat-Transformerlagen in gefinetuneede modellen.
• Interpretatie: Dit suggereert dat terwijl pretraining statistische co-occurrences vastlegt, het finetuning-proces (specifiek instructie-tuning) een gestructureerde, evaluatieve asymmetrie introduceert die wordt gecodeerd in de semantisch rijke bovenste lagen van de architectuur.

3. Mitigatie via Layer-Patching (RQ3)

• Effectiviteit: Het vervangen van activaties in een enkele kritieke laag met die van het gepretraindeerde model was voldoende om het Knobe-effect bijna volledig te elimineren.
  • Llama-3.1-8B: $\Delta_{Knobe}$ verminderd van 1.60 naar 0.00.
  • Mistral-7B: $\Delta_{Knobe}$ verminderd van 1.67 naar 0.00.
  • Gemma-2-9B: $\Delta_{Knobe}$ verminderd van 3.83 naar 0.03.
• Behoud van Nut: De interventie vereiste geen hertraining. Evaluatie op standaard benchmarks (ARC-Easy, HellaSwag, MMLU, TruthfulQA) toonde aan dat de gepatchte modellen prestatieniveaus behielden die vergelijkbaar zijn met de gefinetuneede baselines, met slechts minimale regressies (~1%).

4. Ablatie-studie: Model Schaal

De studie onderzocht kleinere (1B, 2B) en grotere (27B) modellen.

• Consistentie: Het patroon hield stand over alle schalen: gepretrainde modellen vertoonden geen significant vooroordeel, terwijl gefinetuneede modellen het Knobe-effect vertoonden.
• Opschaling: De absolute omvang van het vooroordeel nam toe met de modelgrootte (bijv. Gemma-2-27B vertoonde een $\Delta_{Knobe}$ van 6.07), wat suggereert dat grotere modellen deze abstracte morele constructen sterker internaliseren en versterken wanneer ze worden uitgelijnd.

Betekenis en Claims

Het artikel claimt dat sociale vooroordelen in LLM's niet louter emergente, diffuse eigenschappen van het gehele netwerk zijn, maar mechanistisch gelokaliseerd kunnen worden aan specifieke functionele subcomponenten (specifieke lagen).

Kernbijdragen zijn onder meer:

1. Causale Attributie: Het aantonen dat het Knobe-effect primair wordt geïnduceerd door het finetuning/alignment-proces in plaats van enkel door de pretraining-data.
2. Modulariteit van Bias: Het aantonen dat morele vooroordelen opereren als modulaire berekeningen binnen de Transformer-architectuur, specifiek in de midden- tot laat-lagen.
3. Praktische Mitigatie: Het bewijzen dat Layer-Patching een chirurgische, post-hoc methode biedt om specifieke morele vooroordelen te verwijderen zonder de computationele kosten van hertraining en zonder catastrofale degradatie van algemene capaciteiten.

De auteurs concluderen dat dit werk de brug slaat tussen interpreteerbaarheid en eerlijkheid (fairness), en suggereert dat gerichte interventies de opkomst van menselijke cognitieve vooroordelen in LLM's kunnen beheersen, wat een pad biedt voor een meer verantwoorde inzet van deze modellen in ethische redeneertaken.