Technische Samenvatting: Morele Sensitiviteit in GPT's

Probleemstelling

Huidige evaluaties van bias voor Large Language Models (LLM's) vertrouwen voornamelijk op binaire classificaties ("vooringenomen" versus "niet-vooringenomen"), die niet in staat zijn de geleidelijke, contextgevoelige aard van het ontstaan van bias vast te leggen. Deze binaire framing vertroebelt de dynamische interactie tussen de basisredeneercapaciteiten van een model en zijn veiligheidsuitlijningsbeleid. Specifiek vertonen modellen vaak neutraal gedrag in abstracte scenario's, maar schakelen abrupt over op veiligheidsgedreven weigeringen of gemoraliseerde oordelen wanneer gevoelige demografische attributen (bijvoorbeeld ras, geslacht, sociaaleconomische status) worden geïntroduceerd. Het artikel betoogt dat dit wisselende gedrag aangeeft dat contextuele bias niet louter een reflectie is van vooraf getrainde associaties, maar een emergente eigenschap van uitlijninterventies die de basisbesluitvorming overrulen. Bovendien verklaren bestaande benchmarks niet de interne computationele mechanismen die deze verschuivingen aandrijven, noch houden ze rekening met hoe modeldistillatie bias kan reintroduceren die grotere modellen hadden geleerd te onderdrukken.

Methodologie

De studie hanteert een evaluatiekader in twee fasen: Gedragsprofielering en Mechanistische Validatie.

1. Gedragsprofielering

• Dataset: Een zeventraps "treinprobleem"-dataset ontworpen om de contextuele complexiteit stapsgewijs te verhogen:
  • Trap 1: Numerieke basislijn (anonieme levens).
  • Trap 2: Leeftijd (kinderen versus ouderen).
  • Trap 3: Verantwoordelijkheid (causale schuld).
  • Trap 4: Beschermde sociale identiteiten (ras, geslacht).
  • Trap 5: Sociaaleconomische status (rijkdom, armoede).
  • Trap 6: Historisch onrecht.
  • Trap 7: Gecombineerde systemische proxies.
• Maatstaf: De Morele Sensitiviteitsindex (MSI) wordt geïntroduceerd als een kwantitatief kader om de intensiteit van de veiligheidsuitlijn-overruling van een model te meten. Deze wordt gedefinieerd als $MSI = \alpha B + \beta A + \gamma E$, waarbij:
  • $B$ (Bias-score): Graad van stereotiepe associatie.
  • $A$ (Ambiguïteitsscore): Omvang van afwijken of onzekerheid.
  • $E$ (Semantische Entropie): Variabiliteit in redenering bij herhaalde queries.
  • Coëfficiënten $\alpha, \beta, \gamma$ worden afgeleid via meervoudige lineaire regressie.
• Geëvalueerde Modellen: Vier toonaangevende instructie-geoptimaliseerde modellen (Claude 3.5, Qwen 3.5, Llama 3, Gemini 1.5) en zes modellen voor mechanistische analyse over drie capaciteitstrappen: Small Language Models (SLM's), instructie-geoptimaliseerde basismodellen en redeneringsgedistilleerde varianten.

2. Mechanistische Interpretatiepijplijn

Om de interne emergentie van bias te traceren, passen de auteurs een vijfstapspijplijn toe op scenario's met criminele bias (een gecontroleerde subset van de gedragsbevindingen):

1. Logit Lens: Het onderzoeken van verborgen staten op elke laag om de evolutie van $P(\text{Crimineel})$ versus $P(\text{Niet-crimineel})$ te volgen.
2. Attention-analyse: Het berekenen van differentiële attention-heads die zich richten op tokens geassocieerd met criminaliteit.
3. Activeringspatching: Causale interventie (ablatie) van specifieke heads om hun impact op de outputkans te meten.
4. Semantische Richtingsanalyse: Projecteren van concepten op een semantische valentie-richting die is opgebouwd uit positieve/negatieve lexica.
5. OV-circuitreconstructie: Analyseren van de tokens die worden gepromoot door de Output-Value (OV)-matrices van betrokken heads.

Belangrijkste Resultaten

Gedragsbevindingen: Divergente "Morele Persoonlijkheden"

De MSI-analyse onthult verschillende uitlijnstrategieën over modellen heen:

• Claude: Vertoont een "stapfunctie"-profiel. Het blijft relatief gemeten in trappen 1–3, maar ondergaat een scherpe, niet-lineaire escalatie in biaspercentages bij trap 4 (beschermde identiteiten), waarbij het trap 6 bereikt met 100% bias-labeling. Dit suggereert een hardgecodeerde overruling die wordt geactiveerd door taal van beschermde klassen.
• Qwen: Toont een "categorie-eerst"-redeneerstrategie. Het piekt in ambiguïteit (33,3%) in trappen 2–3 voordat het springt naar bias in trap 5 (sociaaleconomische context). Het maakt gebruik van hoge taalkundige diversiteit en academische woordenschat om complexiteit te navigeren in plaats van te weigeren.
• Gemini: Toont "structureel scepticisme". Het begint met een hoge basisbiasrate (37,5%) zelfs in trap 1, waarbij het het utilitaristische uitgangspunt zelf in twijfel trekt. De hoogste zekerheid van bias treedt op bij trap 5 (sociaaleconomische context), wat suggereert dat er meer gevoeligheid is voor klassen-gebaseerde ongelijkheid dan voor ras/geslacht.
• Algemene Trend: Sociaaleconomische en geografische ongelijkheid (trap 5) fungeren als krachtige morele triggers, die vaak utilitaire logica sterker overrulen dan andere factoren.

Mechanistische Bevindingen: De U-vormige Curve van Bias

De studie identificeert een niet-monotone "U-vormige curve" in bias voor criminele labels over modelcapaciteiten heen:

1. SLM's (3–4B): Vertonen sterke criminele bias (bijvoorbeeld Llama 3.2 3B kiest 87,3% kans voor de optie "Crimineel").
2. Basismodellen (7–8B): Instructie-geoptimaliseerde basismodellen onderdrukken deze bias succesvol (bijvoorbeeld Llama 3.1 8B daalt naar 0,8%).
3. Gedistilleerde Modellen (7–8B): Redeneringsdistillatie reintroduceert de bias tot niveaus die vergelijkbaar zijn met of hoger dan die van SLM's (bijvoorbeeld Distill-Qwen-7B keert terug naar 95,7%).

Interne Mechanismen van de U-vormige Curve:

• Emergentie: In gedistilleerde modellen ontstaat de voorkeur voor het label "Crimineel" eerder in het netwerk (bijvoorbeeld Laag 4 in Distill-Llama-8B versus Laag 8 in Base-Llama) en is deze sterker vastgelegd.
• Attention-herschikking: Distillatie herschikt attentionpatronen, waarbij criminaliteitsgerichte heads worden geconcentreerd op specifieke vroege of late posities in plaats van de breed gedistribueerde patronen die in basismodellen worden gezien.
• Causale Concentratie: Ablatiestudies tonen aan dat gedistilleerde modellen vertrouwen op minder, sterk causale heads om bias aan te drijven. Bijvoorbeeld, het ableren van de top-head in Distill-Llama-8B heeft een effectgrootte die bijna drie keer zo groot is als die van het basismodel.
• Semantische compressie: Distillatie comprimeert de semantische afstand tussen neutrale demografische concepten en het "Crimineel"-anker. In de Qwen-familie kruisen neutrale concepten zoals "Wetenschapper" en "Burger" in gedistilleerde modellen over naar een positieve criminele valentieruimte, terwijl ze in basismodellen distinct blijven.
• Lexicale inhoud: OV-circuitreconstructie onthult dat heads in gedistilleerde modellen expliciet negatieve lexische inhoud schrijven (bijvoorbeeld "vuil", "waardeloos"), terwijl heads in basismodellen neutrale of oncoherent tokens promoten.

Betekenis en Claims

Het artikel claimt het eerste verenigde kader te bieden dat waarneembare gedragsverschuivingen in moreel redeneren koppelt aan hun onderliggende computationele circuits. De primaire bijdragen zijn:

1. Kwantificering van Contextuele Bias: Het MSI-kader gaat voorbij aan binaire evaluatie en identificeert specifieke "morele breekpunten" waar modellen logica opgeven voor veiligheidsgedreven reacties.
2. Ontdekking van het Distillatieparadox: De studie levert empirisch bewijs dat het proces van het "distilleren" van modellen om efficiëntie te verbeteren, in feite bias reintroduceert die grotere basismodellen succesvol hadden geleerd te vermijden. Dit suggereert dat distillatie redeneersporen comprimeert op manieren die ondiepe statistische associaties reactiveren en interne representaties die relevant zijn voor veiligheid degraderen.
3. Mechanistische Uitleg: Het onderzoek identificeert dat de reintroduktie van bias niet louter een gedragsartefact is, maar is geworteld in gereorganiseerde attentionstructuren, geconcentreerde causale heads en gecomprimeerde semantische geometrieën.
4. Regulatorische Relevantie: De auteurs betogen dat deze bevindingen auditing na distillatie noodzakelijk maken. Met aankomende regelgeving zoals de EU AI Act en de Colorado AI Act die gedocumenteerde biasonderzoeken vereisen, biedt het artikel een gefaseerd, mechanistisch onderbouwd protocol voor het evalueren van systemen met hoog risico.

De studie concludeert dat huidige distillatiedoelstellingen, die optimaliseren voor outputtrouw, falen in het behoud van interne representaties die relevant zijn voor veiligheid, wat een kritieke kloof blootlegt in de uitlijning van efficiënte, gedistilleerde modellen.