🤖 machine learning

Where Paths Split: Localized, Calibrated Control of Moral Reasoning in Large Language Models

Dit artikel introduceert een methode genaamd Convergent-Divergent Routing gecombineerd met Dual Logit Calibration om fijnmazige, interpreteerbare controle over morele redenering van grote taalmodellen te bereiken door ze te sturen naar specifieke ethische kaders zoals utilitarisme of deontologie, terwijl hun algemene vaardigheden behouden blijven.

Oorspronkelijke auteurs: Chenchen Yuan, Zheyu Zhang, Gjergji Kasneci

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chenchen Yuan, Zheyu Zhang, Gjergji Kasneci

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorm, drukke treinstation. Binnen dit station bewegen duizenden treinen (datapaden) voortdurend, die informatie vervoeren om te beslissen wat de AI als volgende zegt. Meestal samenvoegen en splitsen deze treinen op complexe manieren, en is het morele kompas van de AI slechts een wazige mix van alle verschillende meningen die het ooit heeft gelezen.

Soms willen we dat de AI zich gedraagt als een strikte regelsvolger (deontologie), en op andere momenten willen we dat het optreedt als een rekenmachine voor "het grootste geluk voor het grootste aantal" (utilitarisme). Het probleem is dat huidige methoden om het denken van de AI te veranderen, lijken op het schreeuwen van instructies via een luidspreker of het proberen te sturen van het hele treinstation met een enorme, stompe hendel. Het is onnauwkeurig, breekt vaak andere dingen, en je weet nooit echt precies hoeveel de AI luistert.

Dit artikel introduceert een nieuwe, chirurgische manier om het morele redeneren van de AI te sturen, genaamd Convergent-Divergent Routing (CDR). Hier is hoe het werkt, opgesplitst in eenvoudige stappen:

1. Het vinden van de "Schakelpunten" (De Vertakkingspunten)

De onderzoekers ontdekten dat er binnen het brein van de AI specifieke plekken zijn waar de sporen van de "Regelsvolger" en de sporen van de "Rekenmachine" een tijdje naast elkaar lopen, en vervolgens uiteenlopen.

De Analogie: Stel je een snelweg voor waar auto's voor "New York" en auto's voor "Boston" een tijdje dezelfde rijbanen delen. Dan komen ze bij een specifieke afrit waar de weg splitst.
De Innovatie: In plaats van te proberen de hele snelweg te sturen, vonden de onderzoekers deze exacte splitpunten binnen de lagen van de AI. Ze noemen deze "vertakkingspunten".

2. De "Poortwachter"-strategie (Binaire Controle)

Zodra ze de splitsing hadden gevonden, installeerden ze een eenvoudige poort.

De Analogie: Als je wilt dat de AI een "Regelsvolger" is, sluiten ze simpelweg de poort naar de "Rekenmachine"-weg op het splitpunt. De "Regelsvolger"-treinen blijven doorgaan, maar de "Rekenmachine"-treinen worden geblokkeerd om dat specifieke stuk spoor te betreden.
Het Resultaat: Dit alleen was verrassend effectief. Door alleen het ongewenste pad te blokkeren, begon de AI van nature meer te denken volgens het gewenste morele kader, zonder dat het hele model opnieuw getraind hoefde te worden.

3. De "Finetuning-knop" (Dual Logit Calibration)

Een weg blokkeren is geweldig voor een simpele "Ja/Nee"-keuze, maar wat als je wilt dat de AI 70% Regelsvolger en 30% Rekenmachine is?

De Analogie: Stel je voor dat de gedachten van de AI een mengsel zijn van twee kleuren verf: Blauw (Regels) en Geel (Gevolgen).
- Eerdere methoden probeerden een enorme emmer Blauwe verf toe te voegen, wat vaak het hele mengsel in een modderige, onvoorspelbare kleur veranderde.
- Dit artikel gebruikt een precieze mengknop. Ze identificeerden twee specifieke "richtingen" in het brein van de AI (zoals twee aparte knoppen) die de hoeveelheden Blauw en Geel controleren.
- Ze gebruiken een wiskundige formule (genaamd Dual Logit Calibration) om deze knoppen precies genoeg te draaien zodat de uiteindelijke kleur exact overeenkomt met wat de gebruiker vroeg (bijvoorbeeld 70% Blauw, 30% Geel).

4. Waarom dit beter is

Precisie: Het is alsof je een scalpel gebruikt in plaats van een sloopkogel. Ze raken alleen de specifieke draden aan waar de morele beslissing wordt genomen, en laten de rest van het brein van de AI (zijn vermogen om wiskunde te doen, gedichten te schrijven of trivia te beantwoorden) volledig onaangeroerd.
Voorspelbaarheid: Bij oude methoden kon het draaien aan een "knop" ertoe leiden dat de AI gek werd of stopte met werken. Bij deze methode krijg je, als je om 50% van een stijl vraagt, precies 50%. Het is een betrouwbare, gekalibreerde controle.
Geen Hertraining: Ze hoeven de AI geen nieuwe dingen te leren. Ze passen alleen de interne tandwielen aan terwijl de AI draait.

De Conclusie

De onderzoekers testten dit op echte morele dilemma's (zoals het beroemde "Treinprobleem" of alledaagse ethische keuzes). Ze ontdekten dat hun methode de AI betrouwbaar kon laten redeneren vanuit een strikt regelgebaseerd perspectief of een gevolgengebaseerd perspectief, en ze zelfs in elke verhouding die de gebruiker wilde kon mixen. Cruciaal: de AI verloor zijn vermogen om andere taken te verrichten niet; het werd gewoon een meester in het schakelen van zijn morele "persona" op commando.

Kortom: Ze vonden de exacte schakelaar in het brein van de AI waar morele filosofieën uiteenlopen, en bouwden een precieze afstandsbediening om de AI te sturen naar het specifieke ethische standpunt dat je wilt, zonder iets anders te breken.

Technische Samenvatting: Waar Paden Splitsen: Gelokaliseerde, Gekalibreerde Controle van Moreel Redeneren in Groot Taalmodellen

Probleemstelling

Naarmate Groot Taalmodellen (LLMs) overgaan van passieve chatbots naar actieve agenten en sociale simulatoren, is de vraag naar controle over hun ethische gedrag geëvolueerd. Bestaande methoden voor het sturen van modelgedrag, zoals prompt-engineering of het toevoegen van scalare stuurvectoren, missen vaak interpretabiliteit en gegarandeerde kalibratie. Specifiek is het effectieve bereik van stuurcoëfficiënten onduidelijk, en is de resulterende mate van adherentie aan een doel-ethisch perspectief onvoorspelbaar. De auteurs betogen dat effectief moreel sturen interventies vereist die zowel gelokaliseerd zijn (alleen bewerken waar ethische kaders binnen het netwerk concurreren) als gekalibreerd (voorspelbare effecten produceren via gebonden voorkeursgewichten). Het artikel richt zich op het canonieke paar ethische kaders: deontologie (op regels gebaseerde plichten) en utilitarisme (op gevolgen gebaseerde uitkomsten), die vaak tegenstrijdige voorschriften opleveren in morele dilemma's.

Methodologie

De voorgestelde aanpak, Convergent-Divergent Routing (CDR), werkt tijdens inferentie zonder model-finetuning. Het bestaat uit twee hoofdfasen:

1. Convergent-Divergent Routing (CDR) en Binaire Controle

De kernhypothese is dat ethische kaders concurreren op specifieke "vertakkingspunten" binnen transformer-blokken waar paden samenkomen en vervolgens divergeren.

Identificatie van Vertakkingspunten: De methode identificeert lagen waar attention-heads worden gedeeld over ethische kaders (convergentie), maar waar de daaropvolgende Feed-Forward Network (FFN)-eenheden divergeren.
- Attention Heads: Lineaire probes worden getraind op attention-head-representaties om labels van ethische kaders te voorspellen. Heads met hoge voorspellende prestaties worden gemarkeerd als relevant.
- FFN-Vectoren: De auteurs identificeren FFN-vectoren (kolommen van de up-projectiematrix) die overeenkomen met specifieke ethische richtingen afgeleid van indicatorwoorden (bijv. "deontologie").
Gating-mechanisme: Op geïdentificeerde vertakkingspunten blokkeert de methode de stroom van gedeelde attention-heads naar niet-doel-FFN-eenheden. Dit voorkomt de propagatie van signalen van gedeelde heads naar de downstream-eenheden van het inactieve ethische kader, terwijl upstream-berekeningen intact blijven.
Binaire Controle: Deze gating alleen fungeert als een binaire schakelaar, die redeneren in het doelkader aanzienlijk versterkt zonder expliciete prompts, en het modeloutput effectief polariseert.

2. Gedetailleerde Controle via Dual Logit Kalibratie

Om continue, gekalibreerde controle te bereiken in plaats van alleen binaire schakeling, introduceren de auteurs een tweefasenproces:

Paired-Direction Extractie: Met behulp van de residustromen verkregen onder binaire controle (waarbij één kader wordt onderdrukt), passen de auteurs Common Spatial Patterns (CSP) toe, een techniek overgenomen van EEG-signaalverwerking. CSP isoleert discriminerende richtingen ( $u^{(l)}$ voor utilitarisme en $d^{(l)}$ voor deontologie) voor elke vertakkingspunt-laag door de variantieratio tussen de twee klassen te maximaliseren terwijl gedeelde variantie wordt onderdrukt.
Dual Logit Kalibratie (DLC): Dit is een gesloten-formule, minimum- $\ell_2$ $ℓ_{2}$ -norm update toegepast op de residustroom tijdens decodestappen.
- De methode definieert directionele logits gebaseerd op de projectie van de residustroom op de geëxtraheerde richtingen.
- Het lost een optimalisatieprobleem op om een update $\Delta h^{(l)}_t$ te vinden die de norm van de bewerking minimaliseert terwijl het ervoor zorgt dat de resulterende directionele projecties aligneren met door de gebruiker gespecificeerde voorkeursgewichten $(\alpha_U, \alpha_D)$ , waarbij $\alpha_U + \alpha_D = 1$ .
- Dit vervangt de ongebonden scalare coëfficiënt die in eerdere stuurmethoden werd gebruikt door gebonden voorkeursgewichten op het 1-simplex, wat interpretabiliteit en voorspelbaarheid garandeert.

Belangrijkste Bijdragen

Gelokaliseerde Interventie: Het artikel introduceert een mechanistische aanpak voor moreel sturen die specifieke "vertakkingspunten" (gedeelde attention-heads die divergeren in distincte FFN-eenheden) target in plaats van globale vectoraddities toe te passen.
Gekalibreerde Controle: Door CSP aan te passen en Dual Logit Kalibratie in te voeren, maakt de methode gedetailleerde controle mogelijk waarbij de ethische neiging van het model continu kan worden afgestemd om te voldoen aan door de gebruiker gespecificeerde gewichten $(\alpha_U, \alpha_D)$ .
Interpretabiliteit: De aanpak biedt een duidelijk mechanisme voor hoe moreel redeneren wordt gemanipuleerd, door de concurrentie tussen kaders te traceren naar specifieke architecturale componenten.
Behoud van Algemene Capaciteiten: De gelokaliseerde aard van de bewerkingen zorgt ervoor dat algemene taalcapaciteiten (bijv. trivia, wiskunde, vertaling) grotendeels behouden blijven, in tegenstelling tot sommige globale stuurmethoden die prestaties degraderen.

Experimentele Resultaten

De methode werd geëvalueerd op real-life morele dilemma's (AITA-dataset) met LLaMA-2-7B-Chat, Vicuna-7B-v1.5 en Yi-1.5-6B-Chat.

Binaire Controle: De methode polariseerde het modelgedrag succesvol naar het doelkader. Bijvoorbeeld, op LLaMA verhoogde het instellen van $\alpha_U=1$ (puur utilitarisme) het utilitaristische outputpercentage van een baseline van ~62% naar ~84%, terwijl $\alpha_U=0$ het terugbracht naar ~20%.
Gedetailleerde Kalibratie: De methode toonde een bijna-monotone relatie tussen het invoer-voorkeursgewicht $\alpha_U$ en de waargenomen utilitaristische neiging ( $U_{op}$ ). De Mean Absolute Error (MAE) tussen de doel- en waargenomen rates was significant lager dan baselines (Alleen Prompt, Top-K Head Steering en Best-Layer Post-FFN Ratio Steering), met afwijkingen doorgaans binnen 5 procentpunten.
Ablatiestudies:
- Het vervangen van CSP door andere direction-extractiemethoden (cPCA, PLS-DA) resulteerde in hogere kalibratiefouten.
- Het verwijderen van het gating-mechanisme (Blokkeren) verminderde significant het vermogen van het model om onderscheid te maken tussen hoge en lage voorkeursgewichten, met name voor Vicuna.
- Sturen op enkele lagen (zonder de volledige vertakkingspunt-logica) was minder effectief dan de volledige CDR-pijplijn.
Algemene Capaciteiten: Evaluatie op GSM8K, TriviaQA en vertaaltaken toonde verwaarloosbare degradatie in algemene capaciteiten in de meeste instellingen, met slechts kleine dalingen bij extreme voorkeursgewichten voor specifieke modellen.
Menselijke Evaluatie: Menselijke annotatoren bevestigden dat de rechtvaardigingen van het model consistent overeenkwamen met het gestelde ethische kader (nauwkeurigheid van 0,81 voor LLaMA en 0,85 voor Vicuna).

Betekenis en Claims

De auteurs claimen dat hun werk een betrouwbare, interpreteerbare en gekalibreerd mechanisme biedt voor het sturen van LLMs naar specifieke ethische kaders tijdens inferentie. De betekenis ligt in:

Voorbijgaan aan "black box" stuurvectoren naar een mechanistisch begrip van waar en hoe moreel redeneren wordt verwerkt in transformers.
Het bieden van een gekalibreerd controleschema waarbij de mate van ethische uitlijning voorspelbaar en gebonden is, waardoor de onzekerheid van scalare coëfficiënten in eerdere werken wordt aangepakt.
Het aantonen dat gelokaliseerde bewerkingen hoge-level redeneerstandpunten kunnen verschuiven zonder de algemene intelligentie van het model breed te verstoren.

Het artikel concludeert dat hoewel de huidige focus ligt op de binaire as van deontologie versus utilitarisme, het kader van Convergent-Divergent Routing een pad biedt voor toekomstig werk om meer pluralistische waardesystemen en complexe morele spectra te verkennen. De auteurs benadrukken het belang van verantwoord gebruik en transparantie, en merken op dat het vermogen om ethische standpunten te sturen risico's met zich meebrengt van selectieve framing in toepassingen met hoge inzet.