Value Entanglement: Conflation Between Different Kinds of Good In (Some) Large Language Models

Technische Samenvatting: Waarde-verstrengeling in Large Language Models

Probleemstelling
De afstemming van Large Language Models (LLM's) op menselijke waarden vereist een empirisch begrip van hoe deze modellen verschillende soorten "goedheid" representeren. Menselijke waardering wordt gekenmerkt door het vermogen om onderscheid te maken tussen verschillende categorieën waarde, zoals morele goedheid (bijv. een deugdzame daad), grammaticale goedheid (bijv. een welgevormde zin) en economische goedheid (bijv. een kostbaar object). De auteurs onderzoeken of LLM's vergelijkbare onderscheid maken tussen deze orthogonale waardedimensies, of dat ze lijden aan "waarde-verstrengeling" (value entanglement)—een conflatie waarbij de representatie van één type waarde overmatig wordt beïnvloed door een andere. Deze verwarring vormt een risico voor waarde-afstemming (value alignment), aangezien een agent die niet in staat is om onderscheid te maken tussen een "goede zin" en een "goede daad" kan falen in het betrouwbaar handelen volgens specifieke morele doelstellingen.

Methodologie
De studie hanteert een veelzijdige aanpak die gedragsmatige evaluatie, analyse van de interne activatiegeometrie en causale interventies combineert over een diverse set gesloten en open-weight modellen (waaronder de Qwen-, Gemma-, Mistral-, GPT- en Claude-families).

1. Stimulusontwerp: De onderzoekers construeerden twee orthogonale stimulussets:

   • MoralGrammar68: 68 zinnen die onafhankelijk variëren in morele valentie (van deugdzaam tot schadelijk) en grammaticaliteit (van 0 tot 4+ fouten).
   • MoralEconomic68: 68 zinnen die onafhankelijk variëren in morele valentie en economische waarde (door objecten met variërende detailhandelsprijzen in te bedden, van laag naar hoog).
     Menselijke participanten valideerden deze stimuli en bevestigden dat morele en grammaticale beoordelingen, evenals morele en economische beoordelingen, niet gecorreleerd waren (orthogonaal) in menselijke oordelen.

2. Gedragsmatige Evaluatie: Modellen werden geprompt om de zinnen te beoordelen op Likert-schalen (-10 tot +10) voor moraliteit, grammaticaliteit en economische waarde. De studie mat de correlatie tussen de beoordelingen van modellen op deze verschillende dimensies.

3. Activatiegeometrie: Voor open-weight modellen identificeerden de auteurs "attribuutvectoren" in de residual stream middels een middels-verschil-benadering (het contrasteren van activaties voor positieve versus negatieve voorbeelden van elk type waarde). Ze projecteerden de doelzinnen op deze vectoren om de interne representatie van elke waardedimensie te meten.

4. Directionele Ablatie: Om causaliteit vast te stellen, voerden de auteurs directionele ablatie uit tijdens inferentie. Door de variantie langs specifieke attribuutvectoren (bijv. de moraliteitsvector) te "nul maken" of om te keren, testten zij of het verwijderen van morele informatie de beoordelingen van grammaticale of economische waarde veranderde.

Belangrijkste Resultaten

• Gedragsmatige Verstrengeling: Veel modellen, met name open-source varianten (bijv. Qwen2.5, Gemma-2/3, Mistral-Small), vertoonden significante correlaties tussen morele en grammaticale beoordelingen, en tussen morele en economische beoordelingen. Bijvoorbeeld, in Qwen2.5 7B kreeg een zin met moreel onjuiste inhoud maar perfecte grammatica een lagere grammaticaliteitsbeoordeling dan een neutrale zin met fouten. Deze "geïnfleerde correlatie" was grotendeels afwezig bij menselijke beoordelaars en sommige gesloten-weight modellen (bijv. GPT-5.4, Claude Sonnet).
• Asymmetrie: De verstrengeling was asymmetrisch. Terwijl morele oordelen getrouw bleven aan menselijke normen (hoge correlatie met menselijke morele beoordelingen, lage correlatie met grammatica/economie), werden grammaticale en economische oordelen zwaar gecontamineerd door morele inhoud. Modellen beoordeelden grammaticaal perfecte zinnen vaak als "ongrammaticaal" als ze immorele daden beschreven.
• Interne Representaties: Activatieprojecties bevestigden dat de interne vectoren voor grammaticaliteit en economische waarde sterk gecorreleerd waren met de moraliteitsvector in de residual stream. In veel modellen werd de representatie van grammaticale of economische waarde significant voorspeld door het morele niveau van de input, wat de gedragsmatige bevindingen weerspiegelt.
• Causale Interventie: Directionele ablatie van de moraliteitsvector resulteerde in een herstel van de prestaties. Wanneer morele informatie werd verwijderd, verbeterde het vermogen van de modellen om grammaticaliteit en economische waarde te beoordelen, wat een hogere correlatie met de menselijke grondwaarheid liet zien. Dit suggereert dat morele informatie actief interfereert met de verwerking van andere waardedimensies.
• Oorsprong van Training: Verstrengeling werd waargenomen in zowel pre-trained (base) als instruction-tuned modellen, wat suggereert dat het fenomeen voortkomt tijdens de pre-training, waarschijnlijk door de polyseme aard van valente taal (bijv. het woord "goed" dat in diverse contexten voorkomt), in plaats van uitsluitend een product te zijn van Reinforcement Learning from Human Feedback (RLHF).

Betekenis en Claims
Het artikel beweert empirisch bewijs te leveren dat veel LLM's lijden aan waarde-verstrengeling, waarbij ze verschillende soorten "goed" verwarren. De auteurs stellen dat deze representationele conflatie problematisch is voor waarde-afstemming omdat het de waardering vervormt ten opzichte van menselijke normen. Als een model niet in staat is om onderscheid te maken tussen een grammaticaal correcte zin en een moreel deugdzame handeling, kan de besluitvorming in taken die vereisen van multidimensionale waardebepaling fundamenteel gebrekkig zijn.

De studie draagt bij aan AI-veiligheid door:

1. Een methode aan te bieden om waarde-verstrengeling empirisch te meten en te detecteren.
2. Aan te tonen dat gerichte interventies (ablatie) deze conflaties kunnen herstellen, wat wijst op een potentiële route om dergelijke afstemmingsproblemen te mitigeren.
3. Te benadrukken dat de kern van het probleem mogelijk in de pre-training fase ligt, wat impliceert dat toekomstige afstemmingsstrategieën de fundamentele representaties van waarde moeten adresseren, en niet alleen de post-training fine-tuning.

De auteurs houden een bescheiden reikwijdte aan door te merken dat hoewel verstrengeling wijdverspreid is in veel geteste modellen, het niet universeel is (sommige gesloten modellen vertoonden minder verstrengeling), en dat de bevindingen specifiek zijn voor de geteste waardedimensies (moreel, grammaticaal, economisch). Zij beweren niet het afstemmingsprobleem te hebben opgelost, maar hebben een specifieke, meetbare foutmodus geïdentificeerd in de manier waarop modellen waarde representeren.