Technisch overzicht: Every Act Has Its Price: Compressed Moral Composition in Frontier LLMs

Probleemstelling

Bestaande morele benchmarks voor Large Language Models (LLMs) vertrouwen voornamelijk op geïsoleerde act-rangschikkingen. In deze standaardaudits kiezen modellen tussen twee opties, waarbij elke optie een enkele centrale morele daad bevat. Hoewel deze aanpak effectief is voor het vaststellen van voorkeurshiërarchieën voor individuele daden of morele fundamenten (bijv. Zorg, Rechtvaardigheid), slaagt het er niet in te vatten hoe modellen samengestelde morele bewijslast verwerken.

Morele besluitvorming in de echte wereld houdt vaak het vergelijken van opties in waarbij meerdere morele signalen binnen één enkele keuze samenkomen (bijv. een optie die een extreme positieve daad combineert met een milde overtreding versus een optie met twee matige positieve daden). Huidige methodologieën kunnen niet bepalen of modellen deze signalen simpelweg optellen, secundaire componenten devalueren, of dat de sterkste daad de gehele optie domineert. Bijgevolg is de rangschikking van geïsoleerde daden door een model niet noodzakelijkerwijs voorspellend voor de oordelen wanneer die daden worden samengesteld. Dit artikel adresseert de kloof in het begrip van hoe frontier LLMs meerdere gekalibreerde morele daden componeren tot samengestelde oordelen.

Methodologie: MORAL TROLLEY ARENA

Om morele compositie te meten, introduceren de auteurs MORAL TROLLEY ARENA, een tweefasige blind ELO-benchmark die ontworpen is om de koppeling tussen act-niveau kalibratie en samengestelde oordeelsvorming te leggen. Het framework maakt gebruik van de Moral Foundations Theory (MFT) die vijf fundamenten beslaat: Zorg, Rechtvaardigheid, Loyaliteit, Autoriteit en Heiligheid.

1. Scenario-constructie

De benchmark maakt gebruik van een corpus van 229 persoon-gecentreerde morele scenario's, afgeleid van gevestigde psychologische vignettes (Clifford et al., 2015; Young & Saxe, 2011; Hofmann et al., 2014) en uitgebreid met ankergevallen. Elk scenario is toegewezen aan een primair MFT-fundament en een semantische intensiteitslabel variërend van $-2$ (extreme onrechtmatigheid) tot $+2$ (uitzonderlijke deugdzaamheid).

2. Tweefasig Arena-protocol

De benchmark werkt via twee gekoppelde arena's die gebruikmaken van een blind pairwise ELO-updateprotocol (vergelijkbaar met Chatbot Arena):

• Fase A: Single-Scene Kalibratie

  • Doel: Het vaststellen van een basislijn voor de "componentsterkte" van elke atomaire daad.
  • Proces: De 229 scenario's worden in isolatie geëvalueerd via blind pairwise battles. De fundamentele labels zijn verborgen voor het model.
  • Output: Een gekalibreerde ELO-score voor elk scenario, die het morele gewicht representeert onafhankelijk van compositie.

• Fase B: Composite Arena

  • Doel: Meten hoe modellen afwegen tussen meerdere daden wanneer ze samen worden gepresenteerd.
  • Proces: Gekalibreerde daden worden gecombineerd in twee-daad morele items. De auteurs hebben een gecontroleerd rooster van 160 samengestelde profielen geconstrueerd door alle $\binom{5}{2}=10$ fundamentele paren te kruisen met 16 niet-neutrale intensiteitsconfiguraties ($\{-2, -1, +1, +2\}^2$).
  • Protocol: Modellen beoordelen 1.200 composite-versus-composite battles. De fundamentele labels blijven verborgen.
  • Output: Een samengestelde ELO-score voor elk profiel, die het geïntegreerde oordeel van het model reflecteert.

3. Analytisch Framework

De auteurs analyseren de relatie tussen de Single-Scene ELO's (componentsterkte) en de Composite ELO's met behulp van vier specifieke signalen:

1. Compressed Composition Rule: Testen of de composite ELO een lineaire functie is van de component ELO's ($E_c = \beta(E_{s1} + E_{s2}) + \alpha$).
2. Foundation Residuals: Het meten van afwijkingen van de lineaire voorspelling na controle voor componentsterkte om fundamenteel-specifieke weging te identificeren.
3. Intensity Anchoring: Onderzoeken van niet-additieve effecten waarbij specifieke intensiteitsconfiguraties (bijv. $+2, -1$) andere resultaten opleveren dan configuraties met een overeenkomstige component-som (bijv. $+1, +1$).
4. Cross-Model Convergentie: Het beoordelen van de correlatie van de samengestelde voorkeursoppervlakken tussen verschillende modelproviders.

Belangrijkste Bijdragen

1. MORAL TROLLEY ARENA Benchmark: Een nieuwe tweefasige blind ELO-benchmark die morele auditing verschuift van geïsoleerde act-rangschikkingen naar oordelen over samengestelde morele bewijslast.
2. Karakterisering van Compositie-regels: De auteurs stellen vast dat samengestelde oordelen een gecomprimeerde lineaire functie volgen van componentsterktes in plaats van een simpel additief model.
3. Ontdekking van Intensity Anchoring: De studie onthult dat modellen niet-additieve intensity anchoring vertonen, waarbij profielen met een extreme positieve component en een milde negatieve component ($+2, -1$) beter presteren dan profielen met twee matige positieve componenten ($+1, +1$), ondanks een overeenkomstige component-som.
4. Foundation-Specifieke Residuals: Na controle voor componentsterkte isoleren de auteurs begrensde residuals, waarbij zij een positieve residual vinden voor Loyaliteit en een negatieve residual voor Zorg, terwijl andere fundamenten nauw aansluiten bij de lineaire voorspellingen.
5. Cross-Provider Convergentie: De samengestelde voorkeursoppervlakken vertonen een hoge convergentie (gemiddelde pairwise $r = 0.939$) over tien frontier-modellen van negen verschillende providers, wat suggereert dat deze compositiegedragingen gedeelde eigenschappen zijn van huidige frontier-modellen.

Resultaten

De studie evalueerde tien frontier-modellen (waaronder Claude-Sonnet-4.6, GPT-5.2, Gemini-2.5-Pro, etc.), waarbij 29.134 blind pairwise oordelen werden gegenereerd.

• Compressed Integration: Over alle modellen heen was de helling ($\beta$) van de lineaire relatie tussen component ELO-sommen en composite ELO's consistent kleiner dan 1 ($\bar{\beta} = 0.862$). Dit geeft aan dat modellen gecombineerde morele bewijslast comprimeren in plaats van deze lineair op te tellen.
• Intensity Anchoring: Er werd een significante afwijking van monotoniciteit waargenomen. Profielen met een intensiteitssom van $s=+1$ (gedomineerd door een $+2/-1$ paar) ontvingen hogere composite ELO's ($1098.4$) dan profielen met $s=+2$ (gedomineerd door $+1/+1$ paren, $1063.4$), ondanks bijna identieke component ELO-sommen. Dit suggereert dat de aanwezigheid van een high-intensity anchor het oordeel meer stuurt dan de geaggregeerde som.
• Foundation Residuals: Wanneer gecontroleerd wordt voor componentsterkte, vertoonde Loyaliteit een positieve residual ($+9.58$), wat aangeeft dat het extra gewicht krijgt in samengestelde oordelen. Omgekeerd vertoonde Zorg een negatieve residual ($-9.22$).
• Convergentie: De 160-dimensionale composite ELO-vectoren over de modellen vertoonden een hoge correlatie (gemiddelde $r=0.939$), wat aangeeft dat het geëliciteerde compositiegedrag robuust is over verschillende modelarchitecturen en trainingspipelines.

Betekenis en Claims

Het artikel betoogt dat morele audits moeten evolueren van het controleren van geïsoleerde act-rangschikkingen naar het meten van compositie-regels. De bevindingen suggereren dat:

• Simpele rangschikkingen onvoldoende zijn: De voorkeur van een model voor geïsoleerde daden voorspelt niet volledig het gedrag wanneer meerdere morele signalen in dezelfde optie aanwezig zijn.
• Compositie niet-lineair is: Modellen tellen morele waarden niet simpelweg op; ze comprimeren bewijs en worden beïnvloed door intensity anchoring.
• Gedeelde Gedragsprimitieven: De consistentie van deze compositie-regels over diverse frontier-modellen heen impliceert dat dit fundamentele eigenschappen zijn van huidige LLM-architecturen, wat implicaties heeft voor hoe morele bewijslast zich accumuleert, domineert of wegvalt in complexe agent-samenlevingen en pipelines voor bias-propagatie.

De auteurs houden een bescheiden reikwijdte aan door te vermelden dat de benchmark de onthulde keuzes onder een gedwongen trolley-framing meet en geen volledige theorie van modelmoraliteit vormt. Zij erkennen beperkingen met betrekking tot de 5-niveau intensiteitsschaal, het gebruik van door LLM's gelabelde scenario's voor intensiteit, en de exclusie van kleinere open-weight modellen en meertalige settings.