Aristotelian Virtue Profiling of LLMs through Ethical Dilemmas

Technische Samenvatting: Aristotelische Deugdprofilering van LLM's via Ethische Dilemma's

Probleemstelling
Large Language Models (LLM's) genereren frequent outputs die conflicterende ethische overwegingen prioriteren, zoals waarachtigheid versus tact, of strikte rechtvaardigheid versus contextuele flexibiliteit. Traditionele evaluatiemethoden behandelen deze gedragingen vaak als binaire "goed" of "fout", wat de onderliggende structuur van ethische besluitvorming vertroebelt. De auteurs stellen dat een model dat de voorkeur geeft aan zorgvuldige compromissen niet noodzakelijkerwijs minder ethisch is dan een model dat de voorkeur geeft aan directe openbaarmaking; het kan eerder een onderscheidend ethisch profiel uitdrukken. De uitdaging ligt in het bewegen van enkelvoudige label-oordelen naar een beschrijvend kader dat deze genuanceerde disposities vastlegt, zonder te beweren dat modellen een letterlijk moreel karakter bezitten.

Methodologie: Het VirtueMap-framework
Het paper introduceert VirtueMap, een framework dat modellen (en mensen) profileert met een Aristotelische deugdethische lens. In plaats van één enkele "juiste" reactie te selecteren, vereist het systeem deelnemers om alle vijf de reacties op een reeks ethische dilemma's te rangschikken van meest naar minst ethisch wenselijk.

• Deugden en Dilemma's: Het framework profileert vijf Aristotelische deugden: Praktische Wijsheid (phronesis), Rechtvaardigheid (dikaiosyne), Waarachtigheid (aletheia), Moed (andreia) en Matigheid (sophrosyne). Het instrument bestaat uit zeven algemene, niet-dodelijke, niet-politieke en niet-religieuze dilemma's (bijv. "Spreadsheetfout", "Deadline Uitzondering"), elk met vijf verschillende reacties (A–E).
• Validatie via Common-Sense: Om een scoringssleutel vast te stellen, stelden de auteurs een ordening voor van de vijf reacties voor elk dilemma-deugdpaar, die de volgorde vertegenwoordigt van "meest tot minst expressief" van die deugd. Deze ordeningen werden gevalideerd via online vragenlijsten met meer dan 100 respondenten per ordening. Een ordening werd alleen behouden als "operationele grondwaarheid" als ten minste 95% van de respondenten de ordening bevestigde (met $N > 100$). Dit zorgt ervoor dat de scoringssleutel steunt op de herkenning van de relevantie van de deugd vanuit het algemeen verstand (common-sense), in plaats van op de intuïtie van de auteur.
• Scoringsmechanisme: Rangschikkingen worden gescoord tegen de behouden deugd-expressie-ordeningen met behulp van Genormaliseerde Borda-alignement.
  • Borda-gewichten (5, 4, 3, 2, 1) worden toegekend aan rangen.
  • De ruwe alignement $A(d, v)$ is het inproduct van de Borda-scores van de geobserveerde rangschikking en de deugd-ordening.
  • Deze ruwe score wordt genormaliseerd naar een schaal van 0–100, waarbij 55 staat voor perfecte overeenstemming met de deugd-ordening en 35 voor volledige omkering.
  • De definitieve score voor een deugd is het gemiddelde van deze genormaliseerde scores over alle beantwoordde dilemma's.
• LLM-evaluatieprotocol: De auteurs evalueerden negen LLM-families (GPT, Claude, Gemini, Llama, DeepSeek, Mistral, MiniMax, Grok, Qwen) via OpenRouter. Om rekening te houden met stochasticiteit, was de evaluatie sequentieel: modellen werden meerdere keren gedraaid (tot 10 keer) totdat de helftbreedte van het 95%-betrouwbaarheidsinterval voor de deugd-gemiddelden onder de 5,0 procentpunten zakte of de consistentie 95% bereikte. Het gerapporteerde profiel is het empirische gemiddelde van deze herhaalde runs.

Belangrijkste Bijdragen

1. Gerangschikt Ethisch Instrument: Een nieuw instrument geworteld in Aristotelische deugden dat een volledige ordening van reacties vereist in plaats van enkelvoudige selectie.
2. Validatiecriterium: Een validatiemechanisme gebaseerd op common-sense voor de ordening van reacties met een hoge drempel (>95%) menselijke bevestiging, wat de vraag scheidt van "wat een optie uitdrukt" versus "wat een model verkiest".
3. Expliciete Scoringsregel: Een wiskundig gedefinieerde methode (Genormaliseerde Borda-alignement) om rangschikkingen om te zetten in continue deugdprofielen.
4. Repeated-Run Profiling Suite: Een methodologie die de stochasticiteit van LLM's behandelt als onderdeel van de meting, waarbij empirische gemiddelden en consistentie-intervallen worden gerapporteerd in plaats van enkelvoudige snapshots van één run.
5. Interactieve Implementatie: Een browsergebaseerde website die profielen lokaal berekent, waardoor gebruikers hun eigen rangschikkingen kunnen vergelijken met de gemeten LLM-profielen.

Resultaten
De evaluatie produceerde 44 geldige volledige vragenlijst-runs over negen modelfamilies.

• Consistentie: De gemiddelde rangconsistentie tussen modellen was 90,3%, wat wijst op een hoge stabiliteit in hoe modellen reacties rangschikken over herhaalde runs.
• Deugdprofielen: De hoogste gemiddelde score over alle modellen was voor Praktische Wijsheid (90,4), gevolgd door Waarachtigheid (82,3), Rechtvaardigheid (80,5), Moed (78,0) en Matigheid (76,9).
• Variabiliteit: De grootste verschillen tussen modellen werden waargenomen in Moed (bereik 10,95), Matigheid (bereik 10,26) en Rechtvaardigheid (bereik 9,70).
• Modelspecifieke resultaten: Qwen scoorde het hoogst op Praktische Wijsheid; MiniMax op Rechtvaardigheid; Claude op Waarachtigheid en Moed; en GPT op Matigheid.
• Visualisatie: De resultaten worden gevisualiseerd als pentagon-plots, die benadrukken dat hoewel modellen convergeren op Praktische Wijsheid (vaak de voorkeur geven aan gebalanceerde opties), ze significant divergeren op dimensies die interventie (Moed) of terughoudendheid (Matigheid) vereisen.

Betekenis en Claims
Het paper positioneert VirtueMap als een beschrijvend instrument, niet als een test van morele waarde. De primaire betekenis ligt in het verschuiven van ethische evaluatie van het zoeken naar één enkel correct label naar het identificeren van de "dispositie die wordt uitgedrukt door een patroon van keuzes".

• Interpreteerbaarheid: Het framework biedt een coördinatensysteem dat interpreteerbaar is voor mensen, waardoor modellen vergeleken kunnen worden die wellicht schadelijke antwoorden vermijden maar verschillen in hun prioritering van waarden (bijv. directe openbaarmaking versus voorzichtige vertraging).
• Beperkingen: De auteurs geven expliciet aan dat de resultaten niet impliceren dat LLM's letterlijk deugden bezitten. De profielen zijn specifiek voor de reikwijdte van de vragenlijst (zeven dilemma's, vijf deugden) en moeten worden beschouwd als geobserveerde responspatronen onder een specifiek protocol, niet als vaste eigenschappen van de modellen. De auteurs erkennen potentiële beperkingen met betrekking tot bevestigingsvooroordeel (confirmation bias) in de validatiefase en het deelgebruik van de geselecteerde deugden.

Het werk draagt bij aan de literatuur over AI en de deugdethiek door Aristotelische deugden de primaire representatieruimte te maken voor het profileren van modelgedrag, in plaats van ze enkel als een theoretisch kader of een subcategorie van bredere morele benchmarks te gebruiken.