Morally Programmed LLMs Reshape Human Morality

Titel: Moreel geprogrammeerde LLM's herschikken de menselijke moraal

Auteurs: Pengzhao Lyu, Yeun Joon Kim, Yingyue Luna Luan, Jungmin Choi (Universiteit van Cambridge & Universiteit van Queensland).

1. Het Probleem

Er is een intensief globaal debat gaande over welke morele kaders (deontologisch of utilitaristisch) grote taalmodellen (LLM's) moeten leiden bij het nemen van beslissingen. De huidige focus ligt echter bijna uitsluitend op hoe mensen de moraal van machines vormgeven. Een cruciale, maar over het hoofd geziene vraag is of de morele principes die mensen in LLM's coderen, via herhaalde interacties de menselijke morele neigingen op hun beurt kunnen herschikken.

De auteurs onderzoeken of LLM's, die consistent handelen volgens specifieke morele logica's (regels versus gevolgen), niet alleen beslissingen ondersteunen, maar ook de morele overtuigingen van gebruikers fundamenteel kunnen veranderen. Dit heeft grote implicaties voor de ethiek van AI-ontwerp en de invloed op maatschappelijke opinies.

2. Methodologie

De auteurs voerden twee vooraf geregistreerde experimenten uit met in totaal 15.985 mens-LLM-uitwisselingen.

Experimenteel Ontwerp:

• LLM-variabelen: Er werden twee specifieke LLM's ontwikkeld (gebaseerd op GPT-4o):
  • D-LLM: Geprogrammeerd met deontologische principes (morele regels en plichten, ongeacht de gevolgen).
  • U-LLM: Geprogrammeerd met utilitaristische principes (maximalisatie van het totale welzijn/gevolgen).
• Validatie: Een voorstudie bevestigde dat de LLM's consistent antwoorden gaven die overeenkwamen met hun respectievelijke morele kaders.
• Meting van Morele Neigingen: Om veranderingen kwantitatief te meten, gebruikten de auteurs de Process Dissociation (PD) methode. Deze methode analyseert reacties op een batterij van 20 morele dilemma's om wiskundig de onderliggende deontologische en utilitaristische neigingen van een individu te ontrafelen, waardoor ze van elkaar gescheiden kunnen worden gemeten.

Studie 1: Longitudinaal Experiment (Tijd en Internalisatie)

• Opzet: 124 deelnemers in een drie-golven ontwerp.
  • T1 (Basis): Onafhankelijke meting van morele neigingen.
  • T2 (Direct na interactie): Deelnemers willekeurig toegewezen aan D-LLM of U-LLM. Ze bespraken 20 dilemma's met de LLM en maakten daarna een oordeel.
  • T3 (Twee weken later): Herhaling van de meting zonder LLM-interactie om de duurzaamheid van het effect te testen.
• Doel: Bepalen of effecten direct zijn, of ze blijven bestaan na twee weken (internalisatie vs. oppervlakkige conformiteit).

Studie 2: Downstream Gevolgen voor Sociaal-Politiek Beleid

• Opzet: 274 deelnemers (VS) in drie condities: D-LLM, U-LLM, en een controlegroep (geen LLM).
• Proces: Deelnemers interacteerden met de LLM over morele dilemma's (of deden dit zelf in de controlegroep) en beoordeelden vervolgens 11 actuele sociaal-politieke beleidsvoorstellen (bijv. abortus, verplichte vaccinatie, doodstraf, toezicht).
• Analyse: Mediatieanalyse om te testen of veranderingen in morele neigingen leidden tot veranderingen in beleidsvoorkeuren en stemintenties.

3. Belangrijkste Resultaten

Effect op Morele Neigingen (Studie 1 & 2):

• Systematische Verschuiving: Interactie met een moreel geprogrammeerde LLM verschuift de morele neigingen van mensen significant naar het principe dat in de LLM is ingebouwd.
  • D-LLM-interactie verhoogde de deontologische neiging.
  • U-LLM-interactie verhoogde de utilitaristische neiging.
• Duurzaamheid: Deze effecten bleven twee weken na de interactie sterk aanwezig, wat wijst op diepe internalisatie in plaats van tijdelijke conformiteit.
  • Nuance: Er was sprake van een lichte "afname" (decay) van het deontologische effect na twee weken, maar het utilitaristische effect bleek stabiel.

Downstream Gevolgen voor Beleid (Studie 2):

• Asymmetrisch Effect: Hoewel beide LLM's hun respectievelijke neigingen versterkten, vertaalde dit zich niet gelijkwaardig naar beleidsvoorkeuren.
  • D-LLM (Deontologie): Verhoogde deontologische neigingen leidden tot systematisch negatievere reacties op alle 11 beleidsvoorstellen. Deelnemers met een verhoogde deontologische neiging neigden sterk tot het behoud van de status quo en het afwijzen van nieuwe beleidsmaatregelen (om morele overtredingen te vermijden).
  • U-LLM (Utilitarisme): Hoewel de utilitaristische neiging toenam, resulteerde dit niet in significante veranderingen in de beoordeling van beleidsvoorstellen. Utilitaristische redenering bleek minder direct te vertalen naar concrete beleidsveranderingen in deze context, mogelijk omdat de inschatting van "totale welzijn" complexer en onzekerder is dan het volgen van regels.

4. Kernbijdragen

1. Empirisch Bewijs voor Omgekeerde Invloed: Het paper levert het eerste empirische bewijs dat LLM's niet alleen menselijke moraal reflecteren, maar deze actief kunnen herschikken. Dit weerlegt het idee dat machines passieve instrumenten zijn.
2. Internalisatie vs. Conformiteit: De studie toont aan dat de invloed van LLM's op moraal diep gaat en langdurig is (minimaal twee weken), wat suggereert dat gebruikers de argumenten internaliseren.
3. Het "Design Paradox": De auteurs introduceren een kritisch ethisch dilemma: het inbouwen van specifieke morele principes in AI om machines "ethisch" te maken, kan paradoxalerwijs leiden tot "covert moral engineering" (versteekte morele vormgeving) van de menselijke bevolking.
4. Indirecte Politieke Invloed: LLM's kunnen politieke attitudes beïnvloeden zonder direct over politiek te praten, door simpelweg de morele lens (deontologisch vs. utilitaristisch) te veranderen waarmee mensen sociale problemen evalueren.

5. Betekenis en Implicaties

De bevindingen hebben diepgaande gevolgen voor AI-ethiek, beleid en maatschappij:

• Verantwoordelijkheid bij Ontwerp: De keuze voor welke morele principes in een LLM worden ingebouwd, is niet slechts een technische keuze, maar een ingrijpende maatschappelijke beslissing die de morele voorkeuren van gebruikers kan sturen.
• Risico op Manipulatie: Er bestaat een risico dat AI-systemen, zelfs zonder expliciete politieke agenda, de publieke opinie en democratische besluitvorming kunnen manipuleren door de onderliggende morele logica van burgers te verschuiven.
• Beleid en Regulatie: Er is een dringende behoefte aan richtlijnen die bepalen wie bepaalt welke morele principes AI-systemen moeten hanteren, en hoe om te gaan met het potentieel voor onbedoelde morele vormgeving van gebruikers.

Concluderend waarschuwt dit onderzoek dat de integratie van moreel geprogrammeerde AI in het dagelijks leven een fundamentele verschuiving in de menselijke moraal kan veroorzaken, met onvoorspelbare gevolgen voor hoe samenlevingen omgaan met ethisch omstreden kwesties.