Aligning Large Language Model Agents with Rational and Moral Preferences: A Supervised Fine-Tuning Approach

Dit artikel introduceert een gesuperviseerde fine-tuning-methode die grote taalmodelagenten in strategische omgevingen uitlijnt met expliciete economische voorkeuren, variërend van puur eigenbelang tot morele universaliteit, door middel van synthetische datasets die op theoretische optima zijn gebaseerd.

De kern

Stel je voor dat je een team van digitale werknemers hebt: slimme kunstmatige intelligenties (AI) die niet alleen e-mails beantwoorden, maar ook zelfstandig onderhandelen over prijzen, investeringen doen of zelfs beslissingen nemen over leven en dood in zelfrijdende auto's.

Deze studie, getiteld "Het in lijn brengen van AI-agenten met rationele en morele voorkeuren", onderzoekt wat er gebeurt als we deze digitale werknemers zomaar loslaten in de echte wereld, en hoe we ze kunnen 'opvoeden' om zich te gedragen zoals we willen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Te Behulpzame" Robot

De onderzoekers ontdekten dat de standaard AI's (zoals de huidige versies van GPT-4) in economische spelletjes zich vaak vreemd gedragen.

• De vergelijking: Stel je voor dat je een robot hebt die zo'n beetje alles wil doen om niet te ruziën. In een spelletje waar je moet kiezen tussen samenwerken of bedriegen (het beroemde Gevangendilemma), kiezen deze robots bijna altijd voor samenwerken. Ze zijn te aardig. Ze reageren ook niet goed op beloningen of straffen; alsof ze de regels van het spel niet echt begrijpen, maar gewoon "mooi" doen.
• Het risico: Als zo'n robot een prijs voor een product moet bepalen, kan hij per ongeluk te hoog prijzen (omdat hij denkt dat dat "mooi" is) of juist te laag, wat de markt verstoort.

2. De Oplossing: Een Nieuw "Opvoedplan"

In plaats van de robot alleen maar te vertellen wat hij moet doen (wat vaak faalt), hebben de onderzoekers een nieuwe methode bedacht: Supervised Fine-Tuning.

• De vergelijking: Stel je voor dat je een kind wilt leren rijden. Je kunt het kind alleen maar vertellen: "Rijd voorzichtig!" (dat is prompt engineering). Maar dat werkt niet altijd. Beter is om het kind te laten oefenen met een instructeur die precies laat zien hoe je remt en sturen moet in verschillende situaties.
• Wat deden ze? Ze creëerden een klein, speciaal trainingspakket. Ze maakten duizenden voorbeelden van economische spelletjes en berekenden vooraf precies wat de "perfecte" keuze zou zijn voor twee soorten personages:
  1. De Rationele Egoïst (Homo Economicus): Een robot die alleen naar zijn eigen portemonnee kijkt en slimme keuzes maakt om winst te maken.
  2. De Morele Burger (Homo Moralis): Een robot die ook naar de groep kijkt. Hij vraagt zich af: "Wat als iedereen dit deed?" (een idee van de filosoof Kant). Hij wil doen wat "goed" is voor iedereen, niet alleen voor zichzelf.

Ze hebben de AI getraind op deze voorbeelden. Het resultaat? De AI's hebben nu een soort "inwendig kompas" dat past bij hun rol.

3. De Test: Hoe gedragen ze zich in de echte wereld?

De onderzoekers testten de getrainde AI's in twee moeilijke situaties die ze niet tijdens de training hadden gezien.

A. De Zelfrijdende Auto (Het Morele Dilemma)

Stel je een zelfrijdende auto voor die moet kiezen: ofwel de inzittende redden en 10 voetgangers laten sterven, ofwel de inzittende opofferen om de 10 voetgangers te redden.

• De standaard AI: Gedraagt zich alsof hij een heilige is. Hij kiest altijd voor het redden van de meeste mensen, zelfs als hij zelf in de auto zit. Hij is te voorspelbaar en niet realistisch.
• De Rationele AI: Gedraagt zich als een slimme mens. Hij zegt: "Ja, moreel gezien is het redden van 10 mensen beter. Maar als mijn familie in de auto zit? Dan koop ik liever een auto die mij beschermt." Hij past zijn keuze aan aan de situatie.
• De Morele AI: Gedraagt zich als een consequente idealist. Hij zegt: "Het is mijn plicht om de meeste mensen te redden, of ik nu in de auto zit of niet." Hij is consistent, ongeacht wie er in de auto zit.

B. Prijsbepaling (De Oorlog van de Winkels)

Stel je twee concurrenten voor die prijzen moeten bepalen.

• De standaard AI: Wordt vaak te snel "samenwerkend" en zet prijzen te hoog (een vorm van stille samenzwering of collusie), wat slecht is voor de consument.
• De Rationele AI: Gedraagt zich als een scherpe concurrent. Als de markt vraagt om lage prijzen, verlaagt hij zijn prijs direct om de concurrent te verslaan. Hij is snel en strategisch.
• De Morele AI: Gedraagt zich als een stabiele speler. Hij verandert zijn prijs niet zo snel en blijft dicht bij een eerlijke marktprijs. Hij is minder gevoelig voor druk om te samenzweren of te agressief te zijn.

4. Waarom is dit belangrijk?

Deze studie laat zien dat we AI niet zomaar kunnen loslaten. We moeten bewust kiezen wat voor soort "persoonlijkheid" we in de machine stoppen.

• Als je een AI wilt die winstmaximalisatie nastreeft voor een bedrijf, train je hem als een Rationele Egoïst.
• Als je een AI wilt die ethisch verantwoord handelt in een crisis, train je hem als een Morele Burger.

De grote les: Het is niet genoeg om te zeggen "wees slim". Je moet de AI specifiek trainen op de waarden die je wilt zien. Net zoals je een kind niet alleen vertelt "wees aardig", maar hem leert hoe je aardig bent in verschillende situaties, moeten we AI's trainen met duidelijke economische en morele regels.

Kortom: De onderzoekers hebben bewezen dat je met een klein beetje slimme training (gebaseerd op economische theorie) AI-agenten kunt maken die zich gedragen zoals echte mensen met duidelijke doelen, in plaats van als onvoorspelbare robots die alleen maar "mooi" doen.

Technische samenvatting

Titel

Het uitlijnen van Large Language Model (LLM) agents met rationele en morele voorkeuren: Een benadering via supervisie-finetuning.

1. Het Probleem

Naarmate Large Language Models (LLM) steeds vaker fungeren als autonome agents in markten en organisaties, wordt hun gedrag in strategische omgevingen economisch relevant. De auteurs stellen vast dat kant-en-klare LLM-agents (zoals de standaard GPT-4o) systematische afwijkingen vertonen ten opzichte van op uitkomsten (payoff) gevoelig gedrag in canonieke economische spellen.

De belangrijkste problemen zijn:

• Overmatige samenwerking: Agents neigen tot te vaak samenwerken, zelfs wanneer dit niet in hun eigen belang is.
• Gebrek aan reactie op prikkels: Ze reageren niet voldoende op veranderingen in de beloningsstructuur (incentives).
• Inconsistentie: Er is een discrepantie tussen hun eigen acties en hun geloofsovertuigingen over het gedrag van anderen.
• Beperking van bestaande methoden: Bestaande uitlijningstechnieken, zoals Reinforcement Learning from Human Feedback (RLHF), zijn voornamelijk ontworpen voor "hulpzame, eerlijke en onschadelijke" assistant-taken. Ze zijn niet geoptimaliseerd voor strategische interacties waar expliciete prikkels en evenwichtsoverwegingen (equilibrium considerations) de beslissingen sturen.

2. Methodologie

De auteurs introduceren een supervisie-finetuning (SFT) aanpak om agents uit te lijnen met expliciete, theoretisch onderbouwde economische voorkeursfuncties. In plaats van te vertrouwen op menselijke annotaties of prompt-engineering, genereren ze synthetische trainingsdata op basis van economische theorie.

Kernstappen van de methode:

1. Definitie van Voorkeursmodellen: Er worden twee gestileerde agent-types gedefinieerd:
   • Homo Economicus: Een puur zelfzuchtige agent die zijn eigen verwachte uitkomst maximaliseert.
   • Homo Moralis: Een moreel gemotiveerde agent die zelfbelang combineert met een Kantiaanse universeleerbaarheid (Kantian universalizability). Deze agent vraagt zich af: "Wat als iedereen zoals ik handelt?" (gewicht $\kappa$ op morele overwegingen).
2. Generatie van Synthetische Data:
   • De auteurs gebruiken de Sequential Prisoner's Dilemma (SPD) als basis.
   • Voor elke mogelijke uitbetalingsstructuur (payoff matrix) wordt de optimale strategie berekend voor zowel de homo economicus als de homo moralis onder aannames over het gedrag van de tegenstander.
   • Deze berekende optimale acties en de bijbehorende "Chain-of-Thought" redeneringen vormen de trainingsdata (supervisie).
3. Finetuning: Het GPT-4o model wordt gefinetuned op een kleine dataset (400 voorbeelden per agent-type) met deze synthetische data. Het doel is om de interne parameters van het model aan te passen zodat het de onderliggende logica van de specifieke voorkeursfunctie internaliseert.
4. Evaluatie: De gefinetunde agents worden getest in drie klassieke spellen (Prisoner's Dilemma, Trust Game, Ultimatum Game) en twee externe toepassingsgebieden:
   • Moral Machine: Dilemma's rond autonome voertuigen (levensredding vs. passagiersveiligheid).
   • Algorithmic Collusion: Een herhaald duopolie-prijsbepalingsspel om tacite collusie (stille prijsafspraken) te onderzoeken.

3. Belangrijkste Bijdragen

• Van Beschrijvend naar Voorschrijvend: De paper verschuift de focus van het beschrijven van LLM-gedrag naar het voorschrijven van gedrag door expliciete economische nutfuncties in te bouwen via finetuning.
• Interpreteerbare Uitlijning: Het biedt een raamwerk om agents uit te lijnen met specifieke, theoretisch onderbouwde normen (zelfbelang vs. morele plicht) in plaats van vaag "hulpzaamheid".
• Validatie van Economische Theorie: Het toont aan dat tools uit de gedragseconomie (zoals de homo moralis theorie) effectief kunnen worden gebruikt om AI-gedrag te sturen en te interpreteren.
• Veiligheid en Bias: De auteurs tonen aan dat het finetunen op economische voorkeuren geen negatieve impact heeft op standaard veiligheidsbenchmarks (zoals hallucinatie, bias, en jailbreak-resistentie), en in sommige gevallen zelfs verbetert.

4. Resultaten

A. Strategische Spellen (Prisoner's Dilemma, Trust Game, Ultimatum Game):

• Baseline (GPT-4o): Toont overmatige samenwerking en is ongevoelig voor veranderingen in uitbetalingen.
• Rationele Agent (Homo Economicus): Gedraagt zich strategisch rationeel. Hij weigert samenwerking als dat niet in zijn belang is, maar investeert wel als de verwachte opbrengst hoog is. Hij is zeer gevoelig voor prikkels.
• Morele Agent (Homo Moralis): Toont consistentie met Kantiaanse principes. Hij werkt samen wanneer universele samenwerking het beste resultaat oplevert, maar past zijn gedrag aan als de spelregels morele samenwerking niet rechtvaardigen.

B. Moral Machine Dilemma (Autonome Voertuigen):

• Morele oordelen: Alle agents (inclusief de baseline) kiezen voor het utilitaristische optreden (meer levens redden).
• Aankoopgedrag (Zelfbelang):
  • De Baseline kiest consequent voor utilitaristische voertuigen, zelfs als het eigen gezin in gevaar is (geen zelf-ander asymmetrie).
  • De Rationele Agent toont contextgevoeligheid: hij kiest utilitaristische voertuigen voor collega's, maar kiest voor beschermende voertuigen (die passagiers redden) als het eigen gezin betrokken is. Dit weerspiegelt een internalisatie van zelfbelang.
  • De Morele Agent blijft consequent utilitaristisch, ongeacht of het om familie of collega's gaat, wat consistent is met een universele morele regel.

C. Algorithmic Collusion (Prijsbepaling):

• Baseline: Neigt sterk tot collusie en zet prijzen op monopolieniveau, vooral onder prompts die winstmaximalisatie benadrukken.
• Rationele Agent: Reageert strategisch op prikkels. Onder competitieve prompts daalt de prijs naar het Nash-evenwicht; onder collusieve prompts stijgt deze, maar minder extreem dan de baseline.
• Morele Agent: Toont de grootste stabiliteit en de minste gevoeligheid voor strategische framing. Onder competitieve prompts daalt de prijs zelfs onder het Nash-evenwicht (agressieve concurrentie), wat past bij een morele voorkeur voor universeel toepasbare, eerlijke uitkomsten. De morele agent lijkt minder vatbaar voor tacite collusie.

5. Betekenis en Conclusie

De studie concludeert dat het uitlijnen van LLM-agents met specifieke, theoretisch onderbouwde voorkeursmodellen via supervisie-finetuning een effectieve en interpreteerbare methode is.

• Strategisch Ontwerp: De keuze van het uitlijningsdoel is geen louter technische detail, maar een strategische ontwerpbeslissing met directe gevolgen voor marktdynamiek (bijv. risico op collusie) en maatschappelijke uitkomsten (bijv. ethische keuzes in AV's).
• Stabiliteit: Gefinetunde agents vertonen meer intern consistent gedrag dan baseline-modellen of modellen die alleen via prompt-engineering worden gestuurd.
• Toekomstperspectief: Deze methode biedt organisaties een manier om AI-agents bewust te vormgeven voor specifieke rollen (bijv. een agressieve onderhandelaar vs. een ethische toezichthouder) zonder afhankelijk te zijn van complexe reinforcement learning setups of menselijke annotatie. Het benadrukt dat economische theorie een cruciale gids kan zijn voor het ontwerpen van strategisch coherente AI-systemen.