Resource Rational Contractualism Should Guide AI Alignment

Dit paper stelt Resource-Rational Contractualism voor als een kader waarin AI-systemen, door het gebruik van cognitief geïnspireerde heuristieken die inspanning afwegen tegen nauwkeurigheid, rationele overeenkomsten benaderen om zich efficiënt en dynamisch aan te passen aan een complexe menselijke sociale wereld.

De kern

Stel je voor dat je een slimme robot bouwt die straks in onze wereld moet werken: hij moet auto's besturen, leningen beoordelen en samenwerken met mensen. Maar hier zit een groot probleem: mensen hebben allemaal verschillende wensen, waarden en regels. Wat jij belangrijk vindt, vindt je buurman misschien niet. Hoe kun je een robot leren om met al die verschillen om te gaan zonder iedereen te ergeren of de verkeerde beslissingen te nemen?

Dit artikel introduceert een slimme oplossing genaamd Resource-Rational Contractualism (RRC). Laten we dit concept uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Perfecte Vergadering" is te duur

Stel je voor dat je een robot wilt programmeren om eerlijk te zijn. De meest eerlijke manier zou zijn om iedereen die bij een beslissing betrokken is, uit te nodigen voor een vergadering. Ze zitten dan allemaal samen, praten urenlang, onderhandelen en komen tot een perfect akkoord waar iedereen blij mee is.

In de echte wereld is dit echter onmogelijk.

• Tijd: We hebben geen tijd om uren te vergaderen voor elke kleine beslissing (zoals of een zelfrijdende auto moet remmen of sturen).
• Energie: Het kost veel rekenkracht (en dus geld) om zo'n complexe vergadering te simuleren.
• Mogelijkheid: Soms zijn de mensen gewoon niet bereikbaar.

Als we wachten op die "perfecte vergadering", stopt de robot met werken of kost het ons al ons geld. We hebben een snellere manier nodig.

2. De Oplossing: De "Slimme Assistent" met een gereedschapskist

De auteurs stellen voor dat robots niet altijd die dure, perfecte vergadering hoeven te houden. In plaats daarvan moeten ze een gereedschapskist hebben met verschillende manieren om te denken, afhankelijk van de situatie. Dit noemen ze Resource-Rational Contractualism.

Stel je de robot voor als een slimme kok in een drukke keuken:

• Situatie A: Een snelle lunch voor één persoon.
  De kok pakt een kant-en-klaar recept (een regel). Hij hoeft niet na te denken over de perfecte maaltijd; hij volgt gewoon de instructies: "Bak de eieren." Dit is snel, goedkoop en werkt prima.

  • In de robot: Dit is het volgen van simpele regels (bijv. "Rijd niet harder dan 50 km/u").

• Situatie B: Een groot diner voor een feest met veel gasten.
  Hier werkt een standaardrecept niet. De gasten hebben speciale dieetwensen, allergieën en verschillende smaken. Als de kok nu gewoon een standaardrecept volgt, is het eten misschien niet lekker voor iedereen.
  De kok moet nu onderhandelen. Hij denkt na: "Als ik dit gerecht maak, is dat goed voor gast A, maar niet voor gast B. Wat als ik een variatie maak?" Hij simuleert een gesprek in zijn hoofd om een oplossing te vinden die iedereen tevreden stelt. Dit kost meer tijd en energie, maar het is nodig voor dit specifieke moment.

  • In de robot: Dit is het simuleren van een onderhandeling (een "virtuele vergadering") om een eerlijke oplossing te vinden.

3. De Kunst: Weten wanneer je welk gereedschap gebruikt

Het geheim van deze nieuwe aanpak is niet dat de robot altijd de perfecte vergadering doet, of altijd de simpele regel volgt. Het geheim is dat de robot leert te kiezen.

De robot moet zichzelf afvragen:

• "Is dit een gewone situatie?" -> Gebruik de snelle regel (zoals de kok die een boterham maakt).
• "Is dit een rare, moeilijke situatie met hoge risico's?" -> Gebruik de duurzame onderhandeling (zoals de kok die een feestmaaltijd bereidt).

Dit noemen ze "Resource-Rational": je gebruikt precies genoeg energie om de juiste beslissing te nemen, maar niet meer dan nodig. Je verspillen geen energie aan het onderhandelen over een boterham, en je gebruikt geen simpele regel voor een levensgevaarlijke situatie.

4. Wat hebben de onderzoekers bewezen?

De auteurs hebben dit getest met verschillende AI-modellen. Ze gaven de robots twee soorten problemen:

1. Eenvoudige problemen: Waar een simpele regel werkt.
2. Moeilijke problemen: Waar een simpele regel faalt en je echt moet nadenken over wat iedereen wil.

De resultaten waren duidelijk:

• Robots die altijd de simpele regel volgden, waren snel maar maakten fouten bij moeilijke problemen.
• Robots die altijd de moeilijke onderhandeling deden, waren heel accuraat, maar waren traag en kostten veel rekenkracht (te veel "brandstof").
• De robots die kiesden (de RRC-aanpak) waren het slimst: ze waren snel bij simpele dingen en dachten diep na bij moeilijke dingen. Ze waren dus zowel efficiënt als eerlijk.

Waarom is dit belangrijk voor de toekomst?

De wereld verandert snel. Regels die gisteren golden, zijn morgen misschien niet meer van toepassing.

• Een verkeersbord zegt "Alleen noodvoertuigen". Maar wat als er een ambulance is die net een patiënt heeft opgepikt, maar de bestuurder is een arts die op weg is naar een feestje? De regel is hier niet perfect.
• Een robot die RRC gebruikt, begrijpt de geest van de regel (snelheid en veiligheid) en kan in die rare situatie een uitzondering maken die iedereen zou accepteren, in plaats van stug de regel te volgen.

Kortom:
Deze paper zegt dat we AI niet moeten bouwen als een robot die altijd de "perfecte filosoof" speelt (te duur en te traag), en ook niet als een robot die blindelings regels volgt (te dom en soms onrechtvaardig). We moeten AI bouwen als een slimme, flexibele mens die weet wanneer hij snel moet handelen en wanneer hij moet nadenken over wat voor iedereen het beste is. Dat is de weg naar een AI die echt past in onze complexe, menselijke wereld.

Technische samenvatting

Titel: Resource Rational Contractualism (RRC) als leidraad voor AI-afstemming

1. Het Probleem

AI-systemen moeten steeds vaker beslissingen nemen in menselijke omgevingen waar de doelen en waarden van verschillende belanghebbenden uiteenlopen. Traditionele benaderingen voor "AI-afstemming" (alignment) kampen met twee fundamentele uitdagingen:

• Normatieve complexiteit: Het vinden van een ideale oplossing die door alle partijen wordt geaccepteerd (een "contract" gebaseerd op contractualisme) vereist vaak onbeperkte informatie en rekenkracht, wat in de praktijk onmogelijk is.
• Technische en resource-beperkingen: Bestaande methoden zoals Constitutional AI of Deliberative Alignment (die gebruikmaken van chain-of-thought redenering) zijn vaak computerefficiëntie-inefficiënt. Ze vereisen veel tokens, tijd en energie, zelfs voor simpele taken. Er is een behoefte aan een framework dat de normatieve idealen (wat moet gebeuren) koppelt aan de technische realiteit (wat kan worden berekend binnen resource-beperkingen).

2. Methodologie: Resource Rational Contractualism (RRC)

De auteurs introduceren Resource Rational Contractualism (RRC), een framework dat voortbouwt op inzichten uit de cognitiewetenschap. Het kernidee is dat AI-systemen niet de perfecte, ideale contractuele oplossing moeten berekenen (wat te duur is), maar moeten kiezen uit een toolbox van heuristieken die de ideale oplossing benaderen, afhankelijk van de beschikbare resources.

Het Framework:
RRC definieert een continuüm van mechanismen die variëren in rekkracht (effort) en nauwkeurigheid (accuracy). De auteurs onderscheiden twee dimensies van abstractie:

1. Proces: Van directe onderhandeling (hoog effort) tot het simuleren van onderhandelingen of het toepassen van opgeslagen regels (laag effort).
2. Inhoud: Van het bespreken van een specifiek geval tot het toepassen van algemene regels of normen.

De Mechanismen (van hoog naar laag effort):

• Actuele Onderhandeling: Mensen onderhandelen direct (hoogst effort, hoogst nauwkeurig).
• Virtual Bargaining: Het AI-systeem simuleert wat rationele partijen zouden afspreken onder ideale omstandigheden (hoog effort, hoge nauwkeurigheid).
• Gecachte Uitkomsten (Cached Outputs): Het toepassen van eerder berekende "welvaartstrade-offs" of vooringestelde gewichten.
• Gecachte Actiestandaarden (Rules): Het toepassen van simpele regels (laagst effort, maar kan onnauwkeurig zijn in complexe situaties).

Het Optimisatieprobleem:
Het systeem moet een mechanisme $m$ kiezen dat de verwachte nettobaten maximaliseert:
$$\max_{m \in M} E \left[ \prod_{i=1}^{N} \Delta u_i(x_m) - C(m, x_m) \right]$$
Waarbij de eerste term de verwachte wederzijdse winst (Nash-product) is en de tweede term de kosten van het gekozen mechanisme (rekenkracht, tijd, data-verzameling).

3. Experimentele Opzet

Om RRC te valideren, hebben de auteurs een experiment uitgevoerd met grote taalmodellen (LLMs) zoals DeepSeek R1, Gemini 2.5 Flash, OpenAI o3 en o4-mini.

• Dataverzameling: Er werden twee sets van scenario's (vignettes) ontwikkeld:
  • Moeilijke gevallen: Situaties waar het volgen van een regel schadelijk is voor de wederzijdse winst (bijv. een kleine schade aan eigendom toebrengen om een grote wederzijdse winst te behalen). De "gouden standaard" (ideal contractualist solution) vereist hier het doorbreken van de regel.
  • Gemakkelijke gevallen: Situaties waar het volgen van de regel en het bereiken van wederzijdse winst overeenkomen.
• Prompt-strategieën: De modellen werden getest met vier verschillende prompts:
  1. Minimaal Prompt: Geen specifieke instructie over redeneerstrategie.
  2. Rule-Based Thinking: Het model moet strikt regels volgen.
  3. Virtual Bargaining: Het model moet een onderhandeling simuleren.
  4. Resource Rational Contractualism (RRC): Het model moet eerst beoordelen of de situatie "standaard" of "uniek" is en of de inzet hoog of laag is, en vervolgens kiezen tussen Rule-Based of Virtual Bargaining.

4. Resultaten

De resultaten tonen een duidelijk trade-off tussen rekenkracht en nauwkeurigheid:

• Rule-Based Thinking: Zeer efficiënt (weinig tokens), maar faalt bij moeilijke gevallen (lage nauwkeurigheid) omdat het regels blindelings toepast.
• Virtual Bargaining: Zeer nauwkeurig (bijna perfect op beide sets), maar zeer duur in termen van tokens (hoge rekenkosten), zelfs bij gemakkelijke gevallen waar dit niet nodig was.
• RRC-benadering: Dit model slaagt erin de "sweet spot" te vinden.
  • Bij gemakkelijke gevallen kiest het voor de goedkope Rule-Based strategie (hoge nauwkeurigheid, lage kosten).
  • Bij moeilijke gevallen schakelt het over naar de dure Virtual Bargaining strategie (hoge nauwkeurigheid, hoge kosten).
• Conclusie: De RRC-aanpak levert de beste balans op: het bereikt hoge nauwkeurigheid terwijl het rekenkracht bespaart door alleen complexe redenering toe te passen wanneer het echt nodig is. Dit effect was het meest opvallend bij kleinere modellen (zoals o4-mini).

5. Belangrijkste Bijdragen

1. Theoretisch Framework: Het introduceren van RRC als een brug tussen normatieve ethiek (contractualisme) en technische beperkingen (resource rationality).
2. Mechanisme-selectie: Het formaliseren van het probleem van het kiezen van de juiste redeneerstrategie op basis van kosten en baten, in plaats van het vastleggen van één strategie.
3. Empirische Validatie: Het aantonen dat LLMs kunnen worden gestuurd om dynamisch te schakelen tussen heuristieken en complexe redenering, wat leidt tot efficiëntere en nauwkeurigere AI.
4. Toepasbaarheid: Het tonen aan dat RRC niet alleen efficiënter is, maar ook AI-systemen in staat stelt om menselijke regels te interpreteren (in plaats van ze blind te volgen), zich aan te passen aan dynamische contexten en menselijke morele besluitvorming te ondersteunen.

6. Significatie en Toekomstperspectief

De paper stelt dat RRC een cruciale stap is naar schaalbare en ethisch verantwoorde AI.

• Efficiëntie: Het lost het probleem op dat ethische redenering vaak te duur is voor real-time toepassingen.
• Interpretatie van Normen: Het stelt AI in staat om menselijke regels te begrijpen als "resource-rational benaderingen" van onderliggende afspraken, waardoor ze flexibeler kunnen zijn in complexe sociale situaties.
• Toekomstig Onderzoek: De auteurs pleiten voor verdere implementatie via Neuro-symbolic benaderingen, Debate Protocols (waarbij AI-agenten verschillende stakeholders vertegenwoordigen) en Reinforcement Learning om het mechanisme-selectie-proces te leren.

Kortom, RRC biedt een pragmatische weg voorwaarts: AI-systemen die niet proberen de perfecte morele oplossing te berekenen voor elke situatie, maar slim kiezen hoe ze een oplossing benaderen, afhankelijk van de situatie en de beschikbare middelen.