🤖 AI

Reasoning and Planning with Dynamically Changing Norms

Dit artikel introduceert een nieuwe aanpak voor het sturen van AI-agenten in mens-AI-interacties door gebruik te maken van een defecte berekening om conflicten op te lossen en dynamisch veranderende normen als veiligheidsmarges te benutten tijdens de planning, gevalideerd door zowel formele bewijzen als empirische testen met een dialoogagent genaamd SocialBot.

Oorspronkelijke auteurs: Taylor Olson, Roberto Salas-Damian, Kenneth D. Forbus

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Taylor Olson, Roberto Salas-Damian, Kenneth D. Forbus

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer behulpzame robotassistent bent die in het huis van een mens woont. Je taak is om dingen voor hen te doen, zoals informatie delen of plannen maken. Maar hier zit de addertje onder het gras: mensen veranderen van mening, en hun regels voor jou veranderen mee.

Dit artikel gaat over het leren van een AI hoe het om moet gaan met die veranderende regels zonder in de war te raken of vertrouwen te breken.

Het Probleem: Het "Regelboek" Dat Blijft Veranderen

Denk aan de regels van een mens als een levend regelboek in plaats van een statische lijst.

Dag 1: Karli vertelt je: "Toon mijn medische gegevens nooit aan iemand."
Dag 2: Ze trouwt en zegt: "Oké, je mag mijn man mijn voorschriften laten zien."
Dag 3: Ze krijgt kinderen en zegt: "Nu moet je mijn kinderen vertellen over mijn gezondheidsproblemen."

Als je een standaard computerprogramma was, zou je vast kunnen lopen. Als je gewoon de eerste regel zou volgen, zou je op Dag 2 en 3 haar vertrouwen schaden. Als je gewoon de laatste regel zou volgen, zou je misschien de eerste hebben geschonden. Het artikel vraagt: Hoe houdt een AI gelijke tred met dit bewegend doelwit?

De Oplossing: "Beveiligingsrails" en een "Defeasible Calculator"

De auteurs bouwden een AI genaamd SocialBot om dit op te lossen. Ze gaven de bot niet zomaar een lijst met regels; ze gaven hem een speciale manier van denken genaamd een "defeasible calculus".

Hier is hoe het werkt met eenvoudige analogieën:

1. Het Concept van de "Beveiligingsrail"

Stel je voor dat de AI een auto bestuurt. Het "plan" is de route die het wil nemen. De "normen" (regels) zijn de beveiligingsrails aan de zijkant van de weg.

De AI hoeft niet door de regels gemotiveerd te worden om te rijden; het hoeft alleen maar de beveiligingsrails te controleren voordat het beweegt.
Als de beveiligingsrail zegt "Niet oversteken", stopt de auto.
Als de beveiligingsrail zegt "Je mag oversteken", gaat de auto.
Cruciaal: deze beveiligingsrails kunnen onmiddellijk worden verplaatst of verwijderd als de mens dat zegt.

2. De "Defeasible Calculator" (Het Brein)

Dit is het wiskundige deel dat ervoor zorgt dat de regels werken. "Defeasible" is een chique woord voor "kan worden teruggedraaid".

Denk er als een juridische rechtbank binnen het brein van de robot:

De Standaardveronderstelling: Het artikel stelt dat voor gevoelige zaken (zoals medische gegevens) de robot standaard "Nee" moet aannemen. Het is als een "Verbiedende Afsluiting". Als je niet expliciet "Ja" hebt gezegd, gaat de robot uit van "Nee" om veilig te zijn.
Het Bewijs: Wanneer een mens zegt: "Je mag het mijn man vertellen", is dat nieuw bewijs.
De Conflictoplossing: Wat gebeurt er als een mens zegt: "Vertel het niemand" (Regel A) en later zegt: "Vertel het mijn man" (Regel B)?
- De "calculator" van de robot kijkt naar de data. Regel B is nieuwer.
- Het controleert de reikwijdte. Bestrijkt Regel B hetzelfde gebied als Regel A? Ja.
- Het Vonnis: Regel B "verslaat" (heft op) Regel A specifiek voor de man. De robot weet nu: "Vertel het niemand behalve de man."

Het artikel bewijst wiskundig dat dit systeem voorkomt dat de robot ooit denkt dat twee tegenstrijdige dingen tegelijk waar zijn (bijvoorbeeld: het denkt niet dat delen zowel "toegestaan" als "verboden" is).

Het Experiment: SocialBot in Actie

De onderzoekers testten dit met SocialBot, een chatbot die met mensen praat op Microsoft Teams.

De Opzet: Ze creëerden een nepwereld met 1.536 verschillende scenario's. In deze scenario's zouden gebruikers dingen zeggen als "Ik hou van pizza", dan "Vertel niemand mijn voedselvoorkeuren", en dan "Eigenlijk, je mag Bob vertellen over pizza".
De Test: Een derde persoon (zoals "Socrates") zou de bot vragen: "Wat houdt Plato van?"
Het Resultaat: De bot had 100% gelijk.
- Als de regel was "Vertel het niet", zei de bot: "Ik kan het niet zeggen."
- Als de regel was bijgewerkt naar "Vertel het Bob", vertelde de bot het aan Bob.
- Als de regel was "Vertel het Bob, maar niet Socrates", vertelde de bot het aan Bob en bleef het stil tegenover Socrates.

Waarom Dit Belangrijk Is (Volgens Het Artikel)

De meeste AI's van vandaag (zoals grote chatbots) kunnen een gesprek voeren, maar ze kunnen worden bedrogen of gemanipuleerd om regels te breken. Ze hebben geen solide, wiskundige basis voor waarom een regel bestaat of hoe deze moet worden bijgewerkt wanneer een mens van mening verandert.

Dit artikel biedt een blauwdruk voor een AI die:

Luistert naar menselijke regels.
Begrijpt dat regels uitzonderingen kunnen zijn op andere regels.
Die regels gebruikt als "beveiligingsrails" om zichzelf te stoppen met iets doen wat het niet zou moeten doen, zelfs als het dat wel wil doen.

Wat Het Niet Doet (De Grenzen)

De auteurs zijn zeer eerlijk over wat hun robot nog niet kan:

Het behandelt slechts de regels van één persoon tegelijk. Het kan de regels van Persoon A niet afwegen tegen die van Persoon B (bijvoorbeeld: "Mama zegt vertel het, papa zegt vertel het niet").
Het is getest op een synthetische dataset (nepgesprekken), niet op echte, complexe menselijke drama's uit de echte wereld.
Het gaat ervan uit dat de robot de basisfeiten al kent (zoals wie met wie getrouwd is) om de regels te begrijpen.

Kortom, dit artikel leert een AI hoe het een loyale maar flexibele assistent kan zijn die je veranderende privacywensen respecteert, en fungeert als een slimme beveiligingsrail die precies beweegt waar jij het naartoe zegt.

Technische Samenvatting: Redeneren en Plannen met Dynamisch Veranderende Normen

Probleemstelling

Naarmate AI-agenten integreren in menselijke sociale omgevingen, moeten ze niet alleen menselijke normen leren, maar ook hun planningsgedrag aanpassen om rekening te houden met dynamisch veranderende normatieve beperkingen. Hoewel eerdere onderzoek normenleren en redeneren binnen gemeenschappen van kunstmatige agenten heeft aangepakt, is normgeleid plannen in mens-AI-contexten onderbelicht, met name wat betreft de dynamische aard van normen. Bestaande benaderingen, zoals Large Language Models (LLM's), missen vaak een theoretische onderbouwing voor normatief redeneren en blijken vatbaar voor manipulatie. Bovendien zijn menselijke normen niet statisch; ze evolueren door nieuwe getuigenissen (bijvoorbeeld een gebruiker die aanvankelijk het delen van informatie verbiedt, maar dit later toestaat onder specifieke voorwaarden). De kernuitdaging is een formeel mechanisme te bieden waarmee een AI conflicten tussen deze evoluerende normen kan oplossen en ze kan gebruiken als "veiligheidsrails" om actieplanning veilig te beperken.

Methodologie

Het artikel stelt een formele aanpak voor die gebaseerd is op predikatenkalkulus en defeasible logica om dynamisch veranderende normen te modelleren, erover te redeneren en plannen te maken.

1. Formele Representatie

Ontologie: Het systeem maakt gebruik van de NextKB-ontologie (afgeleid van OpenCyc) om de wereld te representeren. Kennis wordt gekaderd met behulp van microtheorieën, waardoor het systeem de specifieke overtuigingen van verschillende agenten kan bijhouden.
Normframes: Normatieve getuigenissen (natuurtaalkundige uitspraken die normen introduceren) worden gecodeerd als Normframes. Een normframe bestaat uit:
- context: Een conjunctie van literalen die waar moeten zijn opdat de norm actief is.
- gedrag: Een conjunctie van literalen die de actie voorstelt.
- evaluatie: Een deontische operator ( $\in$ {Verplicht, Optioneel, Onverenigbaar}).
Normgeleide Plannen: Plannen worden geformaliseerd als Hiërarchische Taaknetwerken (HTN's) waarbij normatieve overtuigingen fungeren als precondities (veiligheidsrails). Een plan wordt alleen uitgevoerd als de huidige normatieve overtuigingen van de agent de actie toelaatbaar achten.

2. Defeasible Kalkulus voor Conflictoplossing

De kernbijdrage is een defeasible kalkulus die de huidige normatieve overtuigingen van een agent afleidt uit een stroom van mogelijk conflicterende getuigenissen. Het systeem lost conflicten op op basis van:

Temporele Ordening: Nieuwere normen gaan over het algemeen oudere normen voorbij.
Afleiding en Subsumptie: Het systeem analyseert de logische relatie tussen de gedragingen en contexten van conflicterende normen (Directe, Indirecte en Kruisende conflicten).
Sluitingsaannames: Het systeem werkt onder een van twee standaardaannames:
- Verbiedende Sluiting: Acties zijn standaard onverenigbaar, tenzij expliciet toegestaan (gebruikt voor gevoelige data).
- Toestemmende Sluiting: Acties zijn standaard toelaatbaar, tenzij expliciet verboden.

De kalkulus maakt gebruik van Horn-klausules en negatie als falen (uninferredSentence) om te bepalen of een toestemming of verbod wordt "overwonnen" door een latere, conflicterende norm. Bijvoorbeeld, onder Verbiedende Sluiting kan een later verbod een eerdere toestemming overwinnen als de toepassinggrondslagen van het verbod die van de toestemming subsumeren.

3. Empirische Implementatie: SocialBot

De aanpak is geïmplementeerd in SocialBot, een AI-chatagent gebouwd op de Companion Cognitive Architecture.

Domein: Informatiedeling en privacy.
Interactie: Gebruikers communiceren via Natuurlijke Taal (NL). SocialBot vertaalt NL naar semantische representaties met behulp van het Companion Natural Language Understanding (CNLU)-systeem.
Werkstroom:
1. Gebruikers leren voorkeuren aan (bijvoorbeeld "Ik vind AI leuk").
2. Gebruikers geven normatieve getuigenissen (bijvoorbeeld "Je moet mijn voorkeuren over AI delen" of "Deel mijn medische gegevens niet").
3. Gebruikers stellen vragen aan de bot (bijvoorbeeld "Wat vindt Karli leuk?").
4. SocialBot probeert een plan uit te voeren om te antwoorden. Voordat het wordt uitgevoerd, controleert het of de actie (het delen van de informatie) toelaatbaar is volgens de huidige, dynamisch bijgewerkte normatieve overtuigingen.

Belangrijkste Bijdragen

Defeasible Kalkulus voor Normconflicten: Een formele logica voor het oplossen van conflicten in normatieve getuigenissen, waarbij rekening wordt gehouden met directe, indirecte en kruisende conflicten op basis van temporele ordening en logische subsumptie.
Normgeleid Planningskader: Een methode om dynamisch veranderende normatieve overtuigingen te behandelen als veiligheidsrails (precondities) voor AI-planning, zodat acties alleen worden uitgevoerd wanneer ze toelaatbaar zijn.
Theoretische Validatie: Formele bewijzen die aantonen dat de kalkulus normatieve overtuigingen correct afleidt, zodat ervoor wordt gezorgd dat een gedrag niet in dezelfde context zowel als toelaatbaar als onverenigbaar kan worden afgeleid.
Empirische Evaluatie: Een evaluatie met een synthetische dataset van 1.536 dialoogcases die alle permutaties van normconflicten, voorkeursintroducties en vragen omvatten.

Resultaten

Theoretisch: De formele bewijzen (Stellingen 1–4) bevestigen dat de inferentieregels correct omgaan met de drie soorten normconflicten (Direct, Indirect, Kruisend) onder zowel Verbiedende als Toestemmende sluitingsaannames. Het systeem zorgt voor consistentie: als een gedrag wordt afgeleid als toelaatbaar, kan het niet tegelijkertijd als onverenigbaar worden afgeleid.
Empirisch: In het experiment met SocialBot reageerde de agent correct op 100% van de voorkeursvragen over de 1.536 synthetische dialoogcases.
- De resultaten waren statistisch significant ( $p < .01$ ), waarbij de nulhypothese werd verworpen dat de prestaties te wijten waren aan toeval.
- De agent slaagde erin zijn begrip van gebruikersprivacynormen bij te werken op basis van nieuwe getuigenissen en hield zich aan deze bijgewerkte overtuigingen bij het beslissen of informatie gedeeld moest worden.

Betekenis en Beweringen

Het artikel claimt een theoretisch onderbouwde aanpak te bieden voor het sturen van AI-plannen met dynamisch veranderende normen in mens-AI-contexten. De betekenis hiervan ligt in:

Voorbijgaan aan statisch normenleren naar dynamische aanpassing, waardoor agenten rekening kunnen houden met evoluerende menselijke wensen (bijvoorbeeld een gebruiker die van mening verandert over het delen van medische gegevens).
Het bieden van een formele onderbouwing voor normatief redeneren die de manipuleerbaarheid en het gebrek aan theoretische strengheid vermijdt die in sommige op LLM's gebaseerde benaderingen voorkomen.
Aantonen dat normen effectieve veiligheidsrails kunnen zijn, waarbij verplichtingen en discretionaire normen worden gereduceerd tot toestemmingen die fungeren als precondities voor planuitvoering.

De auteurs wijzen op beperkingen, waaronder de huidige focus op de normen van een enkele agent (geen afweging tussen meerdere agenten), de afhankelijkheid van achtergrondkennis voor afleiding en het gebruik van een synthetische dataset. Ze presenteren dit werk als een stap richting adaptieve veiligheidsrails voor AI-agenten, zodat hun acties consistent blijven met menselijke normatieve verwachtingen.