Governing Actions, Not Agents: Institutional Attestation as a Governance Model for Autonomous AI Systems
Dit artikel stelt een governancemodel voor voor autonome AI-systemen dat de autonomie van agenten bij het plannen behoudt, terwijl de uitvoering van risicovolle acties beperkt wordt tot acties die onafhankelijk zijn bevestigd door gezaghebbende bronnen, cryptografisch zijn gekoppeld aan de intentie en zijn gevalideerd door deterministische beleidsregels.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Idee: Kijk niet naar de chauffeur, maar controleer de sleutels
Stel je voor dat je een zeer slimme, zelfrijdende auto hebt (een AI-agent) die complexe ritten kan plannen, met andere auto's kan praten en zelfs zelfstandig naar de supermarkt kan rijden.
Momenteel proberen de meeste veiligheidssystemen de hersenen van de chauffeur te bewaken. Ze vragen: "Denkt de chauffeur aan een crash? Gebruikt hij de juiste woorden?" Het artikel betoogt dat dit de verkeerde aanpak is. In plaats daarvan moeten we kijken naar de actie zelf.
Het artikel stelt een nieuwe regel voor: Probeer niet de gedachten van de chauffeur te controleren; zorg er alleen voor dat hij de juiste sleutels en vergunningen heeft voordat hij de ontsteking omdraait.
Het Probleem: De "Black Box"-chauffeur
Op dit moment kunnen AI-agenten gevaarlijke dingen doen (zoals softwarecode implementeren of medicijnen voorschrijven) zonder dat een mens elke stap controleert.
- De Oude Manier: We proberen het "brein" van de AI te bewaken om te zien of het zich goed gedraagt. Maar als de AI slim is, kan het lijken alsof hij zich goed gedraagt terwijl hij toch een fout maakt omdat hij een feit heeft gemist (bijv. "Ik heb niet gecontroleerd of de patiënt allergisch is" of "Ik heb niet gecontroleerd of de softwarebuild is mislukt").
- De Fout: De AI kan wel met de juiste tools communiceren, maar de AI weet eigenlijk niet of de wereld wel veilig is. Het is als een chauffeur die denkt dat de weg vrij is, maar niet daadwerkelijk naar het verkeerslicht heeft gekeken.
De Oplossing: Het "Concierge"-model
Het artikel suggereert dat we een systeem lenen dat menselijke instituten (zoals ziekenhuizen en banken) al eeuwenlang gebruiken. In plaats van de persoon te monitoren, vereisen we onafhankelijk bewijs voordat een actie plaatsvindt.
Beschouw de AI als een boodschapper (of koerier) en een nieuw systeem genaamd de Governance Hub als een strenge conciërge.
Zo werkt het proces, stap voor stap:
1. De Boodschapper doet een verzoek (Intent Declaration)
De AI (de boodschapper) zegt tegen de Hub: "Ik wil deze softwarecode implementeren op de live website."
- De Hub zegt nog niet direct "Ja" of "Nee".
- In plaats daarvan geeft de Hub de boodschapper een uniek, eenmalig ticket (een Intent ID genoemd). Dit ticket is als een specifiek slot dat alleen past bij dit specifieke verzoek.
2. De Boodschapper verzamelt "Verzegelde Enveloppen" (Attestation)
De boodschapper kan niet simpelweg zeggen: "Ik heb de code gecontroleerd, het is prima." Hij moet naar drie verschillende, onafhankelijke experts (genaamd Oracles) gaan en verzegelde, ondertekende enveloppen ophalen van hen.
- Oracle 1 (De Code Reviewer): Controleert de code en ondertekent een envelop met: "Code is goedgekeurd."
- Oracle 2 (De Security Scanner): Controleert op virussen en ondertekent een envelop met: "Geen virussen gevonden."
- Oracle 3 (De Test Runner): Controleert of de tests zijn geslaagd en ondertekent een envelop met: "Tests geslaagd."
Cruciale Regel: De boodschapper kan deze enveloppen niet zelf schrijven. Hij kan ze alleen verzamelen. De enveloppen zijn voorzien van een speciale digitale zegel die bewijst dat ze van de echte expert komen, en niet van een vervalsing.
3. Het "Ticket" moet overeenkomen met de "Envelop" (Binding)
De boodschapper brengt de enveloppen terug naar de Hub. De Hub controleert twee dingen:
- De Zegels: Zijn de handtekeningen echt? Hebben de experts ze daadwerkelijk ondertekend?
- Het Ticket: Komt het unieke ticket in de envelop overeen met het ticket dat de Hub aan het begin heeft uitgegeven?
- Waarom dit belangrijk is: Dit voorkomt dat de boodschapper een oude envelop van een succesvolle test van gisteren gebruikt om een mislukte test van vandaag te passeren. Het ticket zorgt ervoor dat het bewijs vers is en bij deze specifieke actie hoort.
4. De Hub neemt de beslissing (Deterministic Policy)
De Hub kijkt naar de regels (het beleid). Bijvoorbeeld: "Als de code is goedgekeurd, geen virussen bevat en de tests zijn geslaagd, sta dan de implementatie toe."
- Als de enveloppen overeenkomen met de regels, zegt de Hub "GA" en ondertekent een definitieve toestemmingsbewijs.
- Als er iets ontbreekt of verlopen is, zegt de Hub "STOP".
Waarom dit beter is (De Metaforen)
1. De "Notaris"-analogie
Stel je voor dat je een huis wilt verkopen. Je vraat de verkoper niet alleen: "Is het huis veilig?" Je gaat naar een Notaris. De Notaris kent de verkoper niet persoonlijk; hij controleert alleen de documenten.
- In dit AI-model is de Hub de Notaris.
- De Oracles zijn de onafhankelijke inspecteurs (loodgieter, elektricien, constructeur).
- De AI is slechts de persoon die de papierwinkel vasthoudt. Hij kan de handtekeningen van de inspecteur niet vervalsen.
2. De "Bankkluis"-analogie
Om een beveiligde bankkluis te openen, heb je niet één sleutel nodig. Je hebt drie verschillende mensen nodig die tegelijkertijd drie verschillende sleutels omdraaien.
- De AI is de persoon die voor de kluis staat.
- De Oracles zijn de drie bankmedewerkers.
- De AI kan de kluis niet openen tenzij alle drie de medewerkers onafhankelijk van elkaar hebben ingestemd met de specifieke transactie.
Wat dit model wel (en niet) doet
Wat het WEL doet:
- Garandeert Feiten: Het zorgt ervoor dat voordat een gevaarlijke actie plaatsvindt, onafhankelijke experts de feiten hebben geverifieerd (bijv. "De interactie met medicijnen is gecontroleerd", "De build is geslaagd").
- Voorkomt Valsificatie: De AI kan niet liegen over de resultaten omdat de AI de ondertekeningssleutels niet bezit.
- Creëert een Spoor: Elke beslissing wordt vastgelegd in een permanent, onveranderlijk logboek (zoals een zwarte doos) zodat iedereen later kan controleren: "Is de interactie met medicijnen echt gecontroleerd?"
Wat het NIET doet:
- Het beoordeelt niet de "gedachten" van de AI: Als de AI besluit een medicijn voor te schrijven om een vreemde, schadelijke reden, maar technisch gezien wel alle regels heeft gevolgd (interactie gecontroleerd, licentie gecontroleerd), zal dit systeem het nog steeds toelaten. Het controleert het proces, niet de motivatie.
- Het stopt de AI niet bij het plannen: De AI is nog steeds vrij om na te denken, te plannen en te communiceren. Hij kan alleen niet handelen bij zaken met een hoog risico zonder de juiste papierwinkel.
De Kernboodschap
Het artikel betoogt dat we niet moeten proberen een "gedachtepolitie" te bouwen om te bewaken wat AI-agenten denken. In plaats daarvan moeten we een "Poortwachter"-systeem bouwen.
Net zoals een chirurg een patiënt niet mag opereren zonder een ondertekend toestemmingsformulier en een geverifieerde patiëntidentificatie, mag een AI niet worden toegestaan om code te implementeren of medicijnen voor te schrijven zonder onafhankelijk, ondertekend bewijs dat de omstandigheden veilig zijn. De AI is de boodschapper; het bewijs is de sleutel; en de Hub is het slot.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.