Provably Auditable and Safe LLM Agents from Human-Authored Ontologies
Dit artikel introduceert Agentic Redux, een bewijsbaar correcte en auditeerbare LLM-agentarchitectuur gebaseerd op getypeerde lambda-calculus en door mensen geschreven ontologieën, waarbij de toepassing ervan in de naleving van facturatie in de gezondheidszorg en de openbaarmaking van beveiligingskwetsbaarheden wordt gedemonstreerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer belangrijke, risicovolle operatie runt, zoals een facturatieafdeling van een ziekenhuis of een beveiligingsteam dat op zoek is naar softwarebugs. Je huurt een team in van superintelligente AI-assistenten (LLM's) om te helpen. Maar er is een probleem: deze AI's zijn briljant maar onvoorspelbaar. Ze "hallucineren" soms (verzinnen dingen), ze zijn het niet altijd met elkaar eens, en als ze aan hun lot worden overgelaten, kunnen ze per ongeluk de regels breken van de wereld die jij voor hen hebt gebouwd.
Dit artikel introduceert een nieuwe manier om deze AI-assistenten te organiseren, genaxt Agentic Redux. Zie dit niet als een nieuwe AI, maar als een nieuwe manageriale structuur die veiligheid garandeert en een perfect, onveranderlijk verslag creëert van elke genomen beslissing.
Zo werkt het, onderverdeeld in eenvoudige concepten:
1. Het Problema: De "Write Skew" Ramp
Stel je voor dat twee werknemers, Alice en Bob, een gezamenlijk budget van $100.000 beheren.
- Alice ziet dat ze nog $45.000 heeft en besluit dit uit te geven.
- Bob ziet dat hij nog $60.000 heeft en besluit dit uit te geven.
- Ze handelen beide tegelijkertijd, zonder te weten wat de ander doet.
- Resultaat: Het systeem geeft $105.000 uit. Het budget is overschreden.
In de informatica wordt dit een "Write Skew" genoemd. In de echte wereld gebeurt dit wanneer AI-agenten onafhankelijk handelen zonder het volledige plaatje te zien. Huidige oplossingen vragen vaak simpelweg aan een AI: "Is dit oké?" en hopen dan dat het antwoord "ja" is. Als de AI een slechte dag heeft, kan hij "ja" zeggen terwijl het "nee" had moeten zijn, en de schade is dan al aangericht.
2. De Oplossing: De "Slimme Container" (Agentic Redux)
De auteur stelt een structuur voor die geïnspireerd is op een populaire softwareontwerpmethode genaamd Redux. Stel je een bedrijf voor waar:
- De Werkers (Sub-agenten): Dit zijn de AI-assistenten. Zij zien slechts een klein deel van de wereld (hun "lokale staat"). Ze kunnen denken, rekenen en acties voorstellen, maar ze kunnen de wereld niet direct veranderen. Ze zijn als "domme componenten".
- De Manager (Meta-agent): Dit is de centrale besluitvormer die de volledige globale staat ziet (het hele budget, alle regels, de hele geschiedenis).
- Het Proces:
- Een werker stelt een actie voor (bijv. "Geef $45.000 uit").
- Het voorstel gaat naar de Manager.
- De Manager controleert het voorstel aan de hand van een lijst met Invarianten (onbreekbare regels, zoals "Totale uitgaven mogen niet meer dan $100.000 bedragen").
- Als de regel standhoudt, keurt de Manager de wijziging goed. Zo niet, dan wijst de Manager deze af.
- De Manager werkt de wereld bij en vertelt de werkers wat de nieuwe realiteit is.
De Magie: De paper bewijst wiskundig (met behulp van een tak van de logica genaamd "typed lambda calculus") dat zolang de Manager de regels volgt, het onmogelijk is dat het systeem de regels breekt, ongeacht hoe gek of gehallucineerd de voorstellen van de werkers ook zijn. De architectuur zelf fungeert als een vangnet.
3. Het "Black Box" Grootboek (Lineaire Auditabiliteit)
Elke keer dat de Manager een beslissing neemt, schrijft hij dit op in een speciaal schrift.
- Als hij "Ja" zegt: Hij schrijft de nieuwe staat op en een bewijs dat de regels zijn nageleefd.
- Als hij "Nee" zegt: Hij schrijft het voorstel op, de reden voor de afwijzing en welke regel overtreden zou worden.
- De Regel: Dit schrift is append-only (alleen toevoegbaar). Je kunt nieuwe pagina's toevoegen, maar je kunt nooit oude pagina's uitscheuren of wissen.
Dit creëert een "lineair auditspoor". Als er later een auditor langskomt, kan deze in perfect chronologische volgorde zien waarom elke beslissing is genomen. Ze kunnen verifiëren dat het systeem nooit de regels heeft overtreden.
4. Hoe bouw je deze systemen: "Ontology-First Design"
Je kunt deze architectuur niet zomaar op elk probleem loslaten. Je moet het probleem eerst diepgaand begrijpen. De auteur stelt een methode voor genaamd Ontology-First Agent Design:
- Breng het gebied in kaart: Een menselijke expert gebruikt een standaard kaartmakeringsinstrument (genaamd Basic Formal Ontology) om een nauwkeurige kaart van de probleemwereld te tekenen (bijv. "Wat is een patiënt? Wat is een drugstest? Wat zijn de regels?").
- Ken rollen toe: Een AI wordt gevraagd naar deze kaart te kijken en voor te stellen welke "taken" (rollen) uitgevoerd moeten worden.
- Stel het team samen: De AI zet die taken om in code voor de werkers (sub-agenten) en de Manager (meta-agent).
De paper testte dit op twee echte problemen:
- Zorgfacturatie: Controleren of verzekeringsclaims voldoen aan complexe overheidsregels over drugstests.
- Beveiligingskwetsbaarheden: Het proces van het vinden en melden van softwarebugs beheren zonder paniek te veroorzaken of wetten te overtreden.
In beide gevallen voorkwam het systeem succesvol de "Write Skew"-fouten die zouden optreden als de agenten alleen zouden handelen.
5. Het Menselijke Veiligheidsventiel (De Counselor Queue)
Wat als de regels te complex zijn voor de Manager om te beslissen, of als een situatie menselijke beoordeling vereist?
Het systeem heeft een Counselor Queue (adviseur-wachtrij). Als de Manager vastloopt of een situatie tegenkomt waarbij de regels zeggen "Vraag een mens", wordt het voorstel gepauzeerd en in een wachtrij geplaatst voor een menselijke expert.
- De mens beoordeelt de situatie en neemt een beslissing.
- Cruciaal is dat de mens ook zijn beslissing in hetzelfde onveranderlijke schrift moet opschrijven, inclusief de uitleg bij zijn keuze.
- De paper bewijst dat zelfs met mensen in het proces, het systeem auditeerbaar en veilig blijft, mits de mensen het format volgen.
Samenvatting
Deze paper beweert niet dat AI slimmer wordt gemaakt. In plaats daarvan beweert het dat AI veiliger en betrouwbaarder wordt gemaakt door ze in een kooi te plaatsen met een zeer strikte manager.
- De AI doet het denken en het voorstellen.
- De Architectuur (de Manager) doet de controle en de handhaving.
- Het Grootboek legt alles voor altijd vast.
Het resultaat is een systeem waarbij je wiskundig kunt bewijzen dat "slechte dingen" (zoals het overschrijden van het budget of het schenden van regelgeving) niet per ongeluk kunnen gebeuren, en als een mens moet ingrijpen, wordt die beslissing met totale transparantie vastgelegd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.