Delegation-Aware Runtime Contracts for Open LLM Multi-Agent Systems: Constraint Preservation, Capability Revocation, and State Recovery

Stel je een wereld voor waarin je niet alleen met één slimme robot praat, maar met een heel team van robots die samenwerken. In deze wereld kan een "manager"-robot zeggen: "Hé, jij gaat de beste prijs voor een nieuwe laptop opzoeken," en dan kan die robot tegen een derde robot zeggen: "Jij gaat de websites controleren." Dit wordt een multi-agent systeem genoemd. Het is als een digitale estafette waarbij de estafettestok de taak is. Maar hier komt het lastige deel: wanneer de eerste robot de taak aan de tweede doorgeeft, fluistert hij de instructies meestal in gewone mensentaal. Als de eerste robot zegt: "Geef niet meer dan $500 uit," kan de tweede robot alleen horen: "Zoek een laptop" en de prijslimiet volledig vergeten. Dit gebeurt omdat computers geweldig zijn in het volgen van regels, maar niet altijd zo goed zijn in het onthouden van de kleine lettertjes wanneer ze een gesprek doorgeven. Wetenschappers maken zich zorgen dat als we deze robotteams ongecontroleerd laten rondgaan zonder betere regels, ze per ongeluk al ons geld kunnen uitgeven, onze geheimen kunnen lekken of dingen kunnen doen die we nooit van hen hebben gevraagd.

Dit artikel introduceert een nieuwe manier om deze overdrachten van robots af te handelen, genaamd DARC (Delegation-Aware Runtime Contracts). Denk aan het geven van een speciale, onverwoestbare rugzak aan de robots in plaats van alleen een fluistering. Elke keer dat een robot een taak aan een andere robot doorgeeft, geeft hij niet alleen de opdracht "ga"; hij draagt een digitaal contract over in die rugzak. Dit contract vermeldt precies wat de nieuwe robot mag doen, wat hij niet mag doen, hoeveel geld hij mag uitgeven en wanneer zijn taak verloopt. Het artikel laat zien dat als je deze contracten gebruikt, je wiskundig kunt bewijzen dat de nieuwe robot niet plotseling meer macht kan krijgen dan de oude had, en dat hij de budgetlimieten niet kan vergeten. De auteur heeft een systeem gebouwd om deze rugzakken automatisch te controleren. Er werd ontdekt dat zonder deze contracten regels vaak verdwijnen terwijl taken worden doorgegeven, maar met hen blijven de regels vergrendeld. De auteur waarschuwt echter dat hoewel de "wiskundige" onderdelen (zoals geldlimieten en tijdslimieten) perfect veilig zijn, de onderdelen die begrip van menselijke taalnuances vereisen (zoals "wees beleefd") nog steeds lastig zijn en meer testen vereisen.

Het Problein: Het "Telefoongame"-effect van Robotteams

Stel je voor dat je het spelletje "Telefoon" speelt met een groep vrienden. Je fluistert een geheim aan de eerste persoon, die het weer doorfluistert aan de volgende, enzovoort. Tegen de tijd dat het de laatste persoon bereikt, is het geheim meestal veranderd. Misschien wordt "Eet de taart niet" in "Eet de taart!"

In de wereld van AI is dit precies wat er gebeurt wanneer een team van Large Language Model (LLM) agents samenwerkt. Eén agent (de baas) geeft een taak aan een andere agent (de werker). De baas zegt misschien: "Zoek een leverancier, maar geef niet meer dan $1.000 uit en laat onze werknemerslijst aan niemand zien." De werker hoort dit en geeft de taak door aan een derde agent (de websurfer). Maar omdat het bericht slechts platte tekst is, hoort de derde agent misschien alleen: "Zoek een leverancier." De budgetlimiet en de privacyregel zijn hierdoor in het niets verdwenen!

Dit is gevaarlijk. Als een robotteam het budget van een bedrijf beheert of met privégegevens omgaat, betekent het verliezen van die regels dat de robots per ongeluk miljoenen kunnen uitgeven of geheimen kunnen lekken. Het probleem is niet dat de robots "slecht" zijn; het is dat de manier waarop ze met elkaar praten deze belangrijke veiligheidsregels behandelt als optionele suggesties in plaats van harde wetten.

De Oplossing: De Onverwoestbare Rugzak (DARC)

De auteur van dit artikel, onder leiding van Vinay Bamil, stelt een oplossing voor genaamd DARC. In plaats van alleen een tekstbericht door te geven, moet elke agent bij het delegeren van een taak een Delegatiecontract overhandigen.

Beschouw dit contract als een speciale, onverwoestbare rugzak die met de taak meekomt. In deze rugzak staan duidelijke, machineleesbare labels die zeggen:

• Wat je mag doen: (bijv. "Je mag prijzen controleren, maar je mag niets kopen.")
• Wat je niet mag doen: (bijv. "Je mag geen personeelsgegevens inzien.")
• Het budget: (bijv. "Je hebt exact $500 over om uit te geven.")
• De vervaldatum: (bijv. "Deze taak is slechts 1 uur geldig.")
• De geschiedenis: (bijv. "Deze taak kwam van Agent A, die de taak kreeg van de Baas.")

De magie van DARC is dat het deze regels behandelt als wiskunde, niet alleen als woorden. Wanneer een robot een taak aan een nieuwe robot probeert door te geven, controleert een "Mediator" (een veiligheidswachter) de rugzak. Als de nieuwe robot probeert een regel te pakken die er niet was, of als hij probeert een nieuwe macht te claimen die hij voorheen niet had, zegt de wachter: "Nee!" en stopt de overdracht.

Hoe het werkt: De Veiligheidswachter en de Rugzak

Het systeem werkt in drie hoofdfasen, zoals een veiligheidscontrole bij een luchthaven:

1. De Overdracht (Mediator): Wanneer Agent A een taak aan Agent B wil geven, controleert de Mediator de rugzak. Het zorgt ervoor dat Agent B niet meer macht vraagt dan Agent A had. Als Agent A een budget van $500 had, kan Agent B niet plotseling een budget van $600 krijgen. Als Agent A een regel had over "geen personeelsgegevens", moet Agent B die regel behouden. De rugzak wordt voordat de taak wordt doorgegeven gebouwd, waardoor het onmogelijk is om de regels te vergeten.
2. De Actie (Gateway): Wanneer Agent B daadwerkelijk iets probeert te doen (zoals een laptop kopen of een bestand lezen), controleert de Gateway de rugzak opnieuw. Het vraagt: "Heb je toestemming om dit te doen? Heb je genoeg budget over? Is de data die je probeert te lezen toegestaan?" Als het antwoord nee is, wordt de actie onmiddellijk geblokkeerd.
3. De Opruiming (Incident Controller): Wat als een robot gehackt wordt of doorslaat? Het systeem kan de rugzak "intrekken". Als de Baas zegt: "Stop Agent B!", dan stopt het systeem niet alleen Agent B; het volgt de geschiedenis van de rugzak. Het vindt elke robot aan wie Agent B een taak heeft doorgegeven en stopt ook hen. Het plaatst ook de gegevens die die robots hebben aangeraakt in quarantaine, om te zorgen dat de "infectie" zich niet verspreidt.

Wat de Auteur Ontdekte (en Wat Niet)

De auteur bouwde een prototype van dit systeem en testte dit grondig. Dit is wat zij ontdekten:

• De Wiskunde Werkt: Ze bewezen dat als je deze contracten gebruikt, de regels niet per ongeluk kunnen worden weggegooid. Als een budget is ingesteld op $500, blijft het $500 (of minder), ongeacht hoe vaak de taak wordt doorgegeven. Ze ontdekten dat zonder dit systeem regels vaak verdwijnen na slechts enkele overdrachten.
• De "Omissie"-bug: Tijdens hun testen ontdekten ze een sluipende bug. Ze realiseerden zich dat als een ouder-robot vergat een specifieke limiet op te schrijven (zoals een budgetbedrag), de kind-robot zou kunnen denken dat hij een onbeperkt budget had. Ze hebben dit opgelost door een nieuwe regel in te voeren: als een limiet ontbreekt, moet het systeem de strengste mogelijke limiet aannemen (zoals $0) om veilig te zijn. Dit is een grote les voor het bouwen van veilige AI.
• Het "Betekenis"-probleem: Het systeem is perfect in het controleren van getallen, datums en duidelijke regels. Maar het is niet perfect in het begrijpen van de nuances van menselijke taal. Bijvoorbeeld, als een regel zegt "Wees beleefd", kan het systeem niet wiskundig bewijzen of een robot beleefd was of niet. De auteur geeft toe dat voor deze "betekenis-gebaseerde" regels, hun systeem slechts een "best effort"-monitor is, geen perfecte garantie. Ze zijn eerlijk over dit feit: ze kunnen bewijzen dat de wiskunde werkt, maar ze kunnen nog niet bewijzen dat de "beleefdheid" werkt.
• Het Testen: Ze voerden een pilotstudie uit om te zien hoe goed een geautomatiseerde rechter fouten kon opsporen. De rechter slaagde echter nog niet voor hun strikte test op overeenstemming. Ze beweren dus niet dat ze het "beleefdheidsprobleem" al hebben opgelost; ze laten alleen zien dat hun systeem deze problemen kan volgen en dat er meer testen nodig zijn.

Waarom Dit Belangrijk Is

Dit artikel vormt een brug tussen twee werelden: de oude wereld van strikte computerbeveiliging (waar regels hard en onverwoestbaar zijn) en de nieuwe wereld van flexibele AI-teams (waar robots in natuurlijke taal communiceren).

De auteur laat zien dat we AI-robots niet vrij met elkaar kunnen laten praten als we willen dat ze veilig zijn. We moeten ze een "contract" geven dat met de taak meereist. Dit zorgt ervoor dat zelfs als de robots praatgraag en creatief zijn, ze de regels die we voor hen hebben gesteld niet kunnen breken.

Hoewel het systeem nog niet perfect is (vooral wat betreft het begrijpen van complexe menselijke betekenissen), biedt het een solide fundament. Het bewijst dat we AI-teams kunnen bouken die krachtig zijn maar ook veilig, door ons geld veilig te houden en onze geheimen geheim te houden, door elke overdracht te behandend als een serieus, gecontroleerd contract in plaats van slechts een gefluister in het donker.