In het moderne digitale landschap is kunstmatige intelligentie geëvolueerd van een eenvoudige chatbot naar een capabele assistent die complexe taken namens ons kan uitvoeren. Deze systemen, vaak agenten genoemd, beantwoorden niet alleen vragen; ze lezen documenten, doorzoeken het web, hebben toegang tot privé databases en sturen e-mails. Ze fungeren als tussenpersonen die de kloof overbruggen tussen de intentie van een gebruiker en de enorme reeks tools die op het internet beschikbaar zijn. Deze nieuwe mate van autonomie introduceert echter een subtiele maar gevaarlijke kwetsbaarheid. Het gevaar is niet altijd een enkele, voor de hand liggende fout, zoals een agent die per ongeluk een bestand verwijdert. In plaats daarvan ontstaat schade vaak door een reeks acties die op zichzelf volkomen redelijk lijken. Een agent kan een vertrouwelijk dossier lezen, het samenvatten en die samenvatting vervolgens in een e-mail versturen. Elke stap is toegestaan, maar de combinatie resulteert in een lek van privé-informatie. Dit is de kernuitdaging waarmee onderzoekers worden geconfronteerd: hoe beveilig je een systeem waarbij het pad van de data net zo belangrijk is als de individuele stappen die worden gezet.

Een team onderzoekers van Virginia Tech heeft een nieuw framework ontwikkeld genaamd AgentFlow om dit specifieke probleem op te lossen. Hun werk richt zich op het volgen van de reis van informatie terwijl deze door de workflow van een agent beweegt, in plaats van alleen te controleren of een enkele actie is toegestaan. Stel je een beveiligingsbeambte voor die niet alleen controleert of je een sleutel hebt voor een deur, maar ook kijkt waar je bent geweest, wat je hebt opgepakt en of je dat item naar je uiteindelijke bestemming mag brengen. AgentFlow werkt volgens dit principe. Het behandelt elk stukje data alsof het een label heeft dat de gevoeligheid, de categorie en de betrouwbaarheid ervan beschrijft. Als data afkomstig is van een onbetrouwbare website, draagt het een label "onbetrouwbaar". Als het een burgerservicenummer bevat, draagt het een label "vertrouwelijk". Het systeem houdt vervolgens in de gaten hoe deze labels veranderen terwijl de data beweegt van een database naar een tool, en uiteindelijk naar een e-mail of een publieke post.

De onderzoekers bouwden een taal waarmee systeembeheerders regels kunnen schrijven over deze datareizen. Deze regels kunnen verbieden dat een vertrouwelijke samenvatting ooit een extern e-mailadres bereikt, of voorkomen dat onbetrouwbare webcontent wordt behandeld als een vertrouwde interne instructie. Het systeem werkt door een monitor te plaatsen tussen de kunstmatige intelligentie en de tools die deze gebruikt. Voordat de agent een tool mag aanroepen, controleert de monitor de huidige staat van de data. Het vraagt: waar kwam deze informatie vandaan? Is het gesaneerd? Is de agent toestemming om het naar deze specifieke plek te sturen? Als het antwoord op een van deze vragen "nee" is, wordt de actie geblokkeerd. Deze aanpak is verschillend van oudere beveiligingsmethoden die alleen keken of een gebruiker toestemming had om een tool te gebruiken. Die oudere methoden misten het gevaar van een veilige tool die met onveilige data wordt gebruikt.

Om ervoor te zorgen dat hun regels deugden voordat ze het systeem überhaupt implementeerden, creëerden de onderzoekers een wiskundige verifieerder. Dit hulpmiddel fungeert als een stresstest, waarbij duizenden mogelijke scenario's worden gesimuleerd om te zien of de regels doorbroken kunnen worden. In hun tests ving deze verifieerder elke enkele onveilige variatie van de regels die ze probeerden te misleiden succesvol op. Toen ze het systeem aan het werk zetten in real-world simulaties, waren de resultaten opmerkelijk. Op een set van bijna 950 testgevallen die ontworpen waren om agents te misleiden tot het lekken van data of het uitvoeren van ongeautoriseerde acties, verminderde het systeem de bevestigde beveiligingsincidenten van 33 procent naar nul. In een andere set van 200 dynamische, real-life stijl taken elimineerde het 73,5 procent van de succesvolle aanvallen, waardoor het foutpercentage naar nul ging. Cruciaal was dat het systeem dit deed zonder het vermogen van de agent om werk te verrichten te vernietigen. Sterker nog, in veel gevallen voltooide de agent meer van zijn beoogde taken omdat de beveiligingsregels de agent voorkamen dat hij werd afgeleid door kwaadaardige instructies verborgen in de data.

De onderzoekers waren zorgvuldig in het definiëren van de grenzen van hun werk. Ze beweerden niet elk mogelijk probleem met kunstmatige intelligentie op te lossen, zoals wanneer een AI feiten verzint of slecht advies geeft. Hun systeem is specifiek ontworpen voor de stroom van data door tools en externe verbindingen. Het gaat ervan uit dat de beveiligingsmonitor zelf betrouwbaar is en correct is geïmplementeerd. De studie richtte zich op een specifiek type dreiging waarbij een aanvaller probeert de agent te manipuleren door het te voeden met onbetrouwbare inhoud, zoals een vergiftigde webpagina of een kwaadaardige e-mail, om de agent te misleiden tot acties die de gebruiker nooit bedoeld heeft. Door te focussen op het pad dat de data aflegt, stopt AgentFlow deze aanvallen zelfs wanneer elke individuele stap er onschuldig uitziet.

De evaluatie toonde aan dat het systeem werkt bij verschillende soorten taken, van bankieren en reisplanning tot werkplekbeheer. In één scenario werd een agent misleid om privé klantgegevens samen te vatten en deze naar een aanvaller te mailen. Een standaard beveiligingssysteem zou de e-mail misschien toegelaten hebben omdat de agent toestemming had om berichten te sturen. AgentFlow zag echter dat de data die werd samengevat vertrouwelijk was en dat de e-mail naar een extern adres ging zonder een passende beveiligingscontrole. Het blokkeerde de actie. In een ander geval probeerde een aanvaller de agent te misleiden door te laten geloven dat een kwaadaardige instructie een legitiem intern beleid was. Het systeem herkende dat de instructie afkomstig was van een onbetrouwbare bron en weigerde de agent toe te staan erop te handelen.

De onderzoekers maten ook hoeveel deze beveiligingslaag de agent vertraagde. Ze vonden dat de tijd die aan elke beslissing werd toegevoegd microscopisch klein was, gemeten in microseconden, wat verwaarloosbaar is vergeleken met de tijd die de AI nodig heeft om na te denken en een reactie te genereren. Dit betekent dat de bescherming niet ten koste gaat van snelheid of bruikbaarheid. Het team testte hun systeem tegen een breed scala aan bekende aanvallingsmethoden, inclusclusief die proberen toolverbindingen te exploiteren of het geheugen van de agent te manipuleren. In elk geval waarin de aanval vertrouwde op het verplaatsen van data op een manier die de geconfigureerde regels schond, stopte het systeem de aanval.

Hoewel de resultaten veelbelovend zijn, beschrijven de auteurs ze als voorlopig bewijs voor een specifieke vorm van beleidshandhaving. Ze erkennen dat real-world toepassingen zorgvuldig hun eigen regels moeten definiëren voor wat als gevoelig telt en welke acties zijn toegestaan. Het systeem raadt niet aan wat de gebruiker wil; het handhaaft de regels die het krijgt. Als een gebruiker onbetrouwbare webcontent naar een publieke blog wil sturen, moet hij expliciet een regel configureren die dit toestaat. Zonder die specifieke toestemming zal het systeem de actie blokkeren om veilig te zijn. Deze balans tussen strikte beveiliging en noodzakelijke flexibiliteit is de sleutel om deze krachtige agents nuttig te maken zonder ze gevaarlijk te maken.

Het werk vertegenwoordigt een verschuiving in hoe we denken over het beveiligen van kunstmatige intelligentie. In plaats van te proberen elke mogelijke manier te voorspellen waarop een AI fout kan gaan, bouwden de onderzoekers een systeem dat de informatiestroom bewaakt en duidelijke grenzen handhaaft. Door te volgen waar data vandaan komt en waar het naartoe mag gaan, biedt AgentFlow een vangnet voor de complexe, meerstaps-taken die moderne agents uitvoeren. Het zorgt ervoor dat zelfs als een agent wordt misleid om een gevaarlijk pad te bewandelen, het systeem de reis stopt voordat er schade wordt aangericht. Deze aanpak biedt een praktisch pad voor het inzetten van AI-agents in omgevingen waar privacy en beveiliging van groot belang zijn, waardoor de potentiële risico's van autonome actie worden omgezet in een beheersbaar en gecontroleerd proces.