AEGIS: Preventing Cross-Domain Resource Abuse in MCP
Dit artikel introduceert AEGIS, een component voor beleidshandhaving die grote taalmodellen gebruikt om diverse MCP-toolaanroepen te analyseren en te normaliseren, waardoor beheerders in staat worden gesteld om fijnmazige waarborgen tegen misbruik van middelen tussen domeinen te definiëren terwijl de flexibiliteit van het ecosysteem behouden blijft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin kunstmatige intelligentie-agenten fungeren als persoonlijke assistenten, die in staat zijn om contact op te nemen met andere computerprogramma's om gegevens op te halen, afbeeldingen te analyseren of complexe taken te beheren. Om dit mogelijk te maken, hebben ingenieurs een standaardtaal ontwikkeld genaamd het Model Context Protocol, die deze AI-agenten in staat stelt om op een gestructureerde manier met externe tools te communiceren. Beschouw dit als een universele afstandsbediening voor software, waarmee een AI een database kan vragen om een lijst met bestanden of een kaartdienst om een locatie. Echter, net zoals een afstandsbediening gebruikt kan worden om van kanaal te wisselen of per ongeluk de hele televisie uit te zetten, kunnen deze AI-agenten soms verzoeken doen die te groot of te veeleisend zijn. Als een agent vraagt om een video die te lang is, een lijst met resultaten die te omvangrijk is, of een beeldresolutie die te hoog is, kan dit de computersystemen achter de schermen overbelasten, waardoor ze vertragen of zelfs volledig stoppen met werken. Dit is geen probleem van een kwaadwillende AI, maar een gevolg van haar vermogen om alles te kunnen vragen, gecombineerd met het feit dat veel van deze tools geen strikte limieten hebben voor wat ze accepteren.
Onderzoekers bij IBM Research hebben een nieuw systeem ontwikkeld genaamd AEGIS om dit specifieke probleem van uitputting van middelen op te lossen. De kernuitdaging waar zij voor stonden, was dat elke tool die een AI zou kunnen gebruiken, anders is. De ene tool vraagt misschien om een "straal" om een zoekgebied te definiëren, terwijl een andere vraagt om een "afstand", en een andere weer gebruikt "mijlen" of "kilometers". Bovendien verwerken de tools verschillende soorten gegevens, zoals tekst, video of locatie, en elk type gegevens verbruikt op een unieke manier computerkracht. Een verzoek om duizend tekstberichten is gemakkelijk voor een computer om te verwerken, maar een verzoek om duizend high-definition video's kan het systeem laten crashen. Omdat de taal en de structuur van deze verzoeken zo sterk variëren, was het voor beveiligingsteams bijna onmogelijk om een enkele set regels te schrijven die voor alle tools werkt. Het handmatig schrijven van deze regels voor honderden verschillende tools is traag, foutgevoelig en moeilijk schaalbaar.
Om dit te overwinnen, heeft het team AEGIS gebouwd, een systeem dat de redeneerkracht van grote taalmodellen gebruikt om te fungeren als een vertaler en een poortwachter. In plaats van te proberen elke mogelijke tool uit het hoofd te leren, analyseert het systeem de beschrijving van elke tool die een AI zou kunnen gebruiken en bepaalt automatisch wat voor soort gegevens deze verwerkt en wat voor soort actie het uitvoert. Vervolgens neemt het de verwarrende, uiteenlopende namen van de parameters — zoals "limit", "count" of "max_results" — en vertaalt deze naar een enkele, standaard vocabulaire. Het herkent bijvoorbeeld dat het vragen om "vijftig mijlen" in een locatietool en "honderd resultaten" in een teksttool beide verzoeken zijn om een specifiek volume aan gegevens dat gevaarlijk kan zijn als het niet gecontroleerd wordt. Door deze diverse verzoeken om te zetten in een gemeenschappelijke taal, kan het systeem een consistente set veiligheidsregels toepassen over het gehele ecosysteem.
Zodra het systeem de tools begrijpt, raadt het niet alleen waar de limieten moeten liggen; het meet ze. De onderzoekers voerden een reeks tests uit waarbij ze geleidelijk de omvang van de verzoeken die naar een server werden gestuurd vergrootten, terwijl ze nauwlettend in de gaten hielden wanneer het systeem begon te worstelen of fouten maakte. Ze vonden het exacte punt waarop de computer de belasting nog kon verwerken zonder te falen en stelden dat als de veiligheidsgrens in. Dit proces, bekend als benchmarking, stelt het systeem in staat om voor elke tool die het tegenkomt een aangepaste veiligheidslimiet te creëren, zodat de AI haar werk kan doen zonder per ongeluk de computer waarmee ze communiceert te breken.
Het team testte deze aanpak op een collectie van bijna duizend verschillende tools afkomstig uit een breed scala aan real-world diensten, waaronder cloud computing, databases en zoekmachines. Het systeem bleek opmerkelijk accuraat bij het identificeren van wat elke tool doet en het categoriseren van de gegevens die het verwerkt, waarbij het type gegevens en de aard van de operatie in meer dan achtennegentig procent van de gevallen correct werd geclassificeerd. Het identificeerde ook succesvol welke tools waarschijnlijk problemen met de middelen zouden veroorzaken en normaliseerde hun parameters met hoge precisie. Toen de onderzoekers een scenario simuleerden waarin een AI-agent probeerde een server te overbelasten door een excessief aantal afbeeldingen op te vragen, blokkeerde het systeem met AEGIS in plaats daarvan het schadelijke verzoek en hield het de server soepel draaiende, terwijl de onbeschermde server onder de belasting crashte.
Dit werk demonstreert dat het mogelijk is om deze complexe, onderling verbonden AI-systemen te beveiligen zonder hun flexibiliteit op te offeren. Door intelligente analyse te gebruiken om de intentie achter een verzoek te begrijpen en door de werkelijke capaciteit van de systemen te meten, biedt AEGIS een manier om te beschermen tegen misbruik van middelen die zich aanpast aan de diversiteit van de gebruikte tools. De onderzoekers merken op dat hoewel het systeem zeer effectief is, de taak om elke mogelijke parameternaam perfect te vertalen een uitdaging blijft, en toekomstig werk zal zich richten op het uitbreiden van deze bescherming naar nog complexere scenario's waarbij meerdere tools in een sequentie worden gebruikt. Voor nu biedt het systeem een praktische methode om ervoor te zorgen dat naarmate AI-agenten bekwaamer en wijdverspreider worden, ze niet onbedoeld de systemen waar ze op vertrouwen tot stilstand brengen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.