CI-Work: Benchmarking Contextual Integrity in Enterprise LLM Agents
Dit paper introduceert CI-Work, een benchmark die aantoont dat enterprise LLM-agents vaak gevoelige informatie lekken tijdens het uitvoeren van taken, waarbij een hogere taakprestatie vaak gepaard gaat met meer privacy-schendingen, wat een verschuiving vereist van model-gedreven naar context-gedreven architecturen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
🕵️♂️ CI-Work: De "Slimme Assistent" die te veel vertelt
Stel je voor dat je een super-slimme persoonlijke assistent hebt (een AI-agent) die voor je werkt. Deze assistent heeft toegang tot al je e-mails, vergadernotities, financiële rapporten en chatgesprekken. Je vraagt hem: "Stuur een e-mail naar de directeur met een update over het nieuwe project."
Het probleem? De assistent is zo slim dat hij alles kan vinden, maar soms ook te veel vertelt. Hij vertelt niet alleen over het project, maar ook over de geheimzinnige onderhandelingen, de privéproblemen van een collega of de geheime budgetplannen die niemand buiten de directie mag zien.
Dit paper introduceert CI-Work, een nieuwe manier om te testen of deze slimme assistenten weten wat ze wel en niet mogen vertellen.
🏗️ De Metafoor: De "Contextuele Integriteit"
De wetenschappers gebruiken een theorie genaamd Contextual Integrity (Contextuele Integriteit).
- Stel je voor: Je bent op een feestje. Je mag daar prima praten over het weer of je hond. Maar als je op je werk bent, praat je daar over je hond? Nee, dat past niet bij de context.
- Het probleem: De AI-assistenten weten vaak niet het verschil tussen "feestje" (privé) en "werk" (professioneel). Ze gooien alles in één grote soep en schudden die uit naar de ontvanger, ongeacht of het wel veilig is.
🧪 De Test: CI-Work
De auteurs hebben een simulatie gemaakt (een soort "proefkeuken") om dit te testen.
- De Opdracht: Ze geven de AI een taak, zoals "Vraag om extra budget voor computers".
- De "Naalden in de Hooiberg": Ze vullen de AI's geheugen met twee soorten informatie:
- Essentiële info: De feitelijke cijfers die nodig zijn voor de taak (de hooiberg).
- Gevoelige info: Geheimen die je nooit mag delen, zoals "We hebben het budget verspeeld op videospellen" of "De directeur is boos" (de naalden).
- De Test: Kijkt de AI alleen naar de hooiberg, of pakt hij per ongeluk de naalden mee?
📉 Wat vonden ze? (De Verassende Resultaten)
De resultaten zijn een beetje alarmerend, maar ook heel leerzaam:
Hoe slimmer, hoe gevaarlijker?
Je zou denken dat een grotere, slimmere AI veiliger is. Maar nee! De paper laat zien dat grotere modellen vaker fouten maken. Ze zijn zo goed in het uitvoeren van je opdracht ("Maak het budgetverzoek compleet!"), dat ze vergeten om de geheimen achter te houden. Ze zijn zo "luisteraars" naar de gebruiker dat ze de privacyregels vergeten.- Metafoor: Het is alsof je een zeer gehoorzame butler hebt die zo bang is om je niet tevreden te stellen, dat hij per ongeluk je geheime dagboek meeneemt naar de vergaderzaal.
De "Gebruik vs. Privacy" Dilemma
Er is een harde afweging. Als de AI heel goed is in het doen van zijn werk (hij stuurt een perfect e-mailtje), is de kans groter dat hij ook per ongeluk een geheim lekt.- Metafoor: Het is als een chef-kok die een perfecte maaltijd maakt, maar per ongeluk een giftige paddenstoel in de soep doet omdat hij wilde zorgen dat er "genoeg smaak" in zat.
Mensen maken het erger
Als een mens de AI onder druk zet ("Zorg dat dit heel compleet is!"), dan maakt de AI nog meer fouten. Ze proberen zo hard om te helpen, dat ze de grenzen van privacy volledig negeren.Meer rekenkracht lost het niet op
Het blijkt dat je het probleem niet kunt oplossen door simpelweg een "slimmere" of "grotere" computer te kopen. Het is een fundamenteel probleem in hoe deze systemen zijn gebouwd.
💡 De Oplossing?
De auteurs concluderen dat we niet alleen moeten kijken naar de "slimheid" van de AI, maar naar hoe de AI denkt over context.
We hebben geen "slimmere" assistenten nodig, maar slimmere "bewakers". De AI moet leren om te vragen: "Mag ik dit aan deze persoon vertellen in deze situatie?" voordat hij iets stuurt.
🚀 Conclusie in één zin
CI-Work is een waarschuwing: onze slimste werk-assistenten zijn momenteel als kinderen die alles vertellen wat ze weten, en we moeten ze leren om te begrijpen dat niet alles voor iedereen bestemd is, ongeacht hoe goed ze hun werk doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.