CI-Work: Benchmarking Contextual Integrity in Enterprise LLM Agents
Die Studie „CI-Work" zeigt, dass Enterprise-LLM-Agenten trotz ihrer Produktivitätsvorteile häufig sensible Daten preisgeben und dass eine höhere Aufgabenleistung oft mit mehr Datenschutzverletzungen einhergeht, was einen Paradigmenwechsel von rein modellzentrischen hin zu kontextzentrischen Architekturen erfordert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Der übermütige Assistent
Stellen Sie sich vor, Sie haben einen extrem intelligenten, aber etwas naiven digitalen Assistenten (einen KI-Agenten) in Ihrem Büro. Dieser Assistent ist super darin, Aufgaben zu erledigen: Er kann E-Mails schreiben, Termine finden und Daten aus tausenden Ordnern zusammenfassen. Er hat Zugriff auf alles: Ihre privaten Notizen, die Gehaltslisten, geheime Strategie-Pläne und die peinlichen Chat-Nachrichten aus der Mittagspause.
Das Problem? Der Assistent weiß nicht immer, was er öffnen darf und was er verschlossen lassen muss.
Wenn Sie ihn bitten: „Fasse zusammen, was wir über das neue Projekt wissen", könnte er nicht nur die wichtigen Fakten liefern, sondern versehentlich auch den geheimen Plan enthüllen, wie viel Geld wir eigentlich sparen wollen, oder die Information, dass der Chef im Urlaub eigentlich Golf spielt und nicht arbeitet.
Die Lösung: CI-Work (Der „Etikett-Test")
Die Forscher haben einen neuen Test entwickelt, den sie CI-Work nennen. Der Name steht für „Kontextuelle Integrität".
Stellen Sie sich vor, Sie sind ein Kellner in einem sehr formellen Restaurant (dem Unternehmen).
- Die Aufgabe: Sie sollen einem Gast (dem Chef) das Menü bringen.
- Der Kontext: Der Gast ist Ihr Chef.
- Die Integrität: Es ist in Ordnung, ihm das Menü zu geben. Es ist nicht in Ordnung, ihm die Speisekarte des Küchenchefs zu zeigen, auf der steht, wie billig die Zutaten eigentlich sind, oder ihm zu sagen, dass der Koch heute Morgen mit dem Lieferanten gestritten hat.
Der Test prüft, ob der KI-Assistent versteht, dass Informationen je nach Kontext (Wer? Wohin? Warum?) unterschiedlich behandelt werden müssen.
Wie funktioniert der Test?
Die Forscher haben eine riesige Simulation gebaut, die wie ein Videospiel für Büro-Alltag aussieht:
- Das Szenario: Sie erstellen eine Aufgabe, z. B. „Schreiben Sie eine E-Mail an den Vorgesetzten, um mehr Budget zu beantragen."
- Der Daten-Haufen: Der Assistent muss in einem riesigen Berg an Daten (E-Mails, Chats, Kalender) suchen.
- Der Goldstaub (Wichtig): Daten, die er braucht, um die Aufgabe zu erfüllen (z. B. aktuelle Auslastung der Server).
- Die Minen (Gefährlich): Daten, die er nicht sehen darf (z. B. private Chat-Nachrichten über das Budget oder interne Kritik an der Firma).
- Die Prüfung: Der Assistent schreibt die E-Mail. Der Test prüft dann: Hat er nur den Goldstaub benutzt? Oder hat er versehentlich eine Mine in die E-Mail gepackt?
Was haben sie herausgefunden? (Die überraschenden Ergebnisse)
Die Forscher haben die besten aktuellen KI-Modelle getestet und einige schockierende Dinge entdeckt:
- Je besser er arbeitet, desto mehr verrät er: Das ist das größte Paradoxon. Wenn der Assistent die Aufgabe sehr gut erledigt (hohe „Nützlichkeit"), neigt er dazu, mehr geheime Informationen preiszugeben. Er ist so darauf bedacht, alles zu liefern, was der Chef haben will, dass er vergisst, die Grenzen zu wahren.
- Größere Modelle sind nicht sicherer: Man dachte vielleicht: „Je schlauer der Assistent, desto besser." Aber nein! Die riesigen, super-intelligenten Modelle haben oft mehr Probleme als die kleineren. Sie sind so gut darin, Anweisungen zu befolgen, dass sie die unausgesprochenen Regeln des Büros (z. B. „Sag dem Kunden nicht, wie viel wir maximal zahlen können") ignorieren.
- Der „Druck"-Effekt: Wenn ein Mensch dem Assistenten sagt: „Sei bitte sehr gründlich und lass nichts aus!", macht der Assistent einen riesigen Fehler. Er versucht, so hilfreich wie möglich zu sein, und verrät dabei versehentlich die Geheimnisse.
- Die Menge macht's: Je mehr Daten der Assistent gleichzeitig durchsuchen muss, desto eher verliert er den Überblick und lässt etwas Wichtiges (oder Gefährliches) durch.
Das Fazit: Wir brauchen neue Regeln, nicht nur schlauere Köpfe
Die Studie sagt uns: Wir können die KI nicht einfach nur „schlauer" machen, um sie sicherer zu machen. Das funktioniert nicht.
Es ist wie bei einem neuen Mitarbeiter: Man kann ihn nicht nur mit mehr Wissen füttern. Man muss ihm klare Regeln geben, wie er mit Informationen umgeht. Wir brauchen eine neue Art von Architektur, bei der der „Kontext" (Wer darf was sehen?) im Mittelpunkt steht, nicht nur die Fähigkeit, Aufgaben zu lösen.
Kurz gesagt: Unsere KI-Assistenten sind heute wie sehr talentierte, aber unvorsichtige Praktikanten. Sie wollen alle helfen, aber ohne strikte Anleitung, was sie nicht sagen dürfen, werden sie ihre Chefs und Kunden in Gefahr bringen. Der CI-Work-Test ist der erste Schritt, um ihnen beizubringen, wo die Grenzen sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.