Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?
Dieses Paper führt AgentCIBench ein, eine Evaluierungs-Harness, die erhebliche Datenschutzrisiken bei Computer-Use-Agenten aufdeckt, indem sie zeigt, dass 11 von 15 Frontier-Modellen aufgrund von visueller Ko-Lokalität, Aufgabenambiguität und Empfänger-Fehlabstimmung häufig unangemessene kontextübergreifende Informationen preisgeben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen superintelligenten, unglaublich fähigen persönlichen Assistenten namens „Agent“ ein. Dieser Agent hat Zugriff auf Ihr gesamtes digitales Leben: Ihre geschäftlichen E-Mails, Ihr privates Tagebuch, Ihre Terminerinnerungen für Arztbesuche, Ihre Einkaufslisten und Ihren Familien-Chat.
Das Papier „Capable but Careless“ stellt eine einfache, aber beängstigende Frage: Nur weil dieser Agent gut darin ist, Dinge zu erledigen, weiß er auch, was er Leuten nicht erzählen darf?
Die Forscher fanden heraus, dass diese Agenten zwar hervorragend darin sind, Aufgaben zu erfüllen, aber überraschend schlecht darin sind, zu wissen, welche Informationen in einer bestimmten Situation angemessen sind. Sie nennen dieses Versagen der „kontextuellen Integrität“ (Contextual Integrity).
Hier ist eine Aufschlüsselung ihrer Ergebnisse anhand einfacher Analogien:
1. Das Problem: Die „Offene Küche“-Analogie
Stellen Sie sich vor, Ihr Agent ist ein Koch, der in einer Küche arbeitet, in der alle Ihre Zutaten auf einer riesigen Arbeitsplatte ausgebreitet sind.
- Die Aufgabe: Ein Kollege fragt: „Was gibt es zu Mittag?“
- Die Aufgabe des Agenten: Auf die Arbeitsplatte schauen, die Sandwich-Zutaten finden und sie dem Kollegen sagen.
- Der Fehler: Der Agent sieht ein Glas Essiggurken (Arbeitsgegenstand) direkt neben einer Flasche Gift (private medizinische Info) und einem Foto Ihres Ex-Partners (persönliche Info). Weil sie alle direkt nebeneinander auf der Arbeitsplatte liegen, sagt der Agent versehentlich: „Wir haben Essiggurken, Gift und das Foto deines Ex-Partners zum Mittagessen.“
Der Agent versucht nicht, gemein zu sein; er ist einfach nur „unachtsam“. Er sieht alles und nimmt an, dass alles gleichermaßen zur Erwähnung berechtigt ist.
2. Drei Wege, wie Agenten unachtsam werden
Die Forscher identifizierten drei spezifische Arten, wie diese Agenten Fehler machen:
- Visuelle Kookation (Das „Neben dem Ziel“-Problem):
Stellen Sie sich vor, Sie betrachten eine Liste mit Arbeitsaufgaben. Direkt neben „Bericht fertigstellen“ steht ein Klebezettel mit der Aufschrift „Scheidungsanwalt anrufen“. Wenn Sie den Agenten bitten, „die Arbeitsliste zu senden“, könnte er versehentlich die Notiz zum Scheidungsanwalt einschließen, weil sie auf dem Bildschirm direkt neben der Arbeitsaufgabe lag. - Aufgaben-Ambiguität durch Oversharing (Das „Den ganzen Eimer entleeren“-Problem):
Sie sagen: „Fasse meine To-do-Liste zusammen.“ Sie haben nicht gesagt: „Fasse nur die geschäftlichen Dinge zusammen.“ Der Agent, der hilfreich sein möchte, schüttet alles auf Sie aus, einschließlich „Geburtstagsgeschenk für Mama kaufen“ und „Zahnarzttermin planen“, selbst wenn Sie gerade mit Ihrem Chef sprechen. Er weiß nicht, wie er filtern soll. - Empfänger-Fehlzuordnung (Das „Falsches Publikum“-Problem):
Sie haben einen Entwurf einer sensiblen HR-Beschwerde. Sie bitten den Agenten: „Sende diesen Entwurf an meinen Freund.“ Der Agent sendet ihn. Aber dann bitten Sie den Agenten: „Sende diesen Entwurf an meinen Chef.“ Der Agent sendet ihn trotzdem, ohne zu realisieren, dass das, was man einem Freund gegenüber sagen darf, eine Katastrophe ist, wenn man es dem Chef gegenüber tut.
3. Das Experiment: „AgentCIBench“
Um dies zu testen, bauten die Forscher eine spezielle Testumgebung namens AgentCIBench.
- Sie erschufen eine fiktive digitale Welt mit Apps wie Kalendern, To-do-Listen und Messengern.
- Sie füllten diese mit einer Mischung aus geschäftlichen und privaten Inhalten.
- Sie gaben 15 verschiedenen Top-KI-Agenten (wie Claude, GPT, Gemini usw.) Aufgaben in dieser Welt.
- Sie beobachteten, ob die Agenten versehentlich private Geheimnisse preisgaben, während sie versuchten, die Aufgaben zu erledigen.
4. Die schockierenden Ergebnisse
Die Ergebnisse waren nicht gut.
- Hohe Fehlerrate: Von den 15 getesteten Agenten leakten 12 von ihnen in mehr als der Hälfte der Szenarien private Informationen.
- Fähigkeit Sicherheit: Die Agenten, die am besten darin waren, Aufgaben abzuschließen, waren oft am schlechtesten darin, Geheimnisse zu bewahren. „Klug“ bei der Ausführung des Jobs zu sein, bedeutete nicht, dass sie auch „klug“ darin waren, zu wissen, was sie verbergen mussten.
- Der „Verweigerungs“-Trick: Einige Agenten erschienen nur deshalb sicher, weil sie die Aufgabe gar nicht erst ausführten. Wenn man ihnen eine knifflige Frage stellt, sagen sie einfach: „Das kann ich nicht tun.“ Aber wenn sie versuchen, die Aufgabe zu erledigen, lassen sie Geheimnisse durchscheinen.
5. Die gute Nachricht: Es kann behoben werden
Die Forscher versuchten drei einfache „Regeln“ (Prompts), um den Agenten beizubringen, sich besser zu verhalten, ohne sie von Grund auf neu trainieren zu müssen:
- Restriktiv sein: „Betrachte nur die spezifischen Elemente, die für diese Aufgabe benötigt werden.“
- Ein Rubrik verwenden: „Frage dich vor dem Sprechen: Ist dies notwendig? Ist dies für diese Person angemessen?“
- Den Empfänger benennen: „Sage mir, mit wem du sprichst und welche Regeln für diese Person gelten, bevor du schreibst.“
Das Ergebnis: Diese einfachen Regeln reduzierten das Informationsleck um etwa 33 % bis 36 % und machten die Agenten sogar besser in ihrer Arbeit (höhere Utility), da sie durch irrelevante private Informationen nicht mehr abgelenkt wurden.
Das Fazüssen
Das Papier kommt zu dem Schluss, dass wir KI-Agenten nicht einfach deshalb vertrauen können, weil sie „gut in ihrem Job sind“. Wir müssen sie spezifisch auf kontextuelle Integrität testen – ihre Fähigkeit zu wissen, welche Information in welchen Kontext gehört.
Derzeit sind die meisten Agenten wie ein sehr enthusiastischer, aber tollpatschiger Assistent, der bereitwillig Ihr privates Tagebuch Ihrem Chef vorliest, wenn Sie ihn bitten, „Ihren Tag zusammenzufassen“. Wir müssen ihnen den Unterschied zwischen „Arbeitsmodus“ und „Privatmodus“ beibringen, bevor wir sie an unseren echten Computern freilassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.