🤖 AI

IDP-Bench: Benchmarking ability of LLMs to protect personal information in interdependent privacy contexts

Dieses Paper führt IDP-Bench ein, den ersten Benchmark, der im Rahmen des Konzepts der kontextuellen Integrität (Contextual Integrity) fundiert ist, um die Fähigkeit großer Sprachmodelle zur Handhabung interdependenter Privatsphäre zu evaluieren, wobei aufgezeigt wird, dass Modelle zwar Dateneigentumsverhältnisse erkennen, jedoch erheblich Schwierigkeiten damit haben, spezifische Privatsphäre-Parameter zu identifizieren und die Angemessenheit der Informationsweitergabe in komplexen, Multi-Parteien-Kontexten zu beurteilen.

Ursprüngliche Autoren: Ayana Hussain, Soumya Sharma, Golnoosh Farnadi, Nicholas Vincent, Héber Hwang Arcolezi, Ulrich Aïvodji

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ayana Hussain, Soumya Sharma, Golnoosh Farnadi, Nicholas Vincent, Héber Hwang Arcolezi, Ulrich Aïvodji

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, hilfreichen Roboter-Assistenten. Sie vertrauen ihm Ihr Tagebuch, Ihre Fotos und Ihre Geheimnisse an. Sie sagen ihm: „Poste ein Foto von meiner Geburtstagsparty auf Instagram.“

In der Vergangenheit fragten Privatsphäre-Tests für diese Roboter nur: „Hat der Roboter versehentlich dein Geheimnis verraten?“ Aber dieses Paper weist auf eine riesige Schwachstelle hin: Was ist, wenn der Roboter das Geheimnis deines Freundes verrät, nur indem er ein Foto von dir postet?

Dies ist das Problem der Interdependenten Privatsphäre (IDP). Es ist wie ein Spiel von „Six Degrees of Separation“, bei dem die Handlung einer Person versehentlich die Geheimnisse aller in ihrem Umkreis preisgibt. Wenn Sie ein Gruppenfoto teilen, teilen Sie nicht nur Ihr Gesicht; Sie teilen die Gesichter aller, die neben Ihnen stehen, selbst wenn diese nie zugestimmt haben, auf dem Foto zu sein.

Hier ist, was die Forscher gemacht haben, einfach erklärt:

1. Der neue Test: „IDP-Bench“

Die Autoren haben eine neue Prüfung entwickelt, die IDP-Bench heißt. Denken Sie an einen „Führerschein-Test“ für KI, aber speziell für Situationen, in denen Daten mehreren Personen gleichzeitig gehören.

Das Setup: Sie erstellten 100 realistische Szenarien (wie einen Sozialarbeiter, der ein Gruppenfoto von Klienten teilt, oder einen Freund, der einen Screenshot eines Gruppenchats teilt).
Die Falle: Sie gaben der KI eine absichtlich vage Anweisung, wie zum Beispiel: „Teile das Update aus dem Meeting.“ Sie sagten der KI nicht, wer bei dem Meeting war oder was geteilt werden soll.
Das Ziel: Sie wollten sehen, ob die KI erkennen würde: „Moment mal! Wenn ich das teile, verrate ich private Details über Menschen, die nicht ‚Ja‘ gesagt haben.“

2. Die drei Ebenen des Tests

Die Prüfung prüfte das Gehirn der KI in drei Schritten, wie das Klettern auf einer Leiter:

Ebene 1: Der Detektiv (Kontextverständnis)
- Die Frage: „Wer ist in dieser Geschichte? Wer sendet die Information? Wer empfängt sie? Was für eine Art von Daten sind das?“
- Das Ergebnis: Die KI war gut darin, die Hauptperson (den Absender) zu finden, aber sie war oft verwirrt über die „sekundären“ Personen (die Freunde, Klienten oder Familienmitglieder, die involviert sind). Es ist wie ein Detektiv, der den Verdächtigen findet, aber die Zeugen übersieht.
Ebene 2: Die Erkenntnis (Miteigentümerschaft)
- Die Frage: „Werden diese Daten von mehr als einer Person geteilt?“
- Das Ergebnis: Hier schnitt die KI überraschend gut ab. Die meisten großen, intelligenten Modelle (wie die mit 70 Milliarden Parametern) erkannten schnell: „Oh, dieses Foto gehört der ganzen Gruppe, nicht nur mir.“ Etwa 6 von 8 Modellen bekamen dies fast zu 100 % richtig.
Ebene 3: Der moralische Kompass (Angemessenheit)
- Die Frage: „Ist es okay, das zu teilen?“
- Das Ergebnis: Dies war der schwierigste Teil. Selbst wenn die KI wusste, dass das Foto einer Gruppe gehörte, hatte sie oft Schwierigkeiten zu sagen: „Nein, ich sollte das nicht posten, weil es die Privatsphäre der anderen verletzt.“
- Der Haken: Je größer das KI-Modell war, desto besser war es darin, „Nein“ zu sagen. Die kleineren, günstigeren Modelle neigten viel eher dazu, versehentlich „Ja, mach ruhig“ zu sagen, selbst wenn es eine Verletzung der Privatsphäre war.

3. Die wichtigsten Erkenntnisse

Das Paper fand einige interessante Dinge darüber heraus, wie diese Roboter denken:

Sie wissen, dass die „Gruppe“ existiert, aber vergessen die „Individuen“: Die KI ist gut darin zu sagen: „Dies ist ein Gruppenfoto“, aber schlecht darin, genau aufzulisten, wer darin enthalten ist und welche spezifischen Geheimnisse über sie preisgegeben werden könnten. Es ist, als wüsste man, dass ein Raum voller Menschen ist, aber nicht in der Lage zu sein, auch nur einen von ihnen beim Namen zu nennen.
Größe spielt eine Rolle: Größere KI-Modelle sind im Allgemeinen besser darin, diese „Gruppengeheimnisse“ zu schützen. Die winzigen Modelle (wie die mit 1,5 Milliarden Parametern) waren schrecklich darin und erkannten oft nicht einmal, dass die Daten mehreren Personen gehörten.
Das „Prompt“-Problem: Die Antworten der KI änderten sich, je nachdem, wie genau man die Frage stellte. Wenn man die Frage leicht anders formulierte, konnte die KI von „Sicher“ zu „Riskant“ wechseln. Das bedeutet, dass die KI Privatsphäre nicht wirklich „versteht“, sondern nur basierend auf der Formulierung rät.

4. Das Fazit

Die Forscher kommen zu dem Schluss, dass KI zwar besser darin wird zu wissen, dass Daten geteilt werden, aber immer noch Schwierigkeiten hat zu verstehen, wer betroffen ist und warum es ein Problem ist, diese ohne Erlaubnis zu teilen.

Sie sagen nicht, dass die KI bereits gefährlich ist, aber sie sagen: „Wir müssen bessere Tests entwickeln und diese Modelle darauf trainieren, sich mehr um die Menschen zu kümmern, die nicht die Hauptfigur in der Geschichte sind.“

Kurz gesagt: Die KI lernt, den Wald (die Gruppe) zu sehen, aber sie braucht noch Hilfe dabei, die Bäume (die einzelnen Menschen, die in dieser Gruppe versteckt sind) zu sehen.

Technisches Resümee: IDP-Bench

Problemstellung

Da Large Language Models (LLMs) zunehmend als persönliche KI-Assistenten mit Zugriff auf sensible Nutzerdaten eingesetzt werden, ist die Gewährleistung der Privatsphäre zu einer kritischen Sicherheitsherausforderung geworden. Während vorangegangene Forschungen LLMs intensiv auf Privatsphäre-Risiken auf individueller Ebene getestet haben, vernachlässigen diese Evaluierungen oft die Interdependente Privatsphäre (Interdependent Privacy, IDP). IDP beschreibt Szenarien, in denen die Privatsphäre einer Person von den Datenteilungsentscheidungen anderer abhängt, was bedeutet, dass personenbezogene Daten oft gemeinschaftlich besessen werden, anstatt nur einer einzelnen Person zu gehören.

In realen soziotechnischen Systemen verarbeiten LLM-Agenten häufig Daten, die mehrere Subjekte betreffen (z. B. Besprechungsnotizen, Gruppenchats, Kontaktlisten, geteilte Fotos). Aktuelle Benchmarks wie CI-Bench und PrivacyLens konzentrieren sich primär auf Szenarien mit nur einem Subjekt oder unterscheiden nicht formal zwischen mehreren beteiligten Personen im selben Datenfluss. Folglich besteht eine Lücke im Verständnis darüber, ob LLMs in der Lage sind, über die komplexen Privatsphäre-Normen zu urteilen, die erforderlich sind, wenn Daten mehrere Beteiligte involvieren, die der Datenübertragung möglicherweise nicht zugestimmt haben oder sich dieser nicht einmal bewusst sind.

Methodik

Die Autoren führen IDP-Bench ein, den ersten Benchmark, der speziell darauf ausgelegt ist, die Fähigkeit von LLMs zu bewerten, über Szenarien der interdependenten Privatsphäre zu urteilen. Die Methodik basiert auf dem Framework der Kontextuellen Integrität (Contextual Integrity, CI) und der IDP-Theorie, strukturiert in drei Hauptkomponenten: ein Risikomodell, eine Datengenerierungspipeline und ein mehrstufiges Evaluierungsprotokoll.

1. Risikomodell

Der Benchmark definiert ein Privatsphäre-Risikoszenario bestehend aus vier Komponenten und einem Informationsobjekt:

Datensender ( $u$ ): Die Person, die die Weitergabe initiiert.
Datenempfänger ( $r$ ): Das beabsichtigte Ziel der Weitergabe.
Primäres Datensubjekt ( $d_p$ ): Die Hauptperson, um die es in den Daten geht.
Sekundäre Datensubjekte ( $\{d_{s1}, \dots, d_{sk}\}$ ): Eine nicht leere Menge zusätzlicher Personen, deren Informationen gleichzeitig in den Daten exponiert werden, die jedoch möglicherweise nicht eingewilligt haben.
Übertragungsgrundsatz ($tp$): Die Methode der Übertragung.

Die zentrale Herausforderung besteht darin, zu bestimmen, ob ein LLM korrekt identifizieren kann, dass Daten $D$ mehrere Subjekte betreffen, alle mitbetroffenen Personen erkennt und die Angemessenheit des Informationsflusses angesichts der fehlenden Zustimmung der sekundären Subjekte beurteilt.

2. Datengenerierungspipeline

Der Benchmark nutzt eine synthetische Pipeline, um 100 einzigartige Szenarien (97 nach Filterung verwendet) zu generieren, bestehend aus:

Seed-Erweiterung: Ausgehend von 493 PrivacyLens-Seeds (5-Tupel) nutzten die Autoren Qwen2.5-72B-Instruct, um diese in 9-Felder umfassende IDP-Seeds zu erweitern. Dies beinhaltete das Hinzufügen von Feldern für sekundäre Subjekte, den Typ der Interdependenz (gemeinschaftlich besessen, korreliert, familiär, Co-Location) und eine Beschreibung der Interdependenz.
Verifizierung: Ein Unit-Test-Verifier prüft die strukturelle und semantische Validität, um sicherzustellen, dass sekundäre Subjekte sich von den primären Subjekten unterscheiden und das Szenario realistische IDP-Kontexte (z. B. soziale Medien, Gruppenchats) widerspiegelt und keine spezialisierten professionellen Settings.
Vignetten-Generierung: Verifizierte Seeds werden zu 7-Satz-Narrativen erweitert. Die ersten sechs Sätze etablieren Akteure und gemeinsame Daten ohne explizite Kennzeichnung, während der siebte Satz (der während der Evaluierung zurückgehalten wird) die Privatsphäre-Verletzung gegenüber den sekundären Subjekten explizit benennt.
Unspezifizierte Anweisungen: Jede Vignette ist mit einer hochgradig allgemeinen Teilungsanweisung gepaart, die spezifische Details darüber weglässt, was geteilt werden soll oder wer beteiligt ist, wodurch das Modell gezwungen wird, die Privatsphäre-Beschränkungen zu inferieren.

3. Evaluierungsprotokoll

Die Evaluierung testet acht Open-Source-LLMs (Qwen2.5-Familie und Llama-3.1-Familie) über drei progressive Denkstufen unter Verwendung zweier unabhängiger LLM-Richter (Llama-3.1-70B und Qwen2.5-72B):

Stufe 1: Kontextverständnis (Q1–Q7): Extraktion der CI-Parameter (Informationsattribut, primäre/sekundäre Subjekte, Sender, Empfänger, Übertragungsgrundsatz) und Identifikation dessen, welche Informationen über sekundäre Subjekte preisgegeben würden.
Stufe 2: Erkennung von Gemeinschaftseigentum (Q8): Bestimmung, ob die Daten von mehreren Personen gemeinsam besessen werden.
Stufe 3: Angemessenheitsurteil (Q9): Entscheidung, ob die Weitergabe angemessen ist, inklusive einer Begründung.

Die Evaluierung nutzt fünf Prompt-Varianten pro Frage, um die Sensitivität gegenüber der Formulierung zu messen, und verwendet einen LLM-as-a-judge-Ansatz mit spezifischen Prompts für semantisches Matching, Teilpunktevergabe und striktes exaktes Matching.

Wichtigste Beiträge

Erweiterung der CI-Seeds: Die Autoren formalisierten den Übergang von Single-Subject- zu Multi-Subject-Seeds, indem sie das PrivacyLens 5-Tupel-Format um sekundäre Subjekte und Interdependenz-Deskriptoren erweiterten.
Konstruktion von IDP-Bench: Ein synthetischer Benchmark mit 100 IDP-Szenarien, die diverse Multi-Subject-Datentypen (Besprechungsnotizen, Gruppenfotos, Kontaktlisten etc.) abdecken und in realistischen digitalen Plattformen verankert sind.
Umfassende Evaluierung: Eine mehrstufige Bewertung von Open-Source-LLMs hinsichtlich Kontextverständnis, Erkennung von Gemeinschaftseigentum und Angemessenheitsurteil, wobei die Leistung über verschiedene Modellskalen und Familien hinweg verglichen wird.

Ergebnisse

Die Evaluierung von acht Modellen (mit einer Spanne von 1,5B bis 72B Parametern) lieferte die folgenden Erkenntnisse:

Erkennung von Gemeinschaftseigentum (Stufe 2): Modelle schneiden hier stark ab. Sechs von acht Modellen erreichten bei Q8 über 90 %, wobei größere Modelle (z. B. Llama-3.1-70B, Qwen2.5-72B) eine nahezu perfekte Leistung erzielten. Dies deutet darauf hin, dass Modelle die Präsenz von Gemeinschaftseigentum zuverlässig identifizieren können, wenn sie explizit dazu aufgefordert werden.
Kontextverständnis (Stufe 1): Die Leistung ist gemischt und generell niedriger.
- Identifikation von Sender/Empfänger: Generell hoch bei größeren Modellen (70–90 %), aber kleinere Modelle (z. B. Qwen2.5-1.5B) haben erhebliche Schwierigkeiten (38–40 %).
- Identifikation von primären/sekundären Subjekten: Dies bleibt eine signifikante Herausforderung. Während die Identifikation des primären Subjekts (Q2) mit der Skalierung zunimmt, zeigt die Identifikation sekundärer Subjekte (Q3) eine inkonsistente Skalierung; so schnitt beispielsweise Qwen2.5-14B in einigen Judge-Konfigurationen besser ab als Qwen2.5-72B.
- Informationsattribut (Q1): Alle Modelle lagen unter 76 %, was auf Schwierigkeiten bei der Klassifizierung des Kerndatentyps hindeutet.
Angemessenheitsurteil (Stufe 3): Die Leistung verbessert sich mit der Modellgröße. Die beiden größten Qwen-Modelle (32B, 72B) erreichten eine Genauigkeit von 91–96 %, während kleinere Modelle (1.5B, 3B, 7B) im Bereich von 60–71 % blieben. Bemerkenswert ist, dass große Modelle oft die korrekte normative Schlussfolgerung (Weitergabe ist unangemessen) ziehen, selbst wenn sie die spezifischen sekundären Subjekte oder Informationsattribute, die dieser Schlussfolgerung zugrunde liegen, nicht korrekt identifiziert haben.
Prompt-Sensitivität: Die Leistung variiert erheblich zwischen den Prompt-Varianten, insbesondere bei IDP-spezifischen Fragen, was auf einen Mangel an Robustheit beim Denken über diese Szenarien hindeutet.

Bedeutung und Behauptungen

Das Paper behauptet, dass IDP-Bench eine kritische Lücke in den aktuellen LLM-Privatsphäre-Fähigkeiten aufzeigt: Während Modelle erkennen können, dass Daten gemeinschaftlich besessen werden, haben sie Schwierigkeiten mit dem feingranularen Denken, das erforderlich ist, um zu bestimmen, wer involviert ist und welche spezifischen Informationen gefährdet sind.

Die Autoren betonen:

Skalierung ist kein Allheilmittel: Während das Angemessenheitsurteil mit der Modellgröße steigt, scheitern kleinere und sogar einige größere Modelle konsistent an der detaillierten Auflösung der notwendigen IDP-Parameter (sekundäre Subjekte) für einen robusten Schutz der Privatsphäre.
Aktuelle Benchmarks sind unzureichend: Bestehende Privatsphäre-Benchmarks, die sich auf Single-Subject-Szenarien konzentrieren, erfassen nicht die relationale Natur realer Daten, was potenziell zu einem falschen Sicherheitsgefühl bezüglich der LLM-Privatsphäre führt.
Zukünftige Richtungen: Die Arbeit unterstreicht die Notwendigkeit einer gezielteren Untersuchung von IDP in der LLM-Privatsphäre-Forschung, einschließlich der Ausweitung der Evaluierungen auf agentische Settings, in denen Modelle Handlungen ausführen statt nur Fragen zu beantworten, sowie der Entwicklung von Trainingszielen, die die Multi-Subject-Natur von Daten berücksichtigen.

Die Autoren bleiben bescheiden und merken an, dass ihre aktuelle Evaluierung auf dem Reasoning basiert und noch keine handlungsbasierten Settings umfasst, in denen Modelle Werkzeuge nutzen, um privatsphäreverletzende Aktionen auszuführen – ein Bereich, den sie als notwendige zukünftige Erweiterung identifizieren.