Stellen Sie sich vor, Sie gehen durch eine geschäftige digitale Stadt, in der jedes Gespräch, jede E-Mail und jede Textnachricht ein Datenstrom ist. In dieser Stadt verbergen sich unsichtbare „persönliche Geheimnisse“ direkt vor den Augen aller – Namen, Telefonnummern, Privatadressen und Bankkontodaten. Dies sind personenbezogene Daten, kurz PII (Personally Identifiable Information). Wenn ein Roboter oder ein Computerprogramm diese Geheimnisse versehentlich mit den falschen Personen teilt, könnte dies zu Identitätsdiebstahl oder Alpträumen für die Privatsphäre führen. Um dies zu verhindern, bauen Wissenschaftler „Privatsphäre-Filter“, die wie digitale Türsteher funktionieren. Ihre Aufgabe ist es, Texte zu scannen, diese Geheimnisse aufzuspüren und sie unkenntlich zu machen, bevor der Text das Gebäude verlässt. Aber der knifflige Teil ist: Diese Türsteher müssen in einer Stadt mit Tausenden von verschiedenen Sprachen und Dialekten arbeiten, und sie müssen Geheimnisse finden, egal ob diese ordentlich in einem Formular sitzen oder in einer langen, chaotischen Geschichte versteckt sind.

Kürzlich hat OpenAI einen neuen, superintelligenten Türsteher namens „Privacy Filter“ (OPF) veröffentlicht. Es ist ein riesiges Gehirn mit 1,5 Milliarden Parametern, konzipiert als universeller Detektiv, der nicht lernen muss, wie man Geheimnisse in jeder spezifischen Sprache erkennt. Aber bis jetzt hatte noch niemand wirklich getestet, ob dieser neue Türsteher tatsächlich mit dem Chaos der realen Welt fertigkommt. Funktioniert er bei einem medizinischen Bericht auf Arabisch? Kann er eine Bankkontonummer finden, die in einem Kundensupport-Chat auf Hindi versteckt ist? Oder funktioniert er nur bei einfachen, englischen Sätzen? Ein Forscher namens Rohith Uppala entschied sich, diesen neuen Türsteher durch den ultimativen Hindernisparcours zu schicken, um das herauszufinden.

Der große Privatsphäre-Filter-Test

Rohith Uppala stellte einen massiven, 42-Stationen umfassenden Hindernisparcours auf, um OpenAI's neuen Privacy Filter (OPF) zu testen. Stellen Sie sich ein riesiges Fitnessstudio mit 42 verschiedenen Stationen vor, wobei jede Station eine andere Art von Text repräsentiert: Einige sind gefälschte medizinische Berichte, einige sind Kundenservice-Chats, einige sind Finanzunterlagen und andere sind einfach nur allgemeine Nachrichtenartikel. Diese Stationen wurden in 22 verschiedenen Sprachen erstellt, die von Englisch und Französisch bis hin zu Hindi, Arabisch und sogar Schriften wie Kyrillisch und Chinesisch reichen.

Das Ziel war einfach: Zu sehen, wie gut der OPF-Türsteher Geheimnisse finden und unkenntlich machen kann, ohne vorheriges Training (ein „Zero-Shot“-Test). Rohith verglich den OPF mit anderen berühmten Türstehern wie Microsofts Presidio, einem Modell namens XLM-RoBERTa und dem riesigen KI-Modell GPT-4o.

Die gute Nachricht: Der Türsteher ist großartig bei „ordentlichen“ Geheimnissen
Wenn die Geheimnisse an ordentlichen, strukturierten Orten versteckt waren, war der OPF ein Superstar. Denken Sie daran, wie man eine Telefonnummer in einer Kontaktliste oder eine E-Mail-Adresse in einem Signaturblock findet. Diese Dinge sehen überall gleich aus, also entdeckte der OPF sie mit unglaublicher Genauigkeit.

• Auf synthetischen Datensätzen, in denen PII klar strukturiert war, erreichte der OPF einen Wert von 0,855 beim AI4Privacy-Benchmark und 0,559 bei Nemotron-PII.
• Er war besonders gut darin, E-Mails (0,78) und Telefonnummern (0,76) zu finden, was so ist, als würde man nach einer bestimmten Form in einem Haufen Bauklötze suchen.
• In Kundensupport-Chats führte der OPF das Feld an mit einem Durchschnittswert von 0,60 und schlug damit Microsofts Presidio und andere.

Die schlechte Nachricht: Der Türsteher verliert sich in „chaotischen“ Geschichten
Sobeder der Moment kam, in dem die Geheimnisse in einer langen, fließenden Geschichte versteckt waren – wie etwa ein Arzt, der die Krankengeschichte eines Patienten beschreibt, oder ein Anwalt, der einen Fall erläutert –, begann der OPF zu straucheln. Es ist, als versuche man, eine bestimmte Nadel im Heuhaufen zu finden, wobei der Heuhaufen selbst aus anderen Nadeln besteht.

• Bei medizinischen und juristischen Texten, in denen Informationen in narrativen Prosa eingebettet sind, sank der Wert des OPF auf 0,464 bei medizinischen Daten und 0,453 bei juristischen Daten.
• In diesen „chaotischen“ Szenarien machte GPT-4o tatsächlich einen besseren Job und erzielte 0,702 bei medizinischen Texten und 0,584 bei juristischen Texten.
• Das Paper legt nahe, dass dies geschieht, weil der OPF darauf trainiert ist, nach spezifischen, diskreten „Feldern“ (wie einem Kasten mit der Beschriftung „Telefonnummer“) zu suchen, aber reale Geschichten verwenden nicht immer Kästen.

Der Skript-Zusammenbruch: Wenn sich das Alphabet ändert
Die dramatischste Erkenntnis war das, was passierte, wenn der Türsteher auf Sprachen traf, die nicht das Standard-lateinische Alphabet (das A, B, C, das wir im Englischen verwenden) nutzen.

• Als der Text in arabischer Schrift verfasst war, stürzte die Leistung des OPF auf einen Wert von 0,038 ab.
• Bei kyrillischer Schrift (verwendet in Russisch, Ukrainisch usw.) brach die Leistung sogar noch weiter auf 0,027 ein.
• Bei der Odia-Schrift (eine indische Sprache) versagte er vollständig und erzielte einen Wert von 0,000.
• Im Gegensatz dazu blieb GPT-4o über die meisten dieser Sprachen hinweg stark und erzielte 0,733 für Chinesisch (CJK) und 0,662 für Kyrillisch.

Das „Recall“ vs. „Precision“-Dilemma
Das Paper fand auch heraus, dass der OPF eine spezifische Persönlichkeit hat: Er ist „Recall-biased“ (auf Trefferquote optimiert). Das bedeutet, er würde lieber zu viel Text unkenntlich machen, als ein Geheimnis zu übersehen.

• In Kundensupport- sowie medizinischen/juristischen Texten war der OPF sehr gut darin, Geheimnisse zu erfassen (Recall von 0,70–0,85), aber er machte oft auch sichere Wörter unkenntlich (Precision von 0,31–0,54).
• Der Autor stellt fest, dass dies in einem realen Szenario bedeutet, dass etwa die Hälfte des vom OPF unkenntlich gemachten Textes gar kein Geheimnis ist. Während dies für die Privatsphäre sicher ist (besser zu viel als zu wenig unkenntlich zu machen), kann es für Nutzer, die den Text lesen wollen, störend sein.

Das Urteil

Rohith Uppalas Studie zeigt, dass OpenAI's Privacy Filter ein leistungsstarkes Werkzeug ist, aber kein Zauberstab. Er ist exzellent darin, strukturierte, vorhersehbare Geheimnisse wie E-Mails und Telefonnummern zu finden, insbesondere in Kundensupport-Chats. Er hat jedoch große Schwierigkeiten, wenn Geheimnisse in komplexen Geschichten verborgen sind oder wenn der Text Sprachen verwendet, die nicht-lateinische Skripte wie Arabisch oder Kyrillisch nutzen.

Das Paper schließt explizit die Vorstellung aus, dass der OPF derzeit eine perfekte, universelle Lösung für alle Privatsphäre-Bedürfnisse ist. Es zeigt, dass der OPF zwar ältere Werkzeuge wie Presidio in vielen Bereichen schlägt, aber noch nicht die beste Wahl für medizinische oder juristische Dokumente oder für Sprachen mit nicht-lateinischen Skripten ist. Die Forscher schlagen vor, dass Unternehmen vorsichtig sein sollten, den Filter nicht blind einzusetzen, bis er an realen Daten getestet wurde (da diese Studie auf synthetischen, computergenerierten Daten basierte). Für den Moment gilt: Wenn Sie Geheimnisse in einer chaotischen Geschichte oder einer fremden Schrift schützen müssen, benötigen Sie vielleicht einen anderen Türsteher.