A Systematic Evaluation of Traditional Privacy Policy Analysis Tools Against LLMs
Diese Arbeit präsentiert die erste systematische Evaluierung, die zeigt, dass einsatzbereite große Sprachmodelle effektiv die Fähigkeiten spezialisierter Werkzeuge zur Analyse von Datenschutzrichtlinien bei Aufgaben wie Widerspruchserkennung, regulatorischer Compliance und Entitätsextraktion replizieren oder übertreffen können, ohne dass ein domänenspezifisches Training erforderlich ist.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, in der jeder Laden, jeder Park und jede Bibliothek ein Regelwerk namens „Datenschutzrichtlinie“ besitzt. Diese Regelwerke erklären Ihnen genau, was die Ladenbesitzer (Apps und Websites) mit Ihren persönlichen Informationen planen – wie etwa Ihrem Standort, Ihren Fotos oder Ihrem Namen. Jahrelang war das Lesen dieser Regelwerke so, als versuche man, einen Geheimcode zu verstehen, der in einer Fremdsprache geschrieben wurde; sie waren lang, verwirrend und voller kniffliger juristischer Begriffe. Um den Menschen dabei zu helfen, diese zu verstehen, entwickelten Informatiker spezielle „Detektiv-Werkzeuge“. Diese Werkzeuge waren wie automatisierte Bibliothekare, die darauf trainiert wurden, die Regelwerke zu scannen, Widersprüche zu finden (wie etwa einen Laden, der sagt: „Wir verkaufen niemals Ihre Daten“, aber dann ein Unternehmen auflistet, an das er Daten verkauft), zu prüfen, ob sie das Gesetz befolgten, oder das Ganze in einer kurzen Liste zusammenzufassen.
Doch vor kur Jahren ist ein neues, superintelligentes Robotergehirn namens „Large Language Model“ (oder LLM) in die Stadt eingezogen. Stellen Sie sich ein LLM wie einen brillanten, viel gelesenen Studenten vor, der fast jedes Buch in der Bibliothek gelesen hat und komplexe Ideen verstehen, verborgene Bedeutungen entdecken und Zusammenfassungen schreiben kann, ohne dafür spezielle Regeln für jeden einzelnen Job lernen zu müssen. Die große Frage für Wissenschaftler war: Kann dieser neue, universell einsetzbare Student die alten, spezialisierten Detektiv-Werkzeuge ersetzen? Brauchen wir noch die spezifischen Bibliothekare oder kann der Super-Student alles besser, schneller und günstiger machen? Dies ist das Rätsel, das ein Team von Forschern lösen wollte.
Die Forscher, eine Gruppe von Wissenschaftlern von der University of South Florida und IBM, entschieden sich, die neuen Super-Studenten (speziell zwei der klügsten verfügbaren Modelle, GPT-5.2 und Gemini-2.5) direkt gegen sechs der besten Oldschool-Detektiv-Werkzeuge antreten zu lassen. Sie baten die Studenten nicht nur darum, zu raten; sie gaben ihnen exakt dieselben Aufgaben, für die die Werkzeuge gebaut worden waren: Widersprüche im Text zu finden, zu prüfen, ob die Regeln Gesetze wie die DSGVO einhalten, und Datenpraktiken über zehn verschiedene populäre Apps hinweg zusammenzufassen. Sie testeten sogar, ob die Studenten auch die „mittleren“ Aufgaben bewältigen konnten, wie etwa die mühsame Aufgabe, Sätze manuell zu labeln oder die Grammatik zu zerlegen, um herauszufinden, wer was an wem tut.
Die Ergebnisse waren ein wenig so, als würde man beobachten, wie ein Wunderkind den Raum betritt, voller spezialisierter Experten und ohne jegliches zusätzliches Training in fast jeder Kategorie übertrifft. Die Studie ergab, dass die LLMs die alten Werkzeuge nicht nur ebenbürtig waren; sie übertrafen sie oft sogar. Wenn es beispielsweise um das Finden von Widersprüchen ging, fanden die alten Werkzeuge fast gar nichts (sie übersahen die subtilen Konflikte), während die LLMs dutzende echte Widersprüche entdeckten, einschließlich der kniffligen, die in langen, komplexen Sätzen versteckt waren. Wenn es darum ging, zu prüfen, ob Apps das Gesetz befolgten, waren die LLMs viel besser darin, die Bedeutung der Regeln zu verstehen, anstatt nur nach bestimmten Schlüsselwörtern zu suchen. Sie konnten erkennen, wenn ein Unternehmen implizit gegen das Gesetz verstieß, etwas, das die älteren, regelbasierten Werkzeuge oft übersehen hatten.
Die Geschichte ist jedoch kein einfaches „Der neue Roboter gewinnt, werft die alten Werkzeuge weg“. Die Forscher entdeckten einige wichtige Kompromisse. Während die LLMs klüger und flexibler waren, kamen sie mit einem Preis verbunden. Das Ausführen dieser Super-Studenten kostet Geld für jede gestellte Frage, wohingegen die alten Werkzeuge, einmal auf einem Computer installiert, beliebig oft kostenlos ausgeführt werden konnten. Zudem waren die LLMs etwas unberechenbar; wenn man ihnen eine Frage auf eine leicht andere Weise stellte, konnten sich ihre Antworten ändern, während die alten Werkzeuge jedes Mal dieselbe Antwort gaben. Die Forscher schlagen vor, dass der beste Weg vielleicht ein „Hybrid-Team“ sein könnte: die flexiblen, klugen LLMs einzusetzen, um die schwierigen, verwirrenden Teile der Regelwerke zu bewältigen, während man die zuverlässigen, günstigen alten Werkzeuge behält, um das Einfache doppelt zu prüfen.
Zusammenfassend lässt die Arbeit darauf schließen, dass die Ära, in der man für jede einzelne Datenschutzaufgabe ein anderes, spezialisiertes Werkzeug benötigte, möglicherweise zu Ende geht. Ein einziges, gut instruiertes LLM kann nun die Arbeit vieler verschiedener Werkzeuge erledigen und dies oft sogar besser. Aber aufgrund der Kosten und der Notwendigkeit von Zuverlässigkeit wird die Zukunft der Privatsphäre-Analyse wahrscheinlich kein totaler Ersatz sein, sondern eine Partnerschaft, in der der Super-Student und der spezialisierte Bibliothekar zusammenarbeiten, um unsere digitale Stadt sicher und transparent zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.