To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification
Diese Arbeit zeigt, dass ein lokales, verbraucherorientiertes LLM (Qwen3.5 9B), das durch Chain-of-Thought und fehlerbasiertes Few-Shot-Prompting erweitert wurde, die deliberative Prozessprivilegierung gemäß FOIA-Exemption 5 effektiv klassifizieren kann und dabei eine Leistung erzielt, die mit kommerziellen Modellen konkurriert, während es eine rechtlich und politisch tragfähige Alternative zu cloudbasierten APIs bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, die Regierung verfügt über eine riesige, staubige Bibliothek, die mit Millionen von Dokumenten gefüllt ist. Gemäß dem Gesetz haben Bürger das Recht, einen Blick in diese Bibliothek zu werfen, um zu sehen, was die Regierung tut. Allerdings enthalten einige Seiten Geheimnisse – wie etwa private Adressen, Pläne zur nationalen Sicherheit oder private Argumente, die vor einer endgültigen Entscheidung vorgebracht wurden.
Die Aufgabe der Regierung besteht darin, wie ein Bibliothekar zu agieren, der jede einzelne Seite durchgehen, die geheimen Teile finden und diese mit einem schwarzen Marker überdecken muss (ein Vorgang, der als „Schwärzen" bezeichnet wird), bevor er das Buch der Öffentlichkeit übergeben kann. Dies von Hand zu erledigen, ist langsam, langweilig und fehleranfällig. Wenn der Bibliothekar ein Geheimnis übersieht, ist das ein großes Problem; wenn er jedoch zu viel überdeckt, verbirgt er Dinge, die öffentlich sein sollten.
Dieser Artikel handelt davon, einen intelligenten Roboter-Assistenten zu entwickeln, der dem Bibliothekar hilft, diese Aufgabe schneller und besser zu erledigen, und zwar speziell für eine heikle Art von Geheimnis, die als „Privileg des Beratungsprozesses" (deliberative process privilege) bezeichnet wird. Dies ist die Regel, die die interne Brainstorming-Arbeit der Regierung schützt (die chaotischen Entwürfe, die „Was-wäre-wenn"-Ideen und die privaten Meinungen), damit Beamte frei sprechen können, ohne Angst vor öffentlicher Kritik vor einer Entscheidung zu haben.
Hier ist, wie die Autoren versucht haben, diesen Roboter zu bauen:
1. Das Problem mit „Cloud"-Robotern
Die meisten Menschen denken daran, eine superintelligente, cloudbasierte KI (wie ein riesiges Gehirn in einem Rechenzentrum) dafür einzusetzen. Doch die Autoren sagen: „Moment mal!" Wenn die Regierung geheime Dokumente liest, kann sie diese Seiten nicht einfach an ein Dritt-Cloud-Unternehmen senden. Es ist, als würde man sein topgeheimes Tagebuch einem Fremden zur Beratung per Post schicken. Das ist rechtlich und politisch riskant.
Daher entschieden sich die Autoren, einen lokalen Roboter zu bauen. Sie verwendeten ein kleineres, quelloffenes KI-Modell (namens Qwen3.5 9B), das auf einem normalen Computer laufen kann, direkt innerhalb des eigenen sicheren Gebäudes der Regierung. Es ist, als hätte man einen privaten Tutor im Raum, anstatt einen Fremden anzurufen.
2. Den Roboter unterrichten: Der „Wie"-Leitfaden
Die Autoren fragten den Roboter nicht einfach: „Ist dieser Satz ein Geheimnis?" Sie versuchten acht verschiedene Arten, mit dem Roboter zu sprechen, um herauszufinden, welche Methode am besten funktioniert. Betrachten Sie diese als verschiedene Lehrstile:
- Zero-Shot: Einfach die Frage direkt stellen. „Ist das ein Geheimnis?" (Der Roboter muss basierend auf seinem vorhandenen Wissen raten).
- Few-Shot: Dem Roboter fünf Beispiele für Geheimnisse und fünf Beispiele für Nicht-Geheimnisse zu zeigen, bevor die Frage gestellt wird. „Hier sind einige Beispiele; jetzt versuchen Sie es selbst."
- Error-Based Few-Shot: Dem Roboter Beispiele für trickreiche Fälle zu zeigen, in denen er zuvor einen Fehler gemacht hat, damit er aus seinen Fehlern lernen kann.
- Chain-of-Thought (CoT): Den Roboter auffordern, „laut nachzudenken", bevor er antwortet. Anstatt nur „Ja" zu sagen, muss der Roboter sich zuerst fragen: „Wurde bereits eine endgültige Entscheidung getroffen? Handelt es sich hier nur um eine Meinung?" und dann antworten.
- Multi-Agent: Ein Team aus drei Robotern einzurichten. Einer rät, ein zweiter kritisiert die Vermutung, und ein dritter fungiert als Richter, falls sie sich uneinig sind.
3. Die Ergebnisse: Wer gewann das Rennen?
Die Autoren testeten diese Methoden gegen ältere, traditionelle Computerprogramme und eine bekannte kommerzielle KI (Gemini 2.5 Flash).
- Die „Laut-Nachdenken"-Strategie gewann: Die beste Methode für ihren lokalen Roboter war eine Kombination aus Chain-of-Thought (den Roboter seine Begründung erklären lassen) und Error-Based Few-Shot (ihm die trickreichen Fehler zu zeigen, die er zuvor gemacht hatte).
- Das Ziel: Bei dieser spezifischen Aufgabe ist es besser, „übermäßig vorsichtig" zu sein. Wenn der Roboter ein Geheimnis übersieht (ein „falsch Negativ"), gelangen sensible Informationen an die Öffentlichkeit. Wenn er jedoch zu viel überdeckt (ein „falsch Positiv"), ist das zwar ärgerlich, aber sicher. Die Autoren wollten, dass der Roboter alles einfängt (hohe „Recall"-Rate).
- Die Überraschung: Der lokale Roboter, der diese spezielle „Laut-Nachdenken"-Methode verwendete, schnitt fast genauso gut ab wie die riesige kommerzielle Cloud-KI. Das ist eine riesige Nachricht, denn dies bedeutet, dass Regierungen leistungsfähige KI nutzen können, ohne ihre Geheimnisse in die Cloud zu senden.
4. Was macht einen Satz zu einem „Geheimnis"?
Die Autoren untersuchten auch, warum der Roboter bestimmte Sätze als Geheimnisse entschied. Sie stellten fest, dass „beratende" Sätze (diejenigen, die geschwärzt werden müssen) einen spezifischen „Fingerabdruck" haben:
- Sie klingen wie Meinungen: Sie verwenden Wörter wie „ich denke", „wir schlagen vor", „wir könnten" oder „es wäre gut".
- Sie verwenden „Ich"-Pronomen: Viele „Ich", „wir" und „uns".
- Sie blicken in die Zukunft: Sie sprechen darüber, was passieren könnte, nicht darüber, was passiert ist.
Wenn ein Satz nur eine Tatsache ist („Die Sitzung fand um 14 Uhr statt"), weiß der Roboter, ihn in Ruhe zu lassen. Wenn es eine private Meinung ist („Ich denke, wir sollten ihn feuern"), weiß der Roboter, ihn zu überdecken.
Das Fazit
Der Artikel kommt zu dem Schluss, dass man keinen massiven, teuren, cloudbasierten Supercomputer benötigt, um der Regierung zu helfen, sensible Dokumente zu schwärzen. Eine kleinere, lokale KI kann, wenn sie darauf trainiert wird, „schrittweise zu denken" und aus ihren vergangenen Fehlern zu lernen, die Aufgabe fast genauso gut erledigen wie die großen Anbieter. Dies ermöglicht es Regierungen, ihre Daten sicher auf ihren eigenen Computern zu behalten und gleichzeitig moderne KI zu nutzen, um den Prozess der Informationsweitergabe an die Öffentlichkeit zu beschleunigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.