To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification

Technische Samenvatting: Redigeren of niet redigeren? Een lokale LLM-aanpak voor classificatie van het voorrecht van beraadslaging

Probleemstelling
Wetten inzake overheidstransparantie, zoals de Freedom of Information Act (FOIA) in de VS/VK en de Wet open overheid (Woo) in Nederland, verlenen burgers het recht om toegang te krijgen tot overheidsdocumenten. Deze documenten bevatten echter vaak gevoelige informatie (bijvoorbeeld persoonsgegevens, bedreigingen voor de nationale veiligheid of het voorrecht van beraadslaging) die voordat ze worden vrijgegeven, moeten worden geredigeerd. Momenteel rust dit redigeerproces op handmatige beoordeling, wat tijdrovend is, foutgevoelig en een belangrijke drijvende kracht achter vertragingen in overheidsreacties.

Hoewel eerder onderzoek automatische classificatie van gevoeligheid heeft onderzocht met traditionele machinelearning-modellen (Logistische Regressie, SVM, BERT), ondervinden deze methoden aanzienlijke beperkingen:

1. Generaliseringsproblemen: Modellen die zijn getraind op specifieke datasets, generaliseren vaak niet goed naar data buiten de verdeling, zoals documenten van verschillende bewaarders van dossiers of beoordelaars.
2. Gebrek aan verklaarbaarheid: Traditionele classifiers missen vaak het vermogen om plausibele verklaringen te geven voor hun voorspellingen, wat cruciaal is voor menselijke beoordelaars.
3. Data-soevereiniteit: Het verwerken van gevoelige, niet-geautoriseerde overheidsdocumenten via cloud-API's van derden (vereist door veel grote commerciële LLM's) is voor overheidsinstanties vaak juridisch of politiek onhoudbaar.

Methodologie
De auteurs stellen een aanpak voor gevoeligheidsclassificatie voor met behulp van Large Language Models (LLM's) die lokaal kunnen worden ingezet op hardware voor consumenten om zorgen over data-soevereiniteit aan te pakken. De studie richt zich op FOIA-vrijstelling 5 (voorrecht van beraadslaging), die voorafgaande aan een besluit genomen en beraadslagende dossiers beschermt (bijvoorbeeld interne aanbevelingen, beleidsmeningen), maar definitieve meningen of vaststaande feiten uitsluit.

• Dataset: De studie maakt gebruik van het op zinsniveau geannoteerde corpus van Branting et al. [5], aangepast van Baron et al. [2]. Het bestaat uit 4.502 zinnen uit documenten van het Witte Huis onder Clinton (batches K1, K2, K3, R4), gelabeld als ofwel "Altijd Beraadslagend" (AD) of "Niet-AD".
• Modellen: Twee modellen werden vergeleken om verschillende inzetscenario's te representeren:
  1. Lokaal Model: Qwen3.5-9B (open-weights), uitgevoerd op een enkele NVIDIA A10 GPU van 24 GB.
  2. Commercieel Model: Gemini 2.5 Flash (closed-source), gebruikt via API als proxy voor kostenefficiënte, hoogdoorvoerende productiesystemen.
• Varianten voor Prompting: Acht verschillende prompting-strategieën werden getest om de prestaties van de classificatie te optimaliseren:
  1. Zero-Shot: Basisprompt zonder voorbeelden.
  2. Few-Shot: Levering van 5 willekeurige voorbeelden van AD/Niet-AD-zinnen.
  3. Op fouten gebaseerde Few-Shot: Levering van voorbeelden die specifiek zijn ontleend aan zinnen die het zero-shot-model verkeerd classificeerde.
  4. Chain-of-Thought (CoT): Het model dwingen om in drie stappen te redeneren: (1) Is het voorafgaand aan een besluit? (2) Is het beraadslagend (mening versus feit)? (3) Conclusie.
  5. CoT + Op fouten gebaseerde Few-Shot: Combinatie van redenering met moeilijke voorbeelden.
  6. Multi-Agent (Meerderheidsstemming): Drie agenten die stemmen over de classificatie.
  7. CoT + Multi-Agent: Duidelijke rollen van Predictor-Critic-Judge.
  8. CoT + Op fouten gebaseerde Few-Shot + Multi-Agent: De volledige combinatie.
• Evaluatiemetingen: Precisie, Recall, F1, F2 (gewogen naar recall) en de correlatiecoëfficiënt van Matthew (MCC). De auteurs benadrukken Recall en F2 als primaire metrieken, met het argument dat de kosten van het niet redigeren van gevoelige informatie (false negative) aanzienlijk hoger zijn dan het te veel redigeren (false positive).

Belangrijkste Resultaten

• Prestaties Lokaal Model: Het Qwen3.5-9B-model presteerde slecht met een eenvoudige zero-shot-baseline (Recall: 0,458). De prestaties verbeterden echter aanzienlijk met geavanceerde prompting. De variant CoT + Op fouten gebaseerde Few-Shot behaalde de beste resultaten voor het lokale model, met een Recall van 0,800 en een F2-score van 0,731. Deze variant overtrof de BERT-, SVM- en Logistische Regressie-baselines uit eerder werk wat betreft recall en F2.
• Prestaties Commercieel Model: Gemini 2.5 Flash presteerde goed uit de doos met een zero-shot-baseline (Recall: 0,808). Interessant genoeg leidden het toevoegen van complexe prompting-technieken (few-shot, CoT, multi-agent) niet consequent tot verbetering van de prestaties en verslechterden ze deze soms, wat suggereert dat het commerciële model al sterke parametrische kennis bezit voor deze taak.
• Vergelijking: De best presterende lokale variant (CoT + Op fouten gebaseerde Few-Shot) benaderde de prestaties van de beste commerciële variant op alle metrieken nauwkeurig, wat aantoont dat een klein, lokaal model kan wedijveren met een commerciële API voor deze specifieke taak.
• Analyse van Moeilijke Batch: Op de moeilijkste batch (K2) verdubbelde de variant CoT + Op fouten gebaseerde Few-Shot de recall bijna ten opzichte van de SVM-baseline (0,754 versus 0,42 voor het lokale model; 0,827 versus 0,42 voor het commerciële model) terwijl de precisie stabiel bleef.
• Vondsten Multi-Agent: Multi-agent-opstellingen resulteerden over het algemeen in een lagere recall voor het lokale model. Analyse van meningsverschillen tussen agenten onthulde dat de "Critic" en "Judge" agenten te conservatief waren en correcte "beraadslagende" voorspellingen vaak veranderden in "niet-beraadslagend", waardoor de recall werd geschaad.

Syntactische Analyse
De auteurs analyseerden zinnen waarbij alle varianten het eens waren over de classificatie om taalkundige markers van beraadslaging te identificeren:

• Werkwoorden: Beraadslagende zinnen (easy-1) bevatten aanzienlijk meer modale werkwoorden (would, could, should) en werkwoorden die een mening tot uitdrukking brengen (believe, propose, recommend, suggest) in vergelijking met niet-beraadslagende zinnen.
• Persoon: Beraadslagende zinnen werden vaker geformuleerd in de eerste persoon (I, we, my).
• Combinatie: Het meest onderscheidende kenmerk van beraadslagende zinnen was het gelijktijdig voorkomen van meerdere indicatoren, specifiek de combinatie van woorden in de eerste persoon met werkwoorden die een mening uitdrukken. Niet-beraadslagende zinnen bevatten zelden meerdere unieke indicatoren.

Betekenis en Claims
Het artikel claimt dat:

1. Lokale Inzet Haalbaar is: Het mogelijk is om hoogwaardige gevoeligheidsclassificatie te bereiken met kleine, open-weight modellen (Qwen3.5-9B) die inzetbaar zijn op hardware voor consumenten, waarmee de juridische en politieke beperkingen van het gebruik van cloud-API's voor gevoelige overheidsdata worden aangepakt.
2. Prompting-strategie Belangrijk is: Voor lokale modellen is eenvoudige zero-shot prompting onvoldoende. Een combinatie van Chain-of-Thought-redenering en op fouten gebaseerde few-shot-voorbeelden is vereist om prestaties te bereiken die vergelijkbaar zijn met commerciële modellen en traditionele baselines.
3. Recall Bovenal Belangrijk is: In de context van FOIA-redactie is het optimaliseren voor recall (het vangen van alle gevoelige inhoud) belangrijker dan precisie, en de voorgestelde methode prioriteert deze metriek succesvol.
4. Taalkundige Indicatoren: De studie valideert dat het voorrecht van beraadslaging sterk correleert met specifieke syntactische kenmerken (eerste persoon + meningswerkwoorden), die LLM's effectief kunnen benutten wanneer ze worden geleid door adequate prompting.

De auteurs houden een bescheiden standpunt, met de opmerking dat de dataset beperkt is tot specifieke bewaarders en dat redactie in de echte wereld vaak een bredere documentcontext vereist, wat in deze taak op zinsniveau niet volledig werd benut. De aanpak biedt echter een trainingsvrije, verklaarbare en soevereine oplossing voor geautomatiseerde beoordeling van gevoeligheid.