To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification

Riepilogo Tecnico: Oscurare, o non oscurare? Un approccio basato su LLM locali per la classificazione del privilegio del processo deliberativo

Enunciato del Problema
Le leggi sulla trasparenza governativa, come il Freedom of Information Act (FOIA) negli Stati Uniti/Regno Unito e la Wet open overheid (Woo) nei Paesi Bassi, concedono ai cittadini il diritto di accedere ai documenti governativi. Tuttavia, tali documenti contengono spesso informazioni sensibili (ad esempio, dati personali, minacce alla sicurezza nazionale o privilegio del processo deliberativo) che devono essere oscurate prima della pubblicazione. Attualmente, questo processo di oscuramento si basa su una revisione manuale, che è dispendiosa in termini di tempo, soggetta a errori e un fattore primario di ritardi nelle risposte governative.

Sebbene ricerche precedenti abbiano esplorato la classificazione automatica della sensibilità utilizzando modelli di machine learning tradizionali (Regressione Logistica, SVM, BERT), questi metodi presentano limitazioni significative:

1. Problemi di Generalizzazione: I modelli addestrati su dataset specifici spesso non riescono a generalizzare su dati fuori distribuzione, come documenti provenienti da diversi custodi di archivi o revisori.
2. Mancanza di Spiegabilità: I classificatori tradizionali spesso non possiedono la capacità di fornire spiegazioni plausibili per le loro previsioni, aspetto cruciale per i revisori umani.
3. Sovranità dei Dati: L'elaborazione di documenti governativi sensibili e non autorizzati tramite API cloud di terze parti (richieste da molti grandi LLM commerciali) è spesso giuridicamente o politicamente insostenibile per le agenzie governative.

Metodologia
Gli autori propongono un approccio di classificazione della sensibilità basato su Modelli Linguistici di Grande Dimensione (LLM) che possono essere distribuiti localmente su hardware di livello consumer per affrontare le preoccupazioni relative alla sovranità dei dati. Lo studio si concentra sul Privilegio del Processo Deliberativo (Esenzione 5 del FOIA), che protegge i record pre-decisionali e deliberativi (ad esempio, raccomandazioni interne, pareri sulle politiche) ma esclude pareri finali o fatti accertati.

• Dataset: Lo studio utilizza il corpus annotato a livello di frase di Branting et al. [5], adattato da Baron et al. [2]. È composto da 4.502 frasi provenienti da documenti della Casa Bianca di Clinton (lotti K1, K2, K3, R4), etichettate come "Sempre Deliberativo" (AD) o "Non-AD".
• Modelli: Sono stati confrontati due modelli per rappresentare diversi scenari di distribuzione:
  1. Modello Locale: Qwen3.5-9B (pesi aperti), eseguito su una singola GPU NVIDIA A10 da 24 GB.
  2. Modello Commerciale: Gemini 2.5 Flash (sorgente chiusa), utilizzato tramite API come proxy per sistemi di produzione ad alto throughput ed economicamente efficienti.
• Varianti di Prompting: Sono state testate otto strategie di prompting distinte per ottimizzare le prestazioni di classificazione:
  1. Zero-Shot: Prompt di base senza esempi.
  2. Few-Shot: Fornitura di 5 esempi casuali di frasi AD/Non-AD.
  3. Few-Shot Basato su Errori: Fornitura di esempi tratti specificamente da frasi che il modello zero-shot aveva classificato erroneamente.
  4. Chain-of-Thought (CoT): Costrizione del modello a ragionare attraverso tre passaggi: (1) È pre-decisionale? (2) È deliberativo (opinione vs. fatto)? (3) Conclusione.
  5. CoT + Few-Shot Basato su Errori: Combinazione di ragionamento ed esempi difficili.
  6. Multi-Agente (Voto di Maggioranza): Tre agenti che votano sulla classificazione.
  7. CoT + Multi-Agente: Ruoli espliciti di Predittore-Critico-Giudice.
  8. CoT + Few-Shot Basato su Errori + Multi-Agente: La combinazione completa.
• Metriche di Valutazione: Precisione, Recall, F1, F2 (ponderato verso la recall) e Coefficiente di Correlazione di Matthew (MCC). Gli autori enfatizzano la Recall e l'F2 come metriche principali, sostenendo che il costo del mancato oscuramento di informazioni sensibili (falso negativo) è significativamente superiore a quello dell'oscuramento eccessivo (falso positivo).

Risultati Chiave

• Prestazioni del Modello Locale: Il modello Qwen3.5-9B ha ottenuto scarsi risultati con una semplice baseline zero-shot (Recall: 0,458). Tuttavia, le prestazioni sono migliorate significativamente con prompting avanzato. La variante CoT + Few-Shot Basato su Errori ha ottenuto i migliori risultati per il modello locale, raggiungendo una Recall di 0,800 e un punteggio F2 di 0,731. Questa variante ha superato le baseline BERT, SVM e Regressione Logistica dei lavori precedenti in termini di recall e F2.
• Prestazioni del Modello Commerciale: Gemini 2.5 Flash ha ottenuto buoni risultati fin dall'inizio con una baseline zero-shot (Recall: 0,808). Interessantemente, l'aggiunta di tecniche di prompting complesse (few-shot, CoT, multi-agente) non ha migliorato costantemente le sue prestazioni e talvolta le ha peggiorate, suggerendo che il modello commerciale possiede già una forte conoscenza parametrica per questo compito.
• Confronto: La variante locale migliore (CoT + Few-Shot Basato su Errori) si è avvicinata da vicino alle prestazioni della migliore variante commerciale su tutte le metriche, dimostrando che un modello locale di piccole dimensioni può rivaleggiare con un'API commerciale per questo compito specifico.
• Analisi del Lotto Difficile: Sul lotto più difficile (K2), la variante CoT + Few-Shot Basato su Errori ha quasi raddoppiato la recall rispetto alla baseline SVM (0,754 contro 0,42 per il modello locale; 0,827 contro 0,42 per il modello commerciale) mantenendo una precisione stabile.
• Risultati Multi-Agente: Le configurazioni multi-agente hanno generalmente portato a una recall inferiore per il modello locale. L'analisi dei disaccordi tra gli agenti ha rivelato che gli agenti "Critico" e "Giudice" erano eccessivamente conservatori, modificando frequentemente previsioni corrette di "deliberativo" in "non deliberativo", danneggiando così la recall.

Analisi Sintattica
Gli autori hanno analizzato le frasi in cui tutte le varianti concordavano sulla classificazione per identificare i marcatori linguistici della deliberatività:

• Verbi: Le frasi deliberative (easy-1) contenevano significativamente più verbi modali (would, could, should) e verbi che esprimono opinione (believe, propose, recommend, suggest) rispetto alle frasi non deliberative.
• Persona: Le frasi deliberative erano formulate più frequentemente in prima persona (I, we, my).
• Combinazione: La caratteristica più distintiva delle frasi deliberative era la co-occorrenza di più indicatori, specificamente la combinazione di parole in prima persona con verbi che esprimono opinione. Le frasi non deliberative contenevano raramente più indicatori unici.

Significato e Affermazioni
Il paper afferma che:

1. La Distribuzione Locale è Fattibile: È possibile ottenere una classificazione della sensibilità ad alte prestazioni utilizzando modelli open-weight di piccole dimensioni (Qwen3.5-9B) distribuibili su hardware di livello consumer, affrontando i vincoli legali e politici dell'uso di API cloud per dati governativi sensibili.
2. La Strategia di Prompting è Determinante: Per i modelli locali, un semplice prompting zero-shot è insufficiente. È necessaria una combinazione di ragionamento Chain-of-Thought ed esempi few-shot basati su errori per ottenere prestazioni paragonabili ai modelli commerciali e alle baseline tradizionali.
3. La Recall è Primordiale: Nel contesto dell'oscuramento FOIA, l'ottimizzazione per la recall (catturare tutto il contenuto sensibile) è più critica della precisione, e il metodo proposto privilegia con successo questa metrica.
4. Indicatori Linguistici: Lo studio convalida che il privilegio del processo deliberativo è fortemente correlato a specifiche caratteristiche sintattiche (prima persona + verbi di opinione), che gli LLM possono sfruttare efficacemente quando guidati da un prompting appropriato.

Gli autori mantengono una posizione modesta, notando che il dataset è limitato a custodi specifici e che l'oscuramento nel mondo reale richiede spesso un contesto documentale più ampio, che non è stato pienamente sfruttato in questo compito a livello di frase. Tuttavia, l'approccio offre una soluzione senza addestramento, spiegabile e sovrana per la revisione automatica della sensibilità.