To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification

Resumen Técnico: ¿Redactar o no redactar? Un enfoque de LLM local para la clasificación del privilegio del proceso deliberativo

Enunciado del Problema
Las leyes de transparencia gubernamental, como la Ley de Libertad de Información (FOIA) en EE. UU./Reino Unido y la Wet open overheid (Woo) en los Países Bajos, otorgan a los ciudadanos el derecho de acceder a documentos gubernamentales. Sin embargo, estos documentos a menudo contienen información sensible (por ejemplo, datos personales, amenazas a la seguridad nacional o privilegio del proceso deliberativo) que debe ser redactada antes de su publicación. Actualmente, este proceso de redacción depende de una revisión manual, lo cual es lento, propenso a errores y un factor principal de retrasos en las respuestas gubernamentales.

Aunque investigaciones anteriores han explorado la clasificación automática de sensibilidad utilizando modelos tradicionales de aprendizaje automático (Regresión Logística, SVM, BERT), estos métodos enfrentan limitaciones significativas:

1. Problemas de Generalización: Los modelos entrenados en conjuntos de datos específicos a menudo no logran generalizar a datos fuera de distribución, como documentos de diferentes custodios de registros o revisores.
2. Falta de Explicabilidad: Los clasificadores tradicionales a menudo carecen de la capacidad de proporcionar explicaciones plausibles para sus predicciones, lo cual es crucial para los revisores humanos.
3. Soberanía de Datos: El procesamiento de documentos gubernamentales sensibles y no clasificados mediante APIs de nube de terceros (requeridas por muchos LLM comerciales grandes) es a menudo legal o políticamente insostenible para las agencias gubernamentales.

Metodología
Los autores proponen un enfoque de clasificación de sensibilidad utilizando Modelos de Lenguaje Grande (LLM) que pueden desplegarse localmente en hardware de nivel de consumidor para abordar las preocupaciones de soberanía de datos. El estudio se centra en la Exención 5 de la FOIA (Privilegio del Proceso Deliberativo), que protege registros pre-decisionales y deliberativos (por ejemplo, recomendaciones internas, opiniones sobre políticas) pero excluye opiniones finales o hechos establecidos.

• Conjunto de Datos: El estudio utiliza el corpus anotado a nivel de oración de Branting et al. [5], adaptado de Baron et al. [2]. Consiste en 4.502 oraciones de documentos de la Casa Blanca de Clinton (lotes K1, K2, K3, R4), etiquetadas como "Siempre Deliberativo" (AD) o "No-AD".
• Modelos: Se compararon dos modelos para representar diferentes escenarios de implementación:
  1. Modelo Local: Qwen3.5-9B (pesos abiertos), ejecutado en una sola GPU NVIDIA A10 de 24 GB.
  2. Modelo Comercial: Gemini 2.5 Flash (código cerrado), utilizado mediante API como proxy para sistemas de producción de alto rendimiento y bajo costo.
• Variantes de Prompting: Se probaron ocho estrategias de prompting distintas para optimizar el rendimiento de clasificación:
  1. Zero-Shot: Prompt básico sin ejemplos.
  2. Few-Shot: Proporcionar 5 ejemplos aleatorios de oraciones AD/No-AD.
  3. Few-Shot Basado en Errores: Proporcionar ejemplos extraídos específicamente de oraciones que el modelo zero-shot clasificó incorrectamente.
  4. Cadena de Pensamiento (CoT): Obligar al modelo a razonar a través de tres pasos: (1) ¿Es pre-decisional? (2) ¿Es deliberativo (opinión vs. hecho)? (3) Conclusión.
  5. CoT + Few-Shot Basado en Errores: Combinar el razonamiento con ejemplos difíciles.
  6. Multi-Agente (Votación Mayoritaria): Tres agentes votando sobre la clasificación.
  7. CoT + Multi-Agente: Roles explícitos de Predictor-Crítico-Juez.
  8. CoT + Few-Shot Basado en Errores + Multi-Agente: La combinación completa.
• Métricas de Evaluación: Precisión, Recall, F1, F2 (ponderado hacia el recall) y Coeficiente de Correlación de Matthew (MCC). Los autores enfatizan el Recall y el F2 como las métricas principales, argumentando que el costo de no redactar información sensible (falso negativo) es significativamente mayor que el de redactar en exceso (falso positivo).

Resultados Clave

• Rendimiento del Modelo Local: El modelo Qwen3.5-9B tuvo un rendimiento deficiente con una línea base simple zero-shot (Recall: 0.458). Sin embargo, el rendimiento mejoró significativamente con prompting avanzado. La variante CoT + Few-Shot Basado en Errores logró los mejores resultados para el modelo local, alcanzando un Recall de 0.800 y una puntuación F2 de 0.731. Esta variante superó a las líneas base de BERT, SVM y Regresión Logística de trabajos anteriores en términos de recall y F2.
• Rendimiento del Modelo Comercial: Gemini 2.5 Flash tuvo un buen rendimiento desde el principio con una línea base zero-shot (Recall: 0.808). Curiosamente, añadir técnicas de prompting complejas (few-shot, CoT, multi-agente) no mejoró consistentemente su rendimiento y a veces lo degradó, lo que sugiere que el modelo comercial ya posee un fuerte conocimiento paramétrico para esta tarea.
• Comparación: La variante local de mejor rendimiento (CoT + Few-Shot Basado en Errores) se acercó estrechamente al rendimiento de la mejor variante comercial en todas las métricas, demostrando que un modelo local pequeño puede rivalizar con una API comercial para esta tarea específica.
• Análisis de Lotes Difíciles: En el lote más difícil (K2), la variante CoT + Few-Shot Basado en Errores casi duplicó el recall en comparación con la línea base SVM (0.754 vs. 0.42 para el modelo local; 0.827 vs. 0.42 para el modelo comercial) mientras mantenía una precisión estable.
• Hallazgos de Multi-Agente: Las configuraciones de multi-agente generalmente resultaron en un recall más bajo para el modelo local. El análisis de desacuerdos entre agentes reveló que los agentes "Crítico" y "Juez" eran excesivamente conservadores, cambiando frecuentemente predicciones correctas de "deliberativo" a "no deliberativo", lo que perjudicaba el recall.

Análisis Sintáctico
Los autores analizaron oraciones en las que todas las variantes coincidieron en la clasificación para identificar marcadores lingüísticos de la deliberatividad:

• Verbos: Las oraciones deliberativas (easy-1) contenían significativamente más verbos modales (would, could, should) y verbos que expresan opinión (believe, propose, recommend, suggest) en comparación con las oraciones no deliberativas.
• Persona: Las oraciones deliberativas se formularon con mayor frecuencia en la primera persona (I, we, my).
• Combinación: La característica más distintiva de las oraciones deliberativas fue la co-ocurrencia de múltiples indicadores, específicamente la combinación de palabras en primera persona con verbos que expresan opinión. Las oraciones no deliberativas rara vez contenían múltiples indicadores únicos.

Significado y Afirmaciones
El artículo afirma que:

1. El Despliegue Local es Viable: Es posible lograr una clasificación de sensibilidad de alto rendimiento utilizando modelos pequeños de pesos abiertos (Qwen3.5-9B) desplegables en hardware de nivel de consumidor, abordando las restricciones legales y políticas de usar APIs en la nube para datos gubernamentales sensibles.
2. La Estrategia de Prompting Importa: Para los modelos locales, el prompting simple zero-shot es insuficiente. Se requiere una combinación de razonamiento de Cadena de Pensamiento y ejemplos few-shot basados en errores para lograr un rendimiento comparable a los modelos comerciales y las líneas base tradicionales.
3. El Recall es Primordial: En el contexto de la redacción de la FOIA, optimizar para el recall (capturar todo el contenido sensible) es más crítico que la precisión, y el método propuesto prioriza exitosamente esta métrica.
4. Indicadores Lingüísticos: El estudio valida que el privilegio del proceso deliberativo está fuertemente correlacionado con características sintácticas específicas (primera persona + verbos de opinión), que los LLM pueden aprovechar eficazmente cuando se guían mediante un prompting apropiado.

Los autores mantienen una postura modesta, señalando que el conjunto de datos se limita a custodios específicos y que la redacción en el mundo real a menudo requiere un contexto documental más amplio, lo cual no se utilizó plenamente en esta tarea a nivel de oración. Sin embargo, el enfoque ofrece una solución sin entrenamiento, explicable y soberana para la revisión automática de sensibilidad.