To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification

Resumo Técnico: Redigir ou não Redigir? Uma Abordagem com LLM Local para Classificação do Privilégio do Processo Deliberativo

Declaração do Problema
Leis de transparência governamental, como a Lei de Liberdade de Informação (FOIA) nos EUA/Reino Unido e a Wet open overheid (Woo) na Holanda, concedem aos cidadãos o direito de acessar documentos governamentais. No entanto, esses documentos frequentemente contêm informações sensíveis (por exemplo, dados pessoais, ameaças à segurança nacional ou privilégio do processo deliberativo) que devem ser redigidas antes da divulgação. Atualmente, esse processo de redação depende de revisão manual, que é demorada, propensa a erros e um dos principais fatores de atraso nas respostas governamentais.

Embora pesquisas anteriores tenham explorado a classificação automática de sensibilidade utilizando modelos tradicionais de aprendizado de máquina (Regressão Logística, SVM, BERT), esses métodos enfrentam limitações significativas:

1. Problemas de Generalização: Modelos treinados em conjuntos de dados específicos frequentemente falham ao generalizar para dados fora da distribuição, como documentos de diferentes guardiões de registros ou revisores.
2. Falta de Explicabilidade: Classificadores tradicionais frequentemente carecem da capacidade de fornecer explicações plausíveis para suas previsões, o que é crucial para revisores humanos.
3. Soberania de Dados: O processamento de documentos governamentais sensíveis e não classificados por meio de APIs de nuvem de terceiros (requeridas por muitos grandes LLMs comerciais) é frequentemente legal ou politicamente insustentável para agências governamentais.

Metodologia
Os autores propõem uma abordagem de classificação de sensibilidade utilizando Modelos de Linguagem de Grande Porte (LLMs) que podem ser implantados localmente em hardware de nível de consumidor para abordar preocupações de soberania de dados. O estudo foca na Exceção 5 da FOIA (Privilégio do Processo Deliberativo), que protege registros pré-decisionais e deliberativos (por exemplo, recomendações internas, opiniões sobre políticas), mas exclui opiniões finais ou fatos estabelecidos.

• Conjunto de Dados: O estudo utiliza o corpus anotado ao nível de frase por Branting et al. [5], adaptado de Baron et al. [2]. Consiste em 4.502 frases de documentos da Casa Branca de Clinton (lotes K1, K2, K3, R4), rotuladas como "Sempre Deliberativo" (AD) ou "Não-AD".
• Modelos: Dois modelos foram comparados para representar diferentes cenários de implantação:
  1. Modelo Local: Qwen3.5-9B (pesos abertos), executado em uma única GPU NVIDIA A10 de 24GB.
  2. Modelo Comercial: Gemini 2.5 Flash (código fechado), utilizado via API como proxy para sistemas de produção de alto rendimento e custo eficiente.
• Variantes de Prompting: Oito estratégias de prompting distintas foram testadas para otimizar o desempenho de classificação:
  1. Zero-Shot: Prompt básico sem exemplos.
  2. Few-Shot: Fornecimento de 5 exemplos aleatórios de frases AD/Não-AD.
  3. Few-Shot Baseado em Erros: Fornecimento de exemplos extraídos especificamente de frases que o modelo zero-shot classificou erroneamente.
  4. Cadeia de Pensamento (CoT): Forçar o modelo a raciocinar através de três etapas: (1) É pré-decisional? (2) É deliberativo (opinião vs. fato)? (3) Conclusão.
  5. CoT + Few-Shot Baseado em Erros: Combinando raciocínio com exemplos difíceis.
  6. Multi-Agente (Votação Majoritária): Três agentes votando na classificação.
  7. CoT + Multi-Agente: Papéis explícitos de Preditor-Crítico-Juiz.
  8. CoT + Few-Shot Baseado em Erros + Multi-Agente: A combinação completa.
• Métricas de Avaliação: Precisão, Revocação (Recall), F1, F2 (ponderado para revocação) e Coeficiente de Correlação de Matthew (MCC). Os autores enfatizam a Revocação e o F2 como métricas primárias, argumentando que o custo de falhar em redigir informações sensíveis (falso negativo) é significativamente maior do que redigir em excesso (falso positivo).

Resultados Principais

• Desempenho do Modelo Local: O modelo Qwen3.5-9B performou mal com uma linha de base simples zero-shot (Revocação: 0,458). No entanto, o desempenho melhorou significativamente com prompting avançado. A variante CoT + Few-Shot Baseado em Erros alcançou os melhores resultados para o modelo local, atingindo uma Revocação de 0,800 e uma pontuação F2 de 0,731. Essa variante superou as linhas de base BERT, SVM e Regressão Logística de trabalhos anteriores em termos de revocação e F2.
• Desempenho do Modelo Comercial: O Gemini 2.5 Flash performou bem "out-of-the-box" com uma linha de base zero-shot (Revocação: 0,808). Curiosamente, adicionar técnicas de prompting complexas (few-shot, CoT, multi-agente) não melhorou consistentemente seu desempenho e, às vezes, o degradou, sugerindo que o modelo comercial já possui conhecimento paramétrico forte para essa tarefa.
• Comparação: A variante local de melhor desempenho (CoT + Few-Shot Baseado em Erros) aproximou-se estreitamente do desempenho da melhor variante comercial em todas as métricas, demonstrando que um modelo local pequeno pode rivalizar com uma API comercial para essa tarefa específica.
• Análise de Lotes Difíceis: No lote mais difícil (K2), a variante CoT + Few-Shot Baseado em Erros quase dobrou a revocação em comparação com a linha de base SVM (0,754 vs. 0,42 para o modelo local; 0,827 vs. 0,42 para o modelo comercial), mantendo uma precisão estável.
• Descobertas sobre Multi-Agente: Configurações multi-agente geralmente resultaram em revocação mais baixa para o modelo local. A análise de discordâncias entre agentes revelou que os agentes "Crítico" e "Juiz" eram excessivamente conservadores, alterando frequentemente previsões corretas de "deliberativo" para "não deliberativo", prejudicando assim a revocação.

Análise Sintática
Os autores analisaram frases em que todas as variantes concordaram na classificação para identificar marcadores linguísticos de deliberatividade:

• Verbos: Frases deliberativas (easy-1) continham significativamente mais verbos modais (would, could, should) e verbos que expressam opinião (believe, propose, recommend, suggest) em comparação com frases não deliberativas.
• Pessoa: Frases deliberativas foram mais frequentemente formuladas na primeira pessoa (I, we, my).
• Combinação: A característica mais distinta de frases deliberativas foi a co-ocorrência de múltiplos indicadores, especificamente a combinação de palavras em primeira pessoa com verbos que expressam opinião. Frases não deliberativas raramente continham múltiplos indicadores únicos.

Significado e Alegações
O artigo alega que:

1. Implantação Local é Viável: É possível alcançar classificação de sensibilidade de alto desempenho usando modelos pequenos e de pesos abertos (Qwen3.5-9B) implantáveis em hardware de nível de consumidor, abordando as restrições legais e políticas do uso de APIs em nuvem para dados governamentais sensíveis.
2. Estratégia de Prompting Importa: Para modelos locais, o prompting simples zero-shot é insuficiente. Uma combinação de raciocínio em Cadeia de Pensamento e exemplos few-shot baseados em erros é necessária para alcançar desempenho comparável ao de modelos comerciais e bases tradicionais.
3. Revocação é Paramount: No contexto da redação de FOIA, otimizar para revocação (capturar todo o conteúdo sensível) é mais crítico do que a precisão, e o método proposto prioriza com sucesso essa métrica.
4. Indicadores Linguísticos: O estudo valida que o privilégio do processo deliberativo está fortemente correlacionado com características sintáticas específicas (primeira pessoa + verbos de opinião), que os LLMs podem aproveitar efetivamente quando guiados por prompting apropriado.

Os autores mantêm uma postura modesta, observando que o conjunto de dados é limitado a guardiões específicos e que a redação do mundo real frequentemente requer contexto documental mais amplo, o que não foi totalmente utilizado nesta tarefa ao nível de frase. No entanto, a abordagem oferece uma solução sem treinamento, explicável e soberana para revisão automática de sensibilidade.