To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification

기술 요약: 삭제할 것인가, 말 것인가? deliberative process privilege 분류를 위한 로컬 LLM 접근법

문제 제기
미국/영국의 정보공개법 (FOIA) 과 네덜란드의 Wet open overheid(Woo) 과 같은 정부 투명성 법률은 시민들에게 정부 문서에 접근할 권리를 부여합니다. 그러나 이러한 문서에는 공개 전에 삭제 (redaction) 되어야 하는 민감한 정보 (예: 개인 데이터, 국가 안보 위협, 또는 deliberative process privilege) 가 종종 포함되어 있습니다. 현재 이 삭제 과정은 수동 검토에 의존하고 있어 시간이 많이 소요되고 오류가 발생하기 쉬우며, 정부 응답 지연의 주요 원인이 되고 있습니다.

이전 연구는 전통적인 머신러닝 모델 (로지스틱 회귀, SVM, BERT) 을 사용한 자동 민감도 분류를 탐구해 왔으나, 이러한 방법들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 일반화 문제: 특정 데이터셋으로 훈련된 모델은 다른 기록 관리자나 검토자로부터의 문서와 같은 분포 밖 (out-of-distribution) 데이터로 일반화되지 못하는 경우가 많습니다.
2. 설명 가능성 부족: 전통적인 분류기는 종종 예측에 대한 타당한 설명을 제공하는 능력이 부족하여, 이는 인간 검토자에게 매우 중요합니다.
3. 데이터 주권: 많은 대규모 상업적 LLM 에서 요구하는 제 3 자 클라우드 API 를 통해 민감하고 승인되지 않은 정부 문서를 처리하는 것은 정부 기관에게 종종 법적 또는 정치적으로 수용 불가능합니다.

방법론
저자들은 데이터 주권 문제를 해결하기 위해 소비자 등급 하드웨어에서 로컬로 배포될 수 있는 대규모 언어 모델 (LLM) 을 사용한 민감도 분류 접근법을 제안합니다. 본 연구는 사전 결정 및 심의 기록 (예: 내부 권고, 정책 의견) 을 보호하지만 최종 의견이나 확립된 사실은 제외하는 **FOIA 면제 5 조 (Deliberative Process Privilege)**에 초점을 맞춥니다.

• 데이터셋: 본 연구는 Baron 등 [2] 의 것을 적응시킨 Branting 등 [5] 의 문장 단위 주석 코퍼스를 활용합니다. 이는 클린턴 백악관 문서 (배치 K1, K2, K3, R4) 의 4,502 개 문장으로 구성되어 있으며, "항상 심의적 (Always Deliberative, AD)" 또는 "비-AD"로 레이블링되어 있습니다.
• 모델: 서로 다른 배포 시나리오를 대표하기 위해 두 가지 모델을 비교했습니다:
  1. 로컬 모델: Qwen3.5-9B (오픈 가중치), 단일 24GB NVIDIA A10 GPU 에서 실행.
  2. 상업적 모델: Gemini 2.5 Flash (클로즈드 소스), 비용 효율적이고 고처리량 생산 시스템을 위한 프록시로서 API 를 통해 사용.
• 프롬프트 변형: 분류 성능을 최적화하기 위해 8 가지 고유한 프롬프트 전략을 테스트했습니다:
  1. Zero-Shot: 예제 없이 기본 프롬프트.
  2. Few-Shot: AD/비-AD 문장의 5 개 무작위 예제 제공.
  3. 오류 기반 Few-Shot: Zero-shot 모델이 잘못 분류한 문장에서 특별히 추출된 예제 제공.
  4. Chain-of-Thought (CoT): 모델이 (1) 사전 결정적인가? (2) 심의적인가 (의견 vs 사실)? (3) 결론.라는 세 단계를 통해 추론하도록 강제.
  5. CoT + 오류 기반 Few-Shot: 추론과 어려운 예제 결합.
  6. Multi-Agent (다수결): 분류에 대해 투표하는 세 개의 에이전트.
  7. CoT + Multi-Agent: 명시적인 예측자 - 비평가 - 판정자 역할.
  8. CoT + 오류 기반 Few-Shot + Multi-Agent: 전체 결합.
• 평가 지표: 정밀도 (Precision), 재현율 (Recall), F1, 재현율에 가중치를 둔 F2, 그리고 Matthew 상관 계수 (MCC). 저자들은 민감한 정보를 삭제하지 못해 발생하는 비용 (위음성) 이 과도하게 삭제하는 비용 (위양성) 보다 훨씬 높다고 주장하며, 재현율과 F2를 주요 지표로 강조합니다.

주요 결과

• 로컬 모델 성능: Qwen3.5-9B 모델은 단순한 zero-shot 베이스라인에서 성능이 저조했습니다 (재현율: 0.458). 그러나 고급 프롬프팅을 통해 성능이 크게 향상되었습니다. CoT + 오류 기반 Few-Shot 변형이 로컬 모델에서 가장 좋은 결과를 달성하여 재현율 0.800과 F2 점수 0.731을 기록했습니다. 이 변형은 재현율과 F2 측면에서 이전 연구의 BERT, SVM, 로지스틱 회귀 베이스라인을 능가했습니다.
• 상업적 모델 성능: Gemini 2.5 Flash 는 zero-shot 베이스라인으로 바로 좋은 성능을 보였습니다 (재현율: 0.808). 흥미롭게도 복잡한 프롬프트 기법 (few-shot, CoT, multi-agent) 을 추가하는 것이 일관되게 성능을 향상시키지 못했고 때로는 저하시켰으며, 이는 상업적 모델이 이미 이 작업에 대해 강력한 매개변수 지식을 보유하고 있음을 시사합니다.
• 비교: 가장 성능이 뛰어난 로컬 변형 (CoT + 오류 기반 Few-Shot) 은 모든 지표에서 가장 우수한 상업적 변형의 성능에 근접하여, 소형 로컬 모델이 이 특정 작업에 대해 상업적 API 와 경쟁할 수 있음을 입증했습니다.
• 어려운 배치 분석: 가장 어려운 배치 (K2) 에서 CoT + 오류 기반 Few-Shot 변형은 SVM 베이스라인 대비 재현율을 거의 두 배로 늘렸습니다 (로컬 모델: 0.754 대 0.42; 상업적 모델: 0.827 대 0.42) while 정밀도는 안정적으로 유지했습니다.
• Multi-Agent 발견: Multi-agent 설정은 일반적으로 로컬 모델의 재현율을 낮추는 결과를 낳았습니다. 에이전트 간 불일치 분석 결과, "비평가 (Critic)"와 "판정자 (Judge)" 에이전트가 지나치게 보수적이어서 자주 올바른 "심의적" 예측을 "비-심의적"으로 변경함으로써 재현율을 해쳤음이 드러났습니다.

구문 분석
저자들은 모든 변형이 분류에 동의한 문장을 분석하여 심의성의 언어적 표지를 식별했습니다:

• 동사: 심의적 문장 (easy-1) 은 비-심의적 문장에 비해 모달 동사 (would, could, should) 와 의견을 표현하는 동사 (believe, propose, recommend, suggest) 를 훨씬 더 많이 포함했습니다.
• 인칭: 심의적 문장은 1 인칭 (I, we, my) 으로 표현되는 경우가 더 빈번했습니다.
• 결합: 심의적 문장의 가장 뚜렷한 특징은 여러 지표의 공존, 특히 1 인칭 단어와 의견을 표현하는 동사의 결합이었습니다. 비-심의적 문장은 드물게 여러 고유한 지표를 포함했습니다.

의의 및 주장
본 논문은 다음과 같이 주장합니다:

1. 로컬 배포의 타당성: 소비자 등급 하드웨어에 배포 가능한 소형 오픈 가중치 모델 (Qwen3.5-9B) 을 사용하여 고성능 민감도 분류를 달성하는 것이 가능하며, 민감한 정부 데이터에 대한 클라우드 API 사용의 법적 및 정치적 제약을 해결할 수 있습니다.
2. 프롬프트 전략의 중요성: 로컬 모델의 경우 단순한 zero-shot 프롬프팅만으로는 부족합니다. 상업적 모델 및 전통적 베이스라인과 비교 가능한 성능을 달성하려면 Chain-of-Thought 추론과 오류 기반 few-shot 예제의 결합이 필요합니다.
3. 재현율의 최우선성: FOIA 삭제 맥락에서 정밀도보다 모든 민감한 콘텐츠를 포착하는 재현율 최적화가 더 중요하며, 제안된 방법은 이 지표를 성공적으로 우선시합니다.
4. 언어적 지표: 본 연구는 deliberative process privilege 가 특정 구문적 특징 (1 인칭 + 의견 동사) 과 강력하게 상관관계가 있음을 검증했으며, LLM 이 적절한 프롬프트로 안내될 때 이를 효과적으로 활용할 수 있음을 보여줍니다.

저자들은 데이터셋이 특정 관리자에 국한되어 있으며, 실제 세계의 삭제는 이 문장 단위 작업에서 완전히 활용되지 않았던 더 넓은 문서 맥락을 필요로 한다는 점을 지적하며 겸손한 입장을 유지합니다. 그러나 이 접근법은 훈련이 불필요하고, 설명 가능하며, 주권을 보장하는 자동화된 민감도 검토를 위한 솔루션을 제공합니다.