Privacy-Aware Predictions in Participatory Budgeting

기술 요약: 참여 예산제에서의 프라이버시 인지적 예측

문제 정의
참여 예산제(Participatory Budgeting, PB)는 시민들이 공공 투자 프로젝트를 제안하고 투표하는 민주적 과정이다. 계산 사회 선택(computational social choice) 연구는 주로 투표 단계(예: 선정 규칙 설계)를 최적화하는 데 집중해 왔으나, 조직자들이 투표 전 방대한 양의 제안을 요약(shortlist)해야 하는 '통합 단계(consolidation phase)'는 여전히 불투명하며, 명확한 목표 없이 수동적인 위원회 결정에 의존하는 경우가 많다. 이 단계는 텍스트 데이터(프로젝트 제목 및 설명)의 높은 볼륨으로 인해 상당한 확장성 문제를 야기한다. 또한, 이 분야의 기존 AI 접근 방식은 종종 투표자의 인구 통계나 개인 식별 정보(PII)를 활용하여 "투표자 페르소나"를 생성하는데, 이는 프라이버시 문제를 제기하며 데이터가 없거나 법적으로 제한된 환경에서의 적용 가능성을 제한한다.

방법론
저자들은 오직 공개적으로 사용 가능한 데이터인 프로젝트 텍스트 설명과 익명의 과거 투표 기록만을 사용하여 프로젝트의 성공(득표수로 측정됨)을 예측하는 프라이버시 보존 프레임워크를 제안한다. 본 연구는 유럽 도시들의 두 가지 다년도 데이터셋을 활용한다: 프랑스 툴루즈(2022년 및 2024년 캠페인)와 폴란드 브로츠와프(2016년 및 2017년 캠페인). 이 데이터셋들은 Pabulib.org 저장소의 투표 데이터와 시청 웹사이트에서 스크래핑한 프로젝트 설명을 병합하여 구축되었다.

방법론은 두 가지 구별된 접근 방식을 비교한다:

1. 고전적 머신러닝 (ML):

   • 모델: ElasticNet(회귀) 및 XGBoost(랜덤 포레스트).
   • 특징(Features): 표 형식 데이터(구역, 카테고리, 비용)와 세 가지 텍스트 전처리 전략(TF-IDF, Sentence-BERT(SBERT), BGE-M3)의 결합.
   • 훈련/평가: 각 도시의 가장 초기 가용 캠페인에서 모델을 훈련시키고, 가장 최근의 캠페인에서 평가하였다. 차원 축소를 위해 주성분 분석(PCA)을 적용하였다.
   • 베이스라인: 텍스트 없이 표 형식 데이터만으로 훈련된 "No-Text" 구성.

2. 대규모 언어 모델 (LLM):

   • 모델: GPT-4 Turbo 및 Llama 3.3 70B.
   • 프롬프팅 전략: 점진적으로 더 풍부한 맥락을 제공하기 위해 세 가지 변형을 테스트하였다:
     • Zero-Shot: 제공되는 과거 데이터 없음.
     • Full Context: 이전 프로젝트 목록(제목, 카테고리, 비용, 구역, 득표수)을 제공하되, 컨텍스트 윈도우 제한으로 인해 텍스트 설명은 제외함.
     • 검색 증강 생성 (RAG): 대상 프로젝트와 함께, 코사인 유사도(cosine similarity)를 기반으로 역사적 데이터셋에서 가장 의미론적으로 유사한 상위 20%의 프로젝트들을 포함한 전체 설명을 모델에 전달함.
   • 프라이버시 보호 조치: 저자들은 LLM이 테스트 캠페인의 특정 투표 결과나 전체 프로젝트 설명에 사전에 노출되지 않았음을 확인하여, 예측이 암기된 훈련 데이터에 기반하지 않도록 보장하였다.

주요 기여

• 데이터셋: 투표 결과와 풍부한 텍스트 설명을 결합한 툴루즈와 브로츠와프의 두 가지 다년도 PB 데이터셋을 구축 및 공개함.
• 프라이버시 보존 예측: 투표자의 인구 통계나 PII를 사용하지 않고, 오직 공개된 프로젝트 데이터와 과거 선거 결과만을 사용하여 정확한 프로젝트 순위 산정이 가능함을 입증함.
• 비교 분석: 프로젝트 득표수 및 서수적 순위(ordinal ranking)를 예측하기 위한 고전적 ML 모델과 LLM 프롬프팅 전략(Zero-shot, Full Context, RAG)에 대한 체계적인 평가.
• 요약(Shortlisting) 유용성: 단순한 정확한 득표수 예측이 아닌, "상위 k개 프로젝트를 식별하는 작업(탐욕적 선정 규칙을 통과할 가능성이 높은 프로젝트 식별)"에 대한 예측 성능 분석.

결과

• 베이스라인 대비 성능: 제안된 모든 모델은 무작위 베이스라인(Impartial Culture)을 유의미하게 능가하였다.
• 서수적 순위 vs. 정확한 수치: LLM은 정확한 득표수(Mean Absolute Error)를 예측하는 것보다 프로젝트의 서수적 순위(Kendall's $\tau$)를 예측하는 데 더 높은 정확도를 보였다.
• LLM vs. ML: RAG를 포함한 LLM 기반 접근 방식은 클래식 ML 모델의 최고 성능과 대등하거나 때로는 이를 능가하는 성능을 달acia.
  • 툴루즈의 경우, GPT-4 Turbo (RAG)는 0.35의 Kendall's $\tau$를 달성하여 최적의 ElasticNet 변형(0.36)과 대등한 성능을 보였다.
  • 브로츠와프의 경우, Llama 3.3 (RAG)은 0.51의 $\tau$를 달성하여 최적의 XGBoost 변형(0.44)을 능가하였다.
• 맥락의 중요성: Zero-shot 프롬프트는 성능이 저조하였으며, 이는 특정 역사적 데이터 없이는 도시의 사전 지식만으로는 불충분함을 확인시켜 주었다. RAG는 LLM 전략 중 가장 안정적이고 정확한 결과를 일관되게 보여주었다.
• 요약 효율성: 예측된 상위 30%의 프로젝트와 실제 선정된 프로젝트 간의 중첩(Jaccard 지수 사용)을 평가했을 때, 모델들은 상당한 유용성을 보였다. 브로츠와프의 경우, LLM RAG 변형은 0.5에 가까운 Jaccard 지수에 도달하여 탐욕적 선정 규칙을 통과할 프로젝트들과 강력한 일치성을 보였다.
• 데이터 효율성: 텍스트 설명을 포함하는 것이 무작위 베이스라인 및 표 형식 전용 모델보다 우수한 성능을 내는 데 필수적이었다.

의의 및 주장
본 논문은 자사의 방법론이 통합 단계에서 방대한 양의 제안을 관리해야 하는 PB 조직자들에게 실질적이고 프라이버시를 고려한 지원 도구를 제공한다고 주장한다. 공개적으로 사용 가능한 데이터에만 의존함으로써, 이 접근 방식은 신뢰를 구축하고 참여를 독려한다.

저자들은 본 도구가 조직자를 대체하는 것이 아니라 '보조'하기 위해 설계되었음을 강조한다. 그들은 LLM이 기술적 설정(예: RAG 구현) 없이 "즉시 사용 가능한(out-of-the-box)" 요약 도구로 사용되어서는 안 되며, 출력물은 인간의 검토를 위한 초기 순위로서 기능해야 한다고 명시한다. 또한, 본 연구는 동일한 도시의 역사적 선거 데이터가 예측을 위한 인구 통계 입력값을 효과적으로 대체할 수 있음을 보여줌으로써, 기존의 "투표자 페르소나" 연구의 핵심 한계를 해결한다.

마지막으로, 저자들은 프로젝트 설명의 전략적 조작 가능성, LLM의 "블랙박스" 특성, 그리고 비용 편향(높은 비용의 프로젝트가 선호되는 현상)의 위험성을 포함한 한계점을 인정한다. 그들은 이 접근 방식이 디지털 민주주의에서 유망한 가능성을 보여주지만, 추가적인 정밀 검토가 필요하며 인간이 개입하는(human-in-the-loop) AI 보조 프로세스의 일부로 배치되어야 한다고 결론짓는다.