The GDN-CC Dataset: Automatic Corpus Clarification for AI-enhanced Democratic Citizen Consultations

1. 문제 정의 (Problem)

대규모 민주적 시민 협의 (Citizen Consultations) 는 온라인 플랫폼을 통해 수만 건의 시민 의견을 수집하지만, 이를 분석하는 데에는 다음과 같은 심각한 어려움이 존재합니다.

• 데이터의 노이즈와 비구조화: 시민들이 작성한 의견은 여러 주제를 혼재하고, 사실, 비판, 제안, 감정 등이 뒤섞여 있으며, 문법적 오류나 불명확한 표현이 많습니다.
• LLM 의 윤리적 및 실용적 한계: 대규모 언어 모델 (LLM) 은 텍스트 분석에 유용하지만, 민주적 의사결정 과정에 적용할 때 다음과 같은 문제가 제기됩니다.
  • 투명성 부족: 폐쇄형 (Proprietary) 대형 LLM 은 의사결정 과정이 불투명하고 인간의 감독이 어렵습니다.
  • 편향성: 모델이 서구 중심의 가치관을 반영하거나 사회적 편향을 가질 수 있습니다.
  • 과도한 의존성: 민주적 인프라가 민간 기업의 폐쇄형 모델에 의존하게 되는 위험이 있습니다.
• 기존 연구의 한계: 기존 연구는 소규모 실험에 국한되거나, 대규모 데이터를 처리할 때 다시 한번 대형 LLM 에 의존하여 투명성을 희생하는 경향이 있습니다.

2. 방법론 (Methodology)

이 논문은 "코퍼스 명확화 (Corpus Clarification)" 라는 새로운 전처리 프레임워크를 제안하며, 이를 통해 노이즈가 많은 시민 의견을 구조화되고 분석 가능한 단위로 변환합니다. 이 과정은 세 가지 단계로 구성됩니다.

1. 논증 단위 (Argumentative Unit, AU) 추출:
   • 하나의 기여 (Contribution) 텍스트 내에서 서로 다른 주제나 논점을 식별하여 분리합니다.
   • 텍스트의 연속된 부분뿐만 아니라, 비연속적인 (non-contiguous) 문장들을 하나의 논리적 단위로 묶습니다.
2. 논증 구조 (Argumentative Structure, AS) 감지:
   • 추출된 각 논증 단위 내에서 세 가지 역할을 분류합니다.
     • 진술 (Statement): 의견, 감정, 관찰 표현.
     • 해결책 (Solution): 정책 제안이나 행동 제안.
     • 전제 (Premise): 진술이나 해결책을 지지하는 근거, 예시, 사실.
3. 논증 단위 명확화 (AU Clarification):
   • 추출된 단위를 문맥에 독립적으로 이해할 수 있도록 재작성합니다.
   • 원본 텍스트에 없는 정보를 추가하지 않으면서, 문법 오류를 수정하고 불필요한 맥락을 제거하여 명확하고 자기 완결적인 (self-sufficient) 문장으로 변환합니다.

데이터셋 구축 및 모델 평가:

• GDN-CC (Manually Curated): 프랑스의 '그랑드 디바트 내셔널 (Grand Débat National, 2019)'에서 수집된 1,231 개의 기여를 전문가들이 수동으로 주석 (Segmentation, Structure Detection, Clarification) 한 데이터셋입니다. (총 2,285 개의 논증 단위 포함)
• SLM (Small Language Models) 활용: 대규모 폐쇄형 모델 대신, 로컬에서 실행 가능한 오픈 가중치 SLM(≤10B 파라미터) 을 미세 조정 (Finetuning) 하여 위 세 가지 태스크를 수행하도록 훈련시켰습니다.
• 자동화 확장: 미세 조정된 SLM 을 사용하여 전체 24 만 건의 기여를 자동으로 주석한 GDN-CC-large 데이터셋을 생성했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 태스크 정의: 민주적 협의 데이터를 분석하기 위한 '코퍼스 명확화 (Corpus Clarification)' 태스크를 정의하고, 이를 위한 3 단계 파이프라인을 제시했습니다.
2. 대규모 오픈 데이터셋 공개:
   • GDN-CC: 1,231 개의 수동 주석된 프랑스어 시민 의견 데이터셋.
   • GDN-CC-large: 24 만 건의 기여와 30 만 개의 논증 단위로 구성된 자동 주석 데이터셋. 이는 현재까지 공개된 가장 큰 민주적 협의 데이터셋이며, 프랑스어로는 유일한 것입니다.
3. SLM 의 유효성 입증: 대형 LLM(GPT-4.1 등) 에 비해 파라미터 수가 적은 오픈 소스 SLM(Qwen-7B, Gemma-9B 등) 을 미세 조정하면, 논증 구조 감지 및 명확화 태스크에서 동등하거나 더 나은 성능을 발휘함을 증명했습니다.
4. 다운스트림 태스크 성능 향상: 명확화된 텍스트를 사용하여 의견 클러스터링 (Opinion Clustering) 을 수행했을 때, 원본 텍스트를 사용한 경우보다 군집의 일관성과 질이 크게 향상됨을 실험적으로 보였습니다.

4. 실험 결과 (Results)

• 주석 품질 (Inter-annotator Agreement):
  • 논증 단위 추출 (AU Extraction) 에서 WindowDiff 점수 0.080.09, 토큰 오버랩 F1 0.720.77 로 높은 주석자 간 일치를 보였습니다.
  • 논증 구조 감지 (AS Detection) 에서 '해결책 (Solution)' 클래스의 F1 점수가 0.80 으로 가장 높았으며, '진술'과 '전제'는 혼동이 있었으나 (F1 0.52~0.61), 이를 통합하면 0.78 로 향상되었습니다.
• 모델 성능 비교:
  • AU 추출 및 구조 감지: 미세 조정된 SLM(특히 Gemma-2-9B, Qwen-7B) 은 GPT-4.1 과 유사하거나 더 높은 성능 (Macro-F1 0.76~0.79) 을 기록했습니다.
  • 명확화 (Clarification): 미세 조정된 SLM 은 BERTScore 와 ROUGE-L 모두에서 GPT-4.1 을 능가하거나 동급의 성능을 보였습니다. 특히, SLM 은 대형 LLM 이 자주 범하는 '과도한 분석 (Over-analysis, 원문에 없는 근거를 추가하는 오류)' 을 크게 줄였습니다 (GPT-4.1: 19% → 미세 조정 Gemma: 2%).
• 클러스터링 효과:
  • 명확화된 텍스트로 생성된 군집은 실루엣 점수 (Silhouette Score) 가 0.46 에서 0.59 로 향상되었고, Davies-Bouldin 점수는 0.48 에서 0.46 으로 개선되었습니다.
  • LLM Judge 를 통한 평가에서도 명확화된 텍스트 기반 군집이 주제 일관성 측면에서 원본 텍스트 기반 군집보다 압도적으로 선호되었습니다 (90% 이상).

5. 의의 및 결론 (Significance)

• 민주적 투명성 확보: 대규모 LLM 에 대한 의존도를 줄이고, 로컬에서 실행 가능한 투명하고 검증 가능한 SLM 을 활용하여 민주적 데이터 분석의 투명성과 책임성을 높였습니다.
• 확장 가능한 분석 프레임워크: 노이즈가 많은 대규모 시민 의견을 정제된 구조적 데이터로 변환하는 표준화된 방법을 제시함으로써, 정치학자와 NLP 연구자가 대규모 민주적 데이터를 효과적으로 분석할 수 있는 기반을 마련했습니다.
• 실용적 가치: 제안된 GDN-CC-large 데이터셋과 명확화 파이프라인은 향후 주제 모델링, 정책 제안 자동 분류, 여론 분석 등 다양한 민주적 의사결정 지원 도구 개발에 핵심 자원으로 활용될 수 있습니다.

이 연구는 AI 를 민주적 과정에 통합할 때, 기술적 효율성뿐만 아니라 윤리적 투명성과 인간의 감독 가능성을 동시에 고려한 새로운 접근법을 제시했다는 점에서 의의가 큽니다.