The GDN-CC Dataset: Automatic Corpus Clarification for AI-enhanced Democratic Citizen Consultations

Probleemstelling

Grote taalmodellen (LLMs) bieden nieuwe kansen voor het analyseren van democratische participatie, zoals grote burgerconsultaties (bijv. het Franse Grand Débat National). Echter, het gebruik van gesloten, proprietaire LLMs voor politieke analyse roept ernstige ethische vragen op:

1. Transparantie en Toegankelijkheid: De besluitvorming van LLMs is vaak een "black box", wat in strijd is met de vereisten voor democratische controle.
2. Bias en Opinie: Modellen vertonen vaak culturele en sociale biases en zijn vaak eigendom van private bedrijven.
3. Data Kwaliteit: Burgerbijdragen zijn vaak "ruis" (noisy), bevatten meerdere onderwerpen door elkaar, en zijn grammaticaal of logisch onvolledig. Dit maakt traditionele NLP-methoden (zoals clustering) moeilijk toepasbaar zonder eerst de data te standaardiseren.
4. Afhankelijkheid: Huidige oplossingen voor grote schaal vertrouwen vaak op zeer grote, dure API-modellen, wat de transparantie verder ondermijnt.

Het paper stelt dat er een behoefte is aan een methode om ruwe burgerbijdragen om te zetten in gestructureerde, zelfstandige argumenten die kunnen worden verwerkt door kleinere, lokaal draaiende modellen (Small Language Models - SLMs), zonder in te leveren op kwaliteit.

Methodologie

De auteurs introduceren een nieuw taakframe: Corpus Clarification. Dit is een drie-staps proces om ruwe bijdragen om te vormen tot gestructureerde argumentatieve eenheden:

1. Extractie van Argumentatieve Eenheden (AU Extraction):

   • Het identificeren van verschillende thema's binnen één bijdrage.
   • Het opsplitsen van de tekst in discrete eenheden (Argumentative Units - AUs), waarbij elke AU zich richt op één coherent onderwerp. Deze eenheden hoeven niet aaneengesloten te zijn in de originele tekst.

2. Detectie van Argumentatieve Structuur (AS Detection):

   • Binnen elke AU worden tekstsegmenten geclassificeerd in drie categorieën:
     • Statement: Een uiting van een gevoel, observatie of mening.
     • Solution: Een concreet voorstel voor actie of beleidsverandering.
     • Premise: Een rechtvaardiging, bewijs of voorbeeld dat een statement of solution ondersteunt.

3. Verduidelijking van Argumentatieve Eenheden (AU Clarification):

   • Het herschrijven van de AU tot een context-onafhankelijke, zelfstandige tekst.
   • Het normaliseren van de schrijfstijl (verwijderen van taalkundige markers van de oorspronkelijke schrijver) en het toevoegen van noodzakelijke context uit de oorspronkelijke bijdrage, zodat de tekst zonder de originele context begrijpelijk is.

Dataset Constructie (GDN-CC):

• De auteurs hebben een handmatig geannoteerde dataset samengesteld van 1.231 bijdragen uit het Grand Débat National (Frankrijk, 2019).
• Het annotatieproces was een hybride mens-LLM samenwerking: LLMs (GPT-4.1, Qwen, Llama) genereerden eerste versies van de verduidelijkingen, die vervolgens door menselijke annotators (politiekwetenschappers) werden gecontroleerd en gecorrigeerd.
• Dit resulteerde in 2.285 geannoteerde argumentatieve eenheden.

Experimenten:

• De auteurs trainden en evalueerden verschillende Small Language Models (SLMs) (≤10B parameters, zoals Llama-3-8B, Mistral-7B, Qwen2.5-7B, Gemma-2-9B) op deze taken.
• Ze vergeleken deze met grote API-modellen (GPT-4.1) en onderzochten of fijngefineerde SLMs de prestaties kunnen evenaren of overtreffen.
• Uiteindelijk werd de beste SLM-pijplijn toegepast op het volledige corpus van 240.000 bijdragen om een automatisch geannoteerde dataset (GDN-CC-large) te creëren.

Belangrijkste Bijdragen

1. GDN-CC Dataset: Een handmatig geannoteerde dataset van 1.231 Franse bijdragen met 2.285 argumentatieve eenheden, specifiek ontworpen voor democratische consultaties.
2. GDN-CC-large: De grootste tot nu toe beschikbare geannoteerde dataset voor democratische burgerconsultaties (240k bijdragen, 300k argumentatieve eenheden), volledig automatisch gegenereerd met open-weight modellen.
3. Corpus Clarification Taak: Een gestructureerde methode om ruwe, multi-topic data om te zetten in schone, mono-topic argumenten, wat de bruikbaarheid voor downstream-taken vergroot.
4. Validatie van SLMs: Het bewijs dat fijngefineerde open-source SLMs (zoals Gemma-2-9B en Qwen-7B) presteren op hetzelfde niveau of beter zijn dan grote, gesloten modellen (zoals GPT-4.1) voor deze specifieke taken, terwijl ze lokaal en transparant kunnen worden gedraaid.

Resultaten

• Prestaties van Modellen:
  • Fijngefineerde SLMs (bijv. Gemma-2-9B) behaalden een Macro-F1 van 0.79 en Micro-F1 van 0.73 bij het detecteren van argumentatieve structuren, wat vergelijkbaar is met of beter is dan GPT-4.1 (Macro-F1 0.76).
  • Bij het verduidelijken van tekst (Clarification) scoorden fijngefineerde SLMs hoger op BERTScore en ROUGE-L dan GPT-4.1.
  • Encoder-based modellen (zoals CamemBERT) bleken ook effectief voor extractie-taken, wat nuttig is voor scenario's met beperkte rekenkracht.
• Kwaliteit van Verduidelijking:
  • Fijngefineerde modellen reduceerden het probleem van "over-analyse" (het toevoegen van niet-bestaande informatie door de AI) drastisch: van 19% bij GPT-4.1 naar slechts 2% bij Gemma-2-9B.
  • Menselijke annotators moesten vooral informatie verwijderen die door de AI was toegevoegd, wat aantoont dat de grootste uitdaging voor AI in democratische contexten het niet toevoegen van fictieve argumenten is.
• Impact op Downstream Taken (Clustering):
  • Het toepassen van Corpus Clarification verbeterde de kwaliteit van opinion clustering aanzienlijk.
  • De Silhouette-score steeg van 0.46 (ruwe data) naar 0.59 (geclarificeerde data).
  • Een LLM-judge prefereerde in 91% van de gevallen de clusters gebaseerd op verduidelijkte teksten boven die van de originele bijdragen, wat aantoont dat de verduidelijking de thematische coherentie verbetert zonder de betekenis te veranderen.

Betekenis en Conclusie

Dit paper biedt een cruciale stap in de richting van ethisch verantwoorde en schaalbare AI voor democratie. Door te laten zien dat kleine, open-weight modellen (die lokaal draaien en transparant zijn) net zo goed of beter presteren dan grote gesloten modellen voor het analyseren van burgerbijdragen, wordt de afhankelijkheid van private tech-bedrijven verminderd.

De GDN-CC-large dataset biedt onderzoekers en beleidsmakers een ongekend groot, gestructureerd corpus om democratische discussies te analyseren. De methode van "Corpus Clarification" zorgt ervoor dat ruwe, chaotische burgerinput omgezet wordt in bruikbare data voor topic modeling en beleidsanalyse, terwijl de integriteit van de oorspronkelijke mening behouden blijft. Dit maakt het mogelijk om grote schaal participatie te verwerken met tools die controleerbaar, reproduceerbaar en democratisch verantwoord zijn.