Technische Samenvatting: ParliaBench

Probleemstelling

Het genereren van authentieke parlementaire toespraken brengt uitdagingen met zich mee die verschillen van standaard tekstgeneratietaken. Hoewel grote taalmodellen (LLM's) nuttig zijn gebleken voor politieke toepassingen zoals sentimentanalyse, verkiezingsvoorspellingen en synthetische enquêtes, worstelen ze met de specifieke eisen van het parlementaire discours. In tegenstelling tot algemene teksten vereisen parlementaire toespraken niet alleen linguïstische kwaliteit, maar ook politieke authenticiteit en ideologische consistentie. Een toespraak van een Labour-parlementslid moet fundamenteel verschillen van die van een conservatieve tegenhanger, niet alleen in beleidsstandpunt, maar ook in hun benadering van bestuur.

Huidige evaluatiemethoden voor tekstgeneratie vertrouwen op oppervlakkige gelijkenis-metrieken (bijv. BLEU, ROUGE) of semantische embedding-benaderingen (bijv. BERTScore, MoverScore). Deze schieten tekort in het vastleggen van politieke authenticiteit. Bovendien is er, hoewel domeinspecifieke benchmarks bestaan voor wetgevende samenvatting of opinie-afstemming, geen gevestigd kader om tegelijkertijd ideologische consistentie en parlementaire conventies te beoordelen bij generatieve taken.

Methodologie

De auteurs stellen ParliaBench voor, een uitgebreid framework bestaande uit een dataset, een evaluatieprotocol en de prestaties van baseline-modellen.

1. Datasetconstructie (ParliaBench Dataset)

• Bron: Afgeleid van de Britse subset van de ParlaMint-corpus, waarbij de ruwe XML-bestanden behouden zijn voor granulaire controle.
• Verwerkingspipeline:
  • Inname & Parsing: Individuele toespraken geïsoleerd terwijl de hiërarchie behouden bleef.
  • Metadata Verrijking: Geëxtraheerde identiteit van de spreker, politieke affiliatie, kamer en sessiedata. Cruciaal was dat temporele uitlijning werd toegepast om de datum van de toespraak te kruisverwijzen met de geschiedenis van affiliaties, aangezien parlementsleden vaak van rol veranderen.
  • Filtering: Substantieve inhoud onderscheiden van procedurele ruis. Een drempelwaarde van minimaal 1.000 toespraken per politieke affiliatie werd toegepast, waardoor de set werd teruggebracht van 28 naar 11 stabiele groepen voor training.
  • Thematische Classificatie: Inhoud gemapt aan EuroVoc (de standaard voor Europese parlementaire systemen) in plaats van de oorspronkelijke CAP-classificatie, gebruikmakend van hybride mappingregels voor complexe categorieën.
• Statistieken: De uiteindelijke dataset bevat 447.778 toespraken van 1.901 unieke sprekers over 11 politieke affiliaties, wat neerkomt op ~99,94 miljoen woorden. Het dekt diverse politieke contexten, inclusief Brexit en de COVID-19-pandemie.

2. Modelontwikkeling

• Architecturen: Vijf verschillende LLM's werden geselecteerd: Mistral 7B v0.3, Llama 3.1 8B, Gemma 2 9B, Qwen2 7B, en YI 6B.
• Fine-Tuning: Modellen werden gefinetuned met behulp van QLoRA (Quantized Low-Rank Adaptation) met $r=16, \alpha=16$ over 2 epochs. De trainingsinputs werden gestructureerd met politieke metadata (partij, onderwerp, oriëntatie, sectie, kamer).
• Generatie: In totaal werden 27.560 toespraken gegenereerd met nucleus sampling ($T=0.7, p=0.85$) over zowel baseline- als gefinetunede modellen, waarbij identieke input-prompts werden gebruikt voor een eerlijke vergelijking.

3. Evaluatieframework

Het framework evalueert de generatiekwaliteit over drie dimensies via een tweesporenbenadering: Computationele Metrieken en LLM-as-a-Judge beoordelingen.

• Linguïstische Kwaliteit:
  • Computationeel: Perplexity (PPL), Distinct-n (Dist-N), Self-BLEU.
  • LLM-Judge: Coherentie (J_Coh), Beknoptheid (J_Conc).
• Semantische Coherentie:
  • Computationeel: GRUEN, BERTScore, MoverScore (vergeleken met de top-5 menselijke toespraken uit de trainingsset).
  • LLM-Judge: Relevantie (J_Rel).
• Politieke Authenticiteit (Nieuwe Metrieken):
  • Computationeel:
    • Political Spectrum Alignment (PSA): Meet de ideologische positionering op een links-rechts schaal (-6 tot +6). Het combineert semantische gelijkenis met een politiek oriëntatie-centroid met de afstand van die oriëntatie tot de verwachte oriëntatie.
    • Party Alignment (Party Align): Meet de cosinus-gelijkenis tussen de gegenereerde toespraak en een partijspecifiek centroid.
  • LLM-Judge: Authenticiteit (J_Auth), Politieke Gepastheid (J_PolApp), Algehele Kwaliteit (J_Qual).
• Consistentie: Cross-Context Stabiliteit wordt gemeten via de coëfficiënt van variatie over politieke partijen, onderwerpen en oriëntaties.

Belangrijkste Resultaten

De evaluatie van 27.560 gegenereerde toespraken leverde de volgende bevindingen op:

1. Impact van Fine-Tuning: Gefinetunede modellen presteerden consequent beter dan de baselines. Paarsgewijze t-testen bevestigden statistisch significante verbeteringen in 45 van de 70 metriek-vergelijkingen.
   • Llama 3.1 8B en YI 6B vertoonden de meest opmerkelijke verbeteringen (79% van de metrieken voor YI).
   • Gemma 2 en Qwen2 vertoonden trade-offs; ze verbeterden in sommige categorieën terwijl ze in andere verslechterden.
2. Validatie van Nieuwe Metrieken: De voorgestelde PSA- en Party Align-metrieken toonden een sterke discriminerende kracht. Alle vijf de modellen vertoonden significante verbeteringen in PSA ($p < 0,001$) en Party Align na fine-tuning, wat valideert dat deze embedding-gebaseerde metrieken politieke dimensies vastleggen die ontoegankelijk zijn voor conventionele NLP-metrieken.
3. Contextuele Prestaties:
   • Partijen: Grote partijen (Conservative, Labour) bereikten een stabiele prestatie door overvloedige trainingsdata. Kleinere partijen vertoonden een hogere variabiliteit.
   • Onderwerpen: Wetenschap en Geografie waren de moeilijkste domeinen, waarschijnlijk door terminologische specialisatie. Onderwerpen als Economie en de Europese Unie leverden de hoogste scores op.
   • Ideologie: Centristische posities domineerden de dataset en behaalden hogere scores. Extreme posities vereisten gespecialiseerde trainingsbenaderingen.
4. Stabiliteit: Gefinetunede modellen behielden een hoge cross-context stabiliteit (91,4–96,2); Mistral behaalde de hoogste consistentie ondanks absolute prestatie-trade-offs.

Betekenis en Claims

Het artikel claimt het eerste benchmark-resource te presenteren dat specifiek is ontworpen voor het evalueren van parlementaire toespraakgeneratie. De betekenis ligt in:

• Standaardisatie: Het bieden van een gecureerde dataset van 448k toespraken en een reproduceerbaar evaluatiekader.
• Methodologische Vooruitgang: Het introduceren van Political Spectrum Alignment en Party Alignment als nieuwe metrieken die de ideologische positionering kwantificeren, waarmee het gat in bestaande evaluatiemethoden die zich richten op oppervlakkige gelijkenis wordt gedicht.
• Empirisch Bewijs: Het aantonen dat domeinspecifieke fine-tuning essentieel is voor het genereren van politiek authentieke toespraken en dat architecturale keuzes (bijv. de grootte van het contextvenster) de prestatieconsistentie aanzienlijk beïnvloeden.

De auteurs verklaren expliciet dat hun werk bedoeld is voor onderzoeks- en educatieve doeleinden om menselijke experts te ondersteunen, en niet voor implementatie in daadwerkelijke democratische processen. Zij erkennen beperkingen, waaronder het gebrek aan menselijke validatie voor argumentstructuur of feitelijke juistheid, en de inherente biases van de LLM-as-a-Judge benadering. Toekomstig werk zal onder meer meertalige evaluatie, menselijke validatieprotocollen en de systematische beoordeling van politieke bias omvatten.