Detecting undisclosed LLM-generated content in parliamentary texts

Technische Samenvatting: Detectie van niet-vermelde door LLM gegenereerde inhoud in parlementaire teksten

Probleemstelling
De snelle integratie van Large Language Models (LLM's) in de mens-computerinteractie heeft grote zorgen opgeroepen over de transparantie in het politieke discours. Hoewel richtlijnen van instanties zoals de Interparlementaire Unie (IPU) en de Britse regering aanbevelen om het gebruik van AI in parlementaire teksten te vermelden om het publieke vertrouwen te behouden en de verspreiding van misinformatie of bias te voorkomen, ontbreken dergelijke vermeldingen grotendeels in de officiële verslagen. Dit gebrek aan transparantie maakt het moeilijk om de omvang te beoordelen waarmee politici en hun medewerkers AI gebruiken voor het opstellen van moties en verklaringen. Bovendien leunen bestaande detectiemethoden vaak op "black-box" neurale netwerken, die een gebrek hebben aan de interpreteerbaarheid die vereist is voor beslissingen met een hoge inzet, waarbij valse beschuldigingen reputaties kunnen schaden.

Methodologie
De auteurs stellen een raamwerk voor om niet-vermelde door LLM gegenereerde inhoud in parlementaire teksten uit het Verenigd Koninkrijk (Westminster) en Zweden (Riksdag) te detecteren. De aanpak steunt op een volledig interpreteerbare, lineaire "glass-box" classifier bekend als de Interpretable CONfidence-enhanced Perceptron (ICON).

• Dataverzameling en Generatie:

  • Door mensen geschreven (Klasse 0): Teksten werden geëxtraheerd uit parlementaire verslagen gepubliceerd tussen 2014 en 2020 (het tijdperk vóór moderne LLM's) om te dienen als de grondwaarheid voor menselijk schrijven.
  • Door LLM gegenereerd (Klasse 1): Om realistisch gebruik te simuleren, gebruikten de auteurs een tweestaps prompting-procedure. Eerst werden door mensen geschreven teksten samengevat door een LLM (Gemini 3.1 Flash-Lite). Vervolgens werden deze samenvattingen gebruikt als prompts voor LLM's (Gemini en GPT-5 mini) om volledige teksten te genereren. Dit resulteerde in een gebalanceerde basisdataset van 1.400 menselijke en 1.400 door LLM gegenereerde teksten per taal (UK en Zweeds).
  • Forward Test Sets: Niet-gelabelde teksten gepubliceerd vanaf 2021 werden verzameld om het gebruik van LLM's in de echte wereld te evalueren. Teksten uit de vroege periode van 2021/2022 dienden als een hold-out set om de foutpositieve ratio's (FP) te meten vóór de brede publieke adoptie van LLM's.

• Classificatiemodel (ICON):

  • De classifier maakt gebruik van n-gram features (unigrams en bigrams) geëxtraheerd uit getokeniseerde tekst.
  • Het maakt gebruik van een lineaire beslissingsfunctie $s = \alpha + \sum w_i f_i$, waarbij een tekst wordt geclassificeerd als door LLM gegenereerd (Klasse 1) als de som $s \geq 0$.
  • Gewichten ($w_i$) en de bias-term ($\alpha$) worden geïnitialiseerd op basis van feature-frequenties in de trainingsklassen en geoptimaliseerd via een aangepaste perceptron-trainingsmethode die fouten berekent over de gehele dataset in plaats van monster voor monster.
  • Interpreteerbaarheid: Het model biedt een betrouwbaarheidsscore op basis van de grootte van de classificatiesom ($|s|$) en staat de visualisatie toe van specifieke bijdragen van features (bijv. specifieke woorden of bigrams) die de beslissing sturen, waardoor de ondoorzichtigheid van deep neural networks wordt vermeden.

• Evaluatiestrategie:

  • De studie evalueert detectie op twee niveaus: (1) het classificeren van de volledige parlementaire motie als een enkele eenheid, en (2) het classificeren van individuele paragrafen binnen een motie.
  • Een betrouwbaarheidsdrempel ($T$) wordt toegepast op de classificatiesom om het aantal foutpositieven te minimaliseren, met name voor de analyse op paragrafniveau.

Belangrijkste Resultaten

• Prestaties van de Classifier: De getrainde classifiers behaalden een hoge prestatie op de hold-out testsets, met F1-scores van 0.940 (UK) en 0.969 (Zweeds). Cruciaal is dat de foutpositieve ratio op teksten uit het pre-LLM tijdperk extreem laag was (0.062 voor UK, 0.043 voor Zweeds), wat duidt op robuustheid tegen het foutief classificeren van menselijk schrijven.
• Detectie van Niet-vermeld Gebruik: Het toepassen van de classifiers op de forward test sets (2021–2026) onthulde een gestage toename van gedetecteerd LLM-gebruik in beide parlementen:
  • Detectie van Volledige Tekst: Bij het classificeren van volledige moties steeg de detectieratio van bijna nul in 2021 naar ongeveer 2,1% in het VK (2026) en 6,5% in Zweden (2025–2026).
  • Detectie op Paragrafniveau: Bij het analyseren van individuele paragrafen waren de detectieratio's hoger, wat aangeeft dat LLM's vaak worden gebruikt om specifieke secties van een tekst te genereren in plaats van het hele document. Tegen 2026 bevatte ongeveer 15,5% van de Britse moties en 9,4% van de Zweedse moties ten minste één paragraaf die als door LLM gegenereerd werd aangemerkt.
• Trends: De data laten een scherpe stijging in gedetecteerd gebruik zien vanaf eind 2022/2023, wat correleert met de publieke release van geavanceerde LLM's.
• Openbaarmaking: Een handmatige zoekopdracht in de gedetecteerde teksten naar trefwoorden gerelateerd aan AI (bijv. "ChatGPT", "LLM", "AI") bevestigde dat geen van de teksten enige openbaarmaking van AI-gebruik bevatte.

Betekenis en Claims
Het artikel beweert het eerste systematische bewijs te leveren van een groeiende trend in niet-vermeld LLM-gebruik binnen parlementaire teksten in het VK en Zweden. Door gebruik te maken van een interpreteerbare "glass-box" classifier, stellen de auteurs dat hun bevindingen beter verdedigbaar zijn in politieke contexten met een hoge inzet dan die afkomstig van black-box modellen, aangezien de specifieke redenen voor classificatie kunnen worden geïnspecteerd en gevisualiseerd.

De auteurs benadrukken dat hun resultaten wijzen op een schending van bestaande (hoewel vaak niet-verplichte) richtlijnen met betrekking tot transparantie. Ze merken op dat hoewel LLM's nuttige instrumenten kunnen zijn, het niet-vermeld gebruik ervan het publieke vertrouwen riskeert te ondermijnen, subtiele biases kan introduceren en potentieel misinformatie of "cognitieve offloading" kan verspreiden, waarbij menselijk toezicht wordt verminderd. De studie concludeert dat het huidige gebrek aan openbaarmaking een "egregieuze schending" is van de transparantieprincipes en pleit voor duidelijkere, actiegerichte richtlijnen en naleving daarvan in parlementaire processen. Het artikel merkt bescheiden beperkingen op, zoals het potentieel van linguïstische verschillen die kruislingse vergelijkbaarheid beïnvloeden en de mogelijkheid van "grijze gebied"-teksten waarbij menselijke bewerking van AI-output de detectiegrenzen kan vervagen, maar handhaaft dat de gedetecteerde trends robuust en statistisch significant zijn.