💬 NLP

Evaluating LLM-Driven Summarisation of Parliamentary Debates with Computational Argumentation

Dit artikel presenteert een nieuw raamwerk gebaseerd op computationele argumentatie om de geloofwaardigheid van door LLM's gegenereerde samenvattingen van parlementaire debatten te evalueren, met name gericht op de behoud van de redenering achter beleidsvoorstellen in het Europees Parlement.

Oorspronkelijke auteurs: Eoghan Cunningham, Derek Greene, James Cross, Antonio Rago

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Eoghan Cunningham, Derek Greene, James Cross, Antonio Rago

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat het Europees Parlement een gigantische, drukke vergaderzaal is. Elke dag worden er honderden uren aan discussies gevoerd over nieuwe wetten. Voor de gewone burger is dit als proberen een hele film te begrijpen door alleen naar de titel te kijken: het is te veel informatie, te snel en te complex.

Om dit op te lossen, gebruiken we nu slimme computers (LLMs) om samenvattingen te maken. Het probleem? Deze computers zijn goed in het samenvatten van woorden, maar ze zijn vaak slecht in het begrijpen van de logica en de reden achter die woorden. Ze kunnen een samenvatting maken die klinkt als de originele tekst, maar de feitelijke inhoud verdraait.

De auteurs van dit paper hebben een nieuwe manier bedacht om te controleren of deze samenvattingen eerlijk zijn. Ze noemen dit "Computational Argumentation". Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Vergaderzaal als een Strijdtoneel

Stel je de discussie voor als een groot bord met pinnen en touwtjes (een net).

De Pinnen: Dit zijn de voorstellen (bijvoorbeeld: "We moeten de ziektekostenverzekering aanpassen").
De Touwtjes: Mensen in de zaal trekken aan deze touwtjes. Sommige mensen trekken hard naar voren (ondersteuning), anderen trekken hard naar achteren (tegenstand).
Het Doel: Het doel is om te zien welke pinnen (voorstellen) uiteindelijk sterk genoeg zijn om overeind te blijven, en welke omvallen.

De oude manier om samenvattingen te controleren was alsof je telde hoeveel woorden uit de originele tekst ook in de samenvatting stonden. Dat is als zeggen: "Deze samenvatting is goed omdat hij evenveel letters heeft als het origineel." Dat zegt niets over of de samenvatting de waarheid vertelt.

2. De Nieuwe Regels: De "Eerlijkheids-Check"

De auteurs hebben vijf nieuwe regels bedacht om te kijken of de samenvatting de logica van de vergadering eerlijk weergeeft. Ze gebruiken een wiskundig model om dit te meten:

De Belangrijke Sprekers: Zijn alle belangrijke sprekers in de samenvatting nog aanwezig? Of heeft de computer de mensen die het hardst tegen een voorstel waren, gewoon genegeerd?
De Weegschaal: Als er in de originele vergadering 3 mensen voor een idee waren en 2 tegen, moet de samenvatting ook die balans laten zien. Als de samenvatting zegt "iedereen was het erover eens", dan is de balans verstoord.
De Uitslag: Kijkt de samenvatting naar dezelfde winnaars en verliezers als de echte vergadering? Als in de echte vergadering voorstel A faalde, maar in de samenvatting staat dat het slaagde, dan is de samenvatting onbetrouwbaar.
De Sterkte: Hoe sterk was de steun? Als een voorstel net niet door ging (51% tegen, 49% voor), mag de samenvatting niet zeggen dat het met 90% steun is aangenomen.
De Nauwkeurigheid: Zitten de cijfers (de sterkte van de steun) precies goed?

3. Wat Vonden Ze? (Het Experiment)

De auteurs hebben dit getest met echte vergaderingen uit het Europees Parlement en samenvattingen gegenereerd door verschillende AI-modellen (zoals Claude en Llama).

De verrassende bevinding:
De traditionele meetlat (die kijkt naar woord-overlapping) zei: "Deze samenvattingen zijn prima!"
Maar de nieuwe "Eerlijkheids-Check" zei: "Nee, deze zijn gevaarlijk!"

Het probleem: De AI's neigden ernaar om de tegenstanders te negeren. Ze maakten samenvattingen waarin het leek alsof iedereen het eens was, terwijl in werkelijkheid er felle strijd was.
Het resultaat: De AI's verdraaiden de uitkomst. Voorstellen die in de vergadering omstreden waren, werden in de samenvatting gepresenteerd als onbetwiste waarheden.

4. Waarom is dit belangrijk?

Stel je voor dat je als burger alleen de samenvatting van je nieuwsapp leest. Als die samenvatting de tegenstanders weglaat, denk je dat er geen discussie was en dat de wet perfect is. Maar in werkelijkheid was er grote onenigheid.

Dit onderzoek laat zien dat we niet alleen moeten kijken of een samenvatting leest als het origineel, maar of hij de logica en de krachtsverhoudingen eerlijk weergeeft. De nieuwe methode fungeert als een "waarheidscontroleur" die kijkt of de AI de democratische discussie niet heeft gemanipuleerd door de lastige, tegenstrijdige delen eruit te halen.

Kortom: Het paper zegt: "Gebruik niet alleen een woorden-teller om te kijken of een samenvatting goed is. Gebruik een 'logica-check' om te zien of de AI de echte discussie eerlijk heeft verteld, of dat hij de waarheid heeft verdraaid om het netjes te laten klinken."

Probleemstelling

Het begrijpen van hoe beleidsvorming in parlementen wordt beargumenteerd en gerechtvaardigd, is essentieel voor de democratische processen. Echter, de enorme hoeveelheid en complexiteit van deze debatten maken het moeilijk voor het publiek om hieraan deel te nemen. Hoewel Large Language Models (LLMs) in staat zijn om automatisch samenvattingen te genereren, blijft het evalueren van de trouw (faithfulness) van deze samenvattingen een groot probleem.

Bestaande geautomatiseerde evaluatiemethoden (zoals ROUGE of BERTScore) meten voornamelijk lexische overlap of semantische gelijkenis. Deze methoden correleren slecht met menselijke oordelen over de feitelijke consistentie van argumentatieve teksten. Ze kunnen niet detecteren of een samenvatting de logische structuur, de redenering of de balans tussen voor- en tegenargumenten behoudt. Dit is kritiek wanneer LLMs worden ingezet om burgers te informeren over hun vertegenwoordigers.

Methodologie

De auteurs stellen een formeel raamwerk voor dat Computational Argumentation gebruikt om parlementaire debatten en hun samenvattingen te evalueren. In plaats van te kijken naar tekstuele overeenkomst, focust de methode op de behoud van de argumentatieve structuur rondom de betwiste beleidsvoorstellen.

1. Formele Representatie (QBAF):
De debatten worden gemodelleerd als Kwantitatieve Bipolaire Argumentatie Frameworks (QBAF). Een QBAF wordt gedefinieerd als een tuple $\langle X, A, S, \tau \rangle$ :

$X$ (Argumenten): Bestaat uit twee sets: voorstellen/provisies ( $X_p$ , de kern van het debat) en toespraken ( $X_s$ , de argumenten van sprekers).
$A$ (Aanvallen) en $S$ (Ondersteuning): Relaties tussen argumenten. Aanvallen en ondersteuning komen voort uit toespraken en richten zich op andere toespraken of voorstellen.
$\tau$ (Basiscores): Geeft de initiële sterkte van een argument aan. Voorstellen krijgen een neutrale score van 0.5, terwijl toespraken een lagere basiscore krijgen (bijv. 0.2).

2. Argument Mining:
Om deze frameworks te construeren, wordt een dataset van 511 argumenten uit Europese Parlement (EP) debatten (2006-2008) gebruikt. De auteurs gebruiken relation-based argument mining om paren van zinnen te classificeren als "aanval", "ondersteuning" of "neutraal". Ze evalueren verschillende LLM-modellen (zoals Claude Sonnet, Haiku, Qwen, Llama) voor deze taak en vinden dat grotere modellen in zero-shot settings beter presteren dan kleinere, fijngetune modellen.

3. Evaluatie via Formele Eigenschappen:
De kern van de methode is het vergelijken van het QBAF van het originele debat ( $Q$ ) met dat van de samenvatting ( $Q^*$ ). Hiervoor worden vijf formele eigenschappen gedefinieerd om de "trouw" te meten:

Eigenschap 1 (Relevantie): Hoeveel toespraak-argumenten zijn verbonden met de voorstellen?
Eigenschap 2 (Pro-Con Ratio): Is de balans tussen voor- en tegenargumenten voor een specifiek voorstel behouden?
Eigenschap 3 (d-preferability-consistentie): Zijn de acceptatiestatussen van de voorstellen (bepaald door d-preferred extensies) behouden?
Eigenschap 4 (Balance-consistentie): Behouden voorstellen hun netto-positie (sterker of zwakker dan 0.5) in de samenvatting?
Eigenschap 5 ( $\epsilon$ -nauwkeurigheid): Blijven de exacte sterktescores van de voorstellen binnen een bepaalde foutmarge ( $\epsilon$ )?

Belangrijkste Resultaten

De methode werd getest op LLM-genereren samenvattingen van EP-debatten en vergeleken met traditionele NLP-metrics (ROUGE, BERTScore, NLI).

Tekortkomingen van Traditionele Metrics: Bestaande metrics (ROUGE, BERTScore) toonden aan dat de samenvattingen semantisch coherent waren met de bron, maar maakten geen onderscheid tussen samenvattingen die de argumentatieve structuur wel of niet behielden. Ze straften geen logische inconsistenties.
Prestatie van de Auteurs' Methode: De voorgestelde argumentatie-eigenschappen onthulden duidelijke degradatiepatronen:
- Samenvattingen faalden vaak om de pro-con balans (Eigenschap 2) te behouden.
- Er was een significante afname in de nauwkeurigheid van de voorstel-sterktes (Eigenschap 5), waarbij scores variërend van 0.00 tot 0.52 werden waargenomen.
- Hallucinaties en Vertekening: Een specifiek voorbeeld toonde aan dat voorstellen die in het origineel sterk betwist waren (sterkte $\approx$ 0.5), in de samenvatting werden gepresenteerd als overweldigend ondersteund (sterkte $\gg$ 0.5).
Modelvergelijking: Grotere LLM-modellen (zoals Claude Sonnet) presteerden over het algemeen beter dan kleinere modellen (zoals Claude Haiku), maar zelfs de beste modellen hadden moeite met het exacte behoud van de argumentatieve nuance.

Bijdragen

Formeel Raamwerk: De introductie van een QBAF-gebaseerd raamwerk specifiek voor het evalueren van parlementaire samenvattingen, waarbij de focus ligt op de behoud van redenering rond beleidsuitkomsten.
Nieuwe Evaluatiemetrics: De ontwikkeling van vijf formele, interpreteerbare eigenschappen (van relevantie tot nauwkeurigheid van scores) die de "trouw" van een samenvatting kwantificeren op basis van argumentatie-theorie, in plaats van tekstuele overlap.
Empirisch Bewijs: Een case study die aantoont dat traditionele NLP-metrics ontoereikend zijn voor argumentatieve teksten en dat computergestuurde argumentatie een veel effectievere manier biedt om hallucinaties en logische fouten in LLM-samenvattingen te detecteren.

Betekenis en Toekomstperspectief

Dit werk is significant omdat het een brug slaat tussen Natural Language Processing (NLP) en Computational Argumentation. Het biedt een oplossing voor het "black box"-probleem van LLM-evaluatie in democratische contexten. Door te focussen op de logica en de onderbouwing van beleidsbeslissingen, kunnen onderzoekers en beleidsmakers beter inschatten of een samenvatting de democratische dialoog eerlijk weergeeft.

Voor toekomstig werk plannen de auteurs om methoden te ontwikkelen om vergelijkbare argumenten tussen bronnen en samenvattingen te matchen. Dit zou het mogelijk maken om een meer uitgebreide evaluatie uit te voeren, inclusief het detecteren van weggelaten argumenten of "gehallucineerde" argumenten die niet in de brontekst voorkomen.