💬 NLP

Evaluating LLM-Driven Summarisation of Parliamentary Debates with Computational Argumentation

Diese Arbeit stellt einen neuartigen, auf computergestützter Argumentation basierenden Bewertungsrahmen vor, der mithilfe von formalen Argumentstrukturen die Glaubwürdigkeit von KI-generierten Zusammenfassungen parlamentarischer Debatten, insbesondere am Beispiel des Europäischen Parlaments, bewertet.

Ursprüngliche Autoren: Eoghan Cunningham, Derek Greene, James Cross, Antonio Rago

Veröffentlicht 2026-04-22

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Eoghan Cunningham, Derek Greene, James Cross, Antonio Rago

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, das Europäische Parlament ist eine riesige, laute Diskussionsrunde, in der hunderte Politiker stundenlang über Gesetze streiten. Jeder bringt seine Argumente vor: „Das ist gut!", „Das ist gefährlich!", „Das hilft den Menschen!".

Das Problem? Niemand hat Zeit, sich diese 100-stündigen Debatten anzuhören. Also nutzen wir KI (künstliche Intelligenz), um daraus kurze, verständliche Zusammenfassungen zu machen. Aber hier liegt das große Risiko: Die KI könnte die Geschichte verdrehen. Sie könnte sagen: „Alle waren sich einig", obwohl in Wirklichkeit ein heftiger Streit tobte. Oder sie könnte die wichtigsten Gründe für eine Entscheidung einfach erfinden.

Bisher haben wir keine guten Werkzeuge, um zu prüfen, ob diese KI-Zusammenfassungen die Wahrheit über die Argumente wiedergeben. Herkömmliche Methoden zählen nur, wie viele Wörter übereinstimmen – das ist wie zu prüfen, ob zwei Bilder die gleiche Farbe haben, ohne zu schauen, ob sie das gleiche Motiv zeigen.

Die neue Lösung: Ein „Argument-Netzwerk"

Die Autoren dieses Papers schlagen einen cleveren neuen Ansatz vor. Sie vergleichen die ursprüngliche Debatte und die KI-Zusammenfassung nicht als Text, sondern als Struktur von Argumenten.

Stellen Sie sich die Debatte wie ein Spinnennetz vor:

Im Zentrum hängen die Gesetzesvorschläge (die Spinnweben-Mitte).
Daran hängen die Argumente der Politiker (die Fäden).
Manche Fäden ziehen nach oben (Unterstützung), andere reißen oder drücken nach unten (Angriff).

Die KI erstellt nun eine neue, kleinere Version dieses Netzes. Die Aufgabe der Forscher ist es zu prüfen: Ist das neue Netz noch dasselbe Netz?

Die fünf Prüfsteine (Die „Qualitätskontrolle")

Um herauszufinden, ob die KI die Zusammenfassung fair erstellt hat, haben die Autoren fünf einfache Regeln (Eigenschaften) entwickelt:

Ist das Netz noch verbunden?
Sind alle wichtigen Argumente noch mit dem Gesetz verknüpft? Oder hat die KI wichtige Fäden einfach abgeschnitten?
Ist das Kräfteverhältnis fair?
Wenn im Original 3 Argumente „Dafür" und 2 „Dagegen" waren, muss die Zusammenfassung dieses Verhältnis (3 zu 2) auch zeigen. Wenn die KI nur die „Dafür"-Argumente schreibt, ist sie nicht fair.
Wer gewinnt?
Basierend auf dem Netz: Welches Gesetz wird am Ende angenommen? Wenn im Original das Gesetz „abgelehnt" wurde, die KI aber schreibt „angenommen", dann ist die Zusammenfassung falsch.
Ist die Waage ausgeglichen?
Die KI berechnet einen „Stärke-Wert" für jedes Gesetz (z. B. 0,8 = sehr stark unterstützt, 0,2 = sehr schwach). Die Zusammenfassung muss diesen Wert ungefähr treffen.
Ist die Zahl genau?
Wie nah liegt der Wert der KI am Original? Wenn das Original bei 0,5 liegt (ein harter Streit) und die KI bei 0,9 (fast einhellige Zustimmung), hat die KI die Realität verzerrt.

Was haben sie herausgefunden?

Die Forscher haben echte Debatten aus dem Europäischen Parlament genommen und verschiedene KI-Modelle (wie Claude und Llama) damit zusammenfassen lassen.

Das Ergebnis war aufschlussreich:

Die herkömmlichen Messmethoden (die nur auf Wörter schauen) sagten: „Die Zusammenfassungen sind super! Sie klingen sehr ähnlich zum Original."
Die neue Argument-Struktur-Methode sagte: „Achtung! Die KI hat die Argumente verzerrt."

Besonders bei den KI-Modellen, die kleiner oder weniger intelligent waren, passierte Folgendes:
Sie nahmen Gesetze, die im Original heftig umstritten waren (ein 50/50-Streit), und schrieben in die Zusammenfassung: „Das wurde einhellig unterstützt." Sie haben die Gegenargumente einfach ignoriert oder „halluziniert", dass es sie gar nicht gab.

Das Fazit in einem Satz

Diese Forschung zeigt uns, dass wir KI-Zusammenfassungen von politischen Debatten nicht danach bewerten dürfen, ob sie gut klingen, sondern danach, ob sie die Logik des Streits fair und genau wiedergeben. Nur so können Bürger wirklich verstehen, was in ihrem Parlament wirklich passiert ist.

1. Problemstellung

Die Analyse von Parlamentsdebatten ist für demokratische Prozesse essenziell, doch die enorme Menge und Komplexität der Inhalte erschwert das Verständnis für die Öffentlichkeit. Zwar ermöglichen Large Language Models (LLMs) die automatische Zusammenfassung dieser Debatten im großen Maßstab, doch die Bewertung der Glaubwürdigkeit (Faithfulness) dieser Zusammenfassungen bleibt eine Herausforderung.

Bestehende automatische Metriken (wie ROUGE oder BERTScore) basieren oft auf lexikalischer Überlappung oder semantischer Ähnlichkeit. Studien zeigen jedoch, dass diese Metriken schlecht mit menschlichen Urteilen über die faktische Konsistenz korrelieren. Sie erfassen nicht, ob die argumentative Struktur und die Begründung für oder gegen politische Entscheidungen in der Zusammenfassung treu wiedergegeben wurden. LLMs neigen dazu, logische Zusammenhänge zu verzerren oder Argumente zu hallucinieren, was bei der Vermittlung zwischen Bürgern und Vertretern kritisch ist.

2. Methodik

Die Autoren schlagen einen formalen Rahmen vor, der Computational Argumentation nutzt, um Parlamentsdebatten und deren Zusammenfassungen als Quantitative Bipolare Argumentationsframeworks (QBAFs) zu modellieren.

A. Formale Repräsentation (QBAF)

Eine Debatte wird als Tupel $\langle X, A, S, \tau \rangle$ dargestellt:

$X$ (Argumente): Unterteilt in $X_p$ (Vorschlagsargumente/Provisions, die die zu debattierenden politischen Maßnahmen darstellen) und $X_s$ (Redeargumente, die von den Sprechern vorgebracht werden).
$A$ (Angriffe) & $S$ (Unterstützungen): Binäre Relationen, die zeigen, wie Redeargumente andere Reden oder die Vorschläge angreifen oder unterstützen.
$\tau$ (Basis-Scores): Initialen Stärkewerte. Für Vorschlagsargumente wird ein neutraler Wert (0,5) angenommen, während Redeargumente basierend auf ihrer Häufigkeit oder anderen Faktoren gewichtet werden können.
Semantik: Die endgültige Stärke eines Arguments wird durch eine graduelle Semantik (hier: DF-QuaD) berechnet, die Angriffe und Unterstützungen entlang von Pfaden im Framework aggregiert.

B. Evaluierungs-Metriken (Formale Eigenschaften)

Um die Treue einer Zusammenfassung ( $Q^*$ ) gegenüber dem Original ( $Q$ ) zu bewerten, werden fünf formale Eigenschaften definiert. Diese messen, wie gut die Argumentstruktur erhalten bleibt:

Relevanz der Redeargumente ( $\pi_{sar}$ ): Welcher Anteil der Redeargumente ist mit den Vorschlagsargumenten verbunden?
Pro-Con-Verhältnis ( $\pi_{pcr}$ ): Wird das Verhältnis von unterstützenden zu angreifenden Argumenten für einen Vorschlag beibehalten?
d-Präferenz-Konsistenz: Bleiben die Akzeptanzstatus der Vorschläge (basierend auf d-präferierten Erweiterungen nach Dung) erhalten?
Balance-Konsistenz: Bleibt die Richtung der Netto-Stärke erhalten (d.h. bleibt ein Vorschlag, der im Original >0,5 war, auch in der Zusammenfassung >0,5)?
$\epsilon$ -Genauigkeit: Liegt die Stärke der Vorschläge in der Zusammenfassung innerhalb eines Fehlers $\epsilon$ der Originalstärke?

C. Datengrundlage und Argument-Mining

Daten: Debatten des Europäischen Parlaments (EP) aus den Jahren 2006–2008.
Argument-Mining: Es wurde ein Datensatz mit 481 Argumentpaaren erstellt und von Experten annotiert (Angriff, Unterstützung, Neutral).
Modellauswahl: Verschiedene LLMs (Claude Sonnet, Claude Haiku, Qwen, Llama) wurden im Zero-Shot, Few-Shot und Fine-Tuning-Modus auf die Klassifizierung von Argumentbeziehungen getestet.

3. Wichtige Beiträge

Formaler Evaluierungsrahmen: Entwicklung eines QBAF-basierten Systems, das sich spezifisch auf die Wiedergabe der Begründung für politische Ergebnisse konzentriert, anstatt auf allgemeine semantische Ähnlichkeit.
Neue Metriken: Einführung von fünf formalen Eigenschaften, die eine graduelle (nicht binäre) Bewertung der Glaubwürdigkeit von Zusammenfassungen ermöglichen.
Skalierbarkeit: Demonstration, wie Argument-Mining im großen Maßstab auf EP-Daten angewendet werden kann, um diese Frameworks automatisch zu konstruieren.
Vergleichsstudie: Ein systematischer Vergleich traditioneller NLP-Metriken (ROUGE, BERTScore, NLI) mit dem neuen argumentationsbasierten Ansatz.

4. Ergebnisse

Die Studie wurde mit Debatten aus dem Europäischen Parlament und deren Zusammenfassungen durch verschiedene LLMs durchgeführt.

Argument-Mining Performance: Größere Modelle im Zero-Shot- oder Few-Shot-Modus (z. B. Claude Sonnet 4.5) übertrafen kleinere, feinabgestimmte Modelle (wie Llama 3.1 8B) deutlich bei der Klassifizierung von Argumentbeziehungen in neuen Daten. Claude Haiku wurde für die weiteren Experimente gewählt, um Kosten und Leistung abzuwägen.
Limitationen traditioneller Metriken: Metriken wie ROUGE und BERTScore zeigten hohe semantische Kohärenz und bestätigten, dass die Zusammenfassungen abstraktiv sind. Sie konnten jedoch keine signifikanten Unterschiede zwischen Zusammenfassungen erkennen, die die argumentative Struktur fundamental veränderten.
Ergebnisse der neuen Metriken:
- Die argumentationsbasierten Metriken deckten gravierende Mängel auf. Zusammenfassungen (insbesondere von Haiku) verloren oft das Pro-Con-Gleichgewicht (Eigenschaft 2).
- Die Balance-Konsistenz (Eigenschaft 4) und die Genauigkeit der Stärken (Eigenschaft 5) waren in den meisten Fällen niedrig ( $\theta$ -Werte zwischen 0,00 und 0,53).
- Fehlermuster: Wichtige Vorschläge, die im Original umstritten waren (Stärke $\approx 0,5$ ), wurden in den Zusammenfassungen oft als überwiegend unterstützt dargestellt (Stärke $\gg 0,5$ ), da die angreifenden Argumente weggelassen wurden.
- Größere Modelle (Sonnet) schnitten in allen Eigenschaften besser ab als kleinere, zeigten aber dennoch signifikante Abweichungen.

5. Bedeutung und Ausblick

Das Paper zeigt, dass herkömmliche NLP-Metriken für die Evaluierung von Zusammenfassungen argumentativer Texte unzureichend sind, da sie die logische Struktur und die Gewichtung von Argumenten ignorieren. Der vorgeschlagene QBAF-Rahmen bietet eine interpretierbare und formale Basis, um zu prüfen, ob Zusammenfassungen die demokratische Funktion der Debatte (Abwägung von Pro und Contra) treu wiedergeben.

Zukünftige Arbeiten sollen Methoden entwickeln, um ähnliche Argumente zwischen Original und Zusammenfassung präzise zuzuordnen (Matching), um eine detaillierte Precision-Recall-Analyse für einzelne Redeargumente zu ermöglichen und so das Erkennen von Halluzinationen oder Auslassungen zu verbessern.

Fazit: Die Studie unterstreicht die Notwendigkeit, bei der Evaluierung von LLM-Zusammenfassungen im politischen Kontext von rein statistischen Ähnlichkeitsmaßen zu strukturbasierten, argumentationslogischen Metriken überzugehen, um die demokratische Transparenz zu gewährleisten.