💬 NLP

Detecting undisclosed LLM-generated content in parliamentary texts

Dieses Papier präsentiert einen interpretierbaren Klassifikator, der darauf trainet wurde, nicht offengelegte, von LLMs generierte Inhalte in parlamentarischen Texten zu erkennen, was einen stetigen Anstieg einer solchen Nutzung im Vereinigten Königreich und in Schweden seit 2022 offenlegt.

Ursprüngliche Autoren: Minerva Suvanto, Andrea McGlinchey, Peter J. Barclay, Mattias Wahde

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minerva Suvanto, Andrea McGlinchey, Peter J. Barclay, Mattias Wahde

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine belebte Bibliothek vor, in der Politiker aus dem Vereinigten Königreich und Schweden Reden, Anträge und offizielle Erklärungen schreiben. Jahrelang wurden diese Dokumente vollständig von Menschenhand (oder zumindest von menschlichen Geistern, die auf Tastaturen tippten) verfasst. Doch vor kurzem hat sich ein neuer, unsichtbarer Geist in der Bibliothek herumgeschlichen: das Large Language Model (LLM), dieselbe Art von KI, die Chatbots wie ChatGPT antreibt.

Dieses Papier ist wie ein Team von Detektiven, die einen speziellen „Lügendetektor“ gebaut haben, um herauszufinden, ob Politiker heimlich diesen KI-Geist ihre Reden schreiben lassen, ohne es zu verraten.

Hier ist die Geschichte ihrer Untersuchung, einfach aufgeschlüsselt:

1. Das Mysterium: Der stille Geist

In vielen Berufen, wie etwa im Journalismus oder bei Schulaufsätzen, ist man verpflichtet, die Hand zu heben und zu sagen: „Ich habe einen Roboter zur Hilfe genommen.“ Aber in der Welt des Parlaments sind die Regeln vage. Es gibt keine strengen Gesetze, die Politiker dazu zwingen, zu sagen: „Hey, ich habe eine KI gebeten, dies zu entwerfen.“

Die Forscher waren besorgt, dass es das öffentliche Vertrauen schädigen könnte, wenn Politiker KI verwenden, um ihre Reden zu schreiben, dies aber nicht zugeben. Es ist, als würde ein Koch Ihnen ein Essen servieren, Ihnen aber nicht sagen, dass ein Roboter es gekocht hat, und der Roboter versehentlich Salz in den Nachtisch gegeben hat.

2. Das Werkzeug der Detektive: Die „Gläserne Box“

Um den Geist zu fangen, verwendeten die Forscher keine schwarze, mysteriöse Maschine, die Antworten liefert, die man nicht verstehen kann (eine „Black Box“). Stattdessen bauten sie einen „Glass Box“-Klassifikator (eine gläserne Box).

Denken Sie an dies wie an eine Lupe, die nicht nur „Schuldig“ oder „Unschuldig“ sagt, sondern Ihnen genau zeigt, welche Wörter und Satzstrukturen verdächtig waren.

Wie sie es trainierten: Sie nahmen alte Reden aus der Zeit vor 2022 (als KI noch nicht populär war) und wussten, dass diese zu 100 % menschlich waren. Dann nahmen sie dieselben Reden, fütterten sie in eine KI und baten die KI, sie umzuschreiben. Nun hatten sie einen „menschlichen“ Haufen und einen „KI“-Haufen.
Das Training: Sie lehrten ihre „Glass Box“, die winzigen Unterschiede zwischen dem menschlichen Haufen und dem KI-Haufen zu erkennen. Sie fanden heraus, dass KI dazu neigt, in leicht anderen Mustern zu schreiben – wie zum Beispiel „United Kingdom“ statt „UK“ zu verwenden, oder einen sehr spezifischen Rhythmus in ihren Sätzen zu haben.

3. Die Untersuchung: Die Kontrolle der aktuellen Akten

Sobald das Detektivwerkzeug bereit war, ließen sie es an den neuen Reden von 2021 bis 2026 los. Sie betrachtten diese Reden auf zwei Arten:

Die gesamte Rede: Riech die gesamte Dokumentation nach KI?
Die Absätze: Riecht nur ein einziger Absatz in der Rede nach KI? (Vielleicht hat der Politiker die Einleitung selbst geschrieben, aber die KI gebeten, den Mittelteil zu schreiben).

4. Die Ergebnisse: Der Geist ist überall (und wächst)

Die Ergebnisse waren eindeutig und stetig:

Der Trend: In beiden Ländern, dem Vereinigten Königreich und Schweden, ist der Einsatz von KI in diesen Texten seit 2022 stetig angestiegen.
Die Zahlen: Bis 2026 fand der Detektor, dass etwa 2 % der britischen Reden und 6,5 % der schwedischen Reden wahrscheinlich vollständig von einer KI geschrieben wurden.
Die „versteckten“ Teile: Als sie sich einzelne Absätze ansah, waren die Zahlen sogar noch höher. Im Vereinigten Königreich enthielten über 15 % der jüngsten Anträge mindestens einen Absatz, der so aussah, als sei er von einer KI geschrieben worden. In Schweden waren es über 9 %.
Das Schweigen: Der schockierendste Teil? Keiner dieser Texte gab die Verwendung von KI zu. Nicht ein einziger sagte: „Wir haben hier einen Chatbot verwendet.“

5. Warum es wichtig ist (laut dem Papier)

Das Papier argumentiert, dass dieser Mangel an Ehrlichkeit ein Problem darstellt.

Vertrauen: Wenn Wähler herausfinden, dass ihre Politiker KI verwenden, um ihre Worte zu schreiben, ohne dies zu sagen, könnte sich das wie ein Vertrauensbruch anfühlen.
Fehler: KIs können manchmal Dinge erfinden (halluzinieren) oder voreingenommen sein. Wenn ein Politiker KI verwendet, ohne sie sorgfältig zu prüfen, könnte er versehentlich falsche Informationen oder beleidigende Ideen verbreiten.
Das „Kognitive Trojanische Pferd“: Das Papier erwähnt, dass die Abhängigkeit von KI dazu führen könnte, dass Politiker selbst aufhören, kritisch zu denken, indem sie die KI die schwere Denkarbeit erledigen lassen, ohne es selbst zu merken.

6. Das Fazit

Die Forscher kommen zu dem Schluss, dass die Nutzung von KI an sich nicht unbedingt „schlecht“ ist, das Verheimlichen jedoch schon. Sie fanden heraus, dass Politiker zunehmend KI verwenden, um ihre offiziellen Texte zu schreiben, aber nicht den (oft vagen) Richtlinien folgen, die nahelegen, dass sie darüber transparent sein sollten.

Sie schlagen vor, dass Parlamente aufhören müssen, vage zu sein, und klare, strenge Regeln einführen müssen: „Wenn Sie KI verwenden, müssen Sie dies angeben.“ Bis dahin wird der „Geist“ in der Bibliothek weiterhin im Dunkeln Reden schreiben.

Technische Zusammenfassung: Erkennung nicht offengelegter LLM-generierter Inhalte in parlamentarischen Texten

Problemstellung
Die rasante Integration von Large Language Models (LLMs) in die Mensch-Computer-Interaktion hat erhebliche Bedenken hinsichtlich der Transparenz im politischen Diskurs aufgeworfen. Während Leitlinien von Gremien wie der Interparlamentarischen Union (IPU) und der britischen Regierung empfehlen, den Einsatz von KI in parlamentarischen Texten offenzulegen, um das öffentliche Vertrauen zu wahren und die Verbreitung von Fehlinformationen oder Voreingenommenheit zu verhindern, fehlen solche Offenlegungen in den offiziellen Aufzeichnungen weitgehend. Dieser Mangel an Transparenz erschwert die Einschätzung des Ausmaßes, in dem Politiker und ihre Mitarbeiter KI für die Erstellung von Anträgen und Erklärungen nutzen. Darüber hinaus verlassen sich bestehende Erkennungsmethoden häufig auf „Black-Box“-neuronale Netze, denen die Interpretierbarkeit fehlt, die für Entscheidungen mit hohem Einsatzrisiko erforderlich ist, bei denen falsche Anschuldigungen den Ruf schädigen könnten.

Methodik
Die Autoren schlagen ein Framework vor, um nicht offengelegte LLM-generierte Inhalte in parlamentarischen Texten aus dem Vereinigten Königreich (Westminster) und Schweden (Riksdag) zu erkennen. Der Ansatz stützt sich auf einen vollständig interpretierbaren, linearen „Glass-Box“-Klassifikator, der als Interpretable CONfidence-enhanced Perceptron (ICON) bekannt ist.

Datenerhebung und -generierung:
- Von Menschen geschrieben (Klasse 0): Texte wurden aus parlamentarischen Aufzeichnungen zwischen 2014 und 2020 extrahiert (Ära vor modernen LLMs), um die Grundwahrheit (Ground Truth) für menschliches Schreiben zu dienen.
- LLM-generiert (Klasse 1): Um eine realistische Nutzung zu simulieren, verwendeten die Autoren ein zweistufiges Prompting-Verfahren. Zuerst wurden die von Menschen geschriebenen Texte durch ein LLM (Gemini 3.1 Flash-Lite) zusammengefasst. Zweitens wurden diese Zusammenfassungen als Prompts für LLMs (Gemini und GPT-5 mini) verwendet, um die vollständigen Texte zu generieren. Dies ergab einen ausgewogenen Basissatz von 1.400 menschlichen und 1.400 LLM-generierten Texten pro Sprache (UK und Schwedisch).
- Vorwärts-Testsets: Unbeschriftete Texte, die ab 2021 veröffentlicht wurden, wurden gesammelt, um die reale LLM-Nutzung zu evaluieren. Texte aus dem frühen Jahr 2021/2022 dienten als Hold-out-Set, um die Falsch-Positiv-Raten (FP) vor der breiten öffentlichen Einführung von LLMs zu messen.
Klassifikationsmodell (ICON):
- Der Klassifikator nutzt n-Gramm-Merkmale (Unigramme und Bigramme), die aus tokenisierten Texten extrahiert werden.
- Er verwendet eine lineare Entscheidungsfunktion $s = \alpha + \sum w_i f_i$ , wobei ein Text als LLM-generiert (Klasse 1) klassifiziert wird, wenn die Summe $s \geq 0$ ist.
- Die Gewichte ( $w_i$ ) und der Bias-Term ( $\alpha$ ) werden basierend auf den Merkmalsfrequenzen in den Trainingsklassen initialisiert und mittels einer modifizierten Perzeptron-Trainingsmethode optimiert, die Fehler über den gesamten Datensatz berechnet, statt nur probenweise.
- Interpretierbarkeit: Das Modell liefert einen Konfidenzwert basierend auf der Größenordnung der Klassifikationssumme ( $|s|$ ) und ermöglicht die Visualisierung spezifischer Merkmalsbeiträge (z. B. bestimmte Wörter oder Bigramme), die die Entscheidung vorantreiben, wodurch die Undurchsichtigkeit tiefer neuronaler Netze vermieden wird.
Evaluationsstrategie:
- Die Studie evaluiert die Erkennung auf zwei Ebenen: (1) die Klassifizierung des gesamten parlamentarischen Antrags als eine Einheit und (2) die Klassifizierung einzelner Absätze innerhalb eines Antrags.
- Ein Konfidenzschwellenwert ( $T$ ) wird auf die Klassifikationssumme angewendet, um Falsch-Positiv-Raten zu minimieren, insbesondere bei der Analyse auf Absatzebene.

Wichtigste Ergebnisse

Leistung des Klassifikators: Die trainierten Klassifikatoren erreichten eine hohe Leistung auf den Testsets, mit F1-Scores von 0,940 (UK) und 0,969 (Schweden). Entscheidend ist, dass die Falsch-Positiv-Rate bei Texten aus der Pre-LLM-Ära extrem niedrig war (0,062 für UK, 0,043 für Schweden), was die Robustheit gegenüber der Fehlklassifizierung menschlicher Texte zeigt.
Erkennung nicht offengelegter Nutzung: Die Anwendung der Klassifikatoren auf die Vorwärts-Testsets (2021–2026) zeigte einen stetigen Anstieg der erkannten LLM-Nutzung in beiden Parlamenten:
- Volltext-Erkennung: Bei der Klassifizierung ganzer Anträge stiegen die Erkennungsraten von nahezu Null im Jahr 2021 auf etwa 2,1 % im UK (2026) und 6,5 % in Schweden (2025–2026).
- Absatz-Ebene-Erkennung: Bei der Analyse einzelner Absätze waren die Erkennungsraten höher, was darauf hindeutet, dass LLMs häufig dazu verwendet werden, spezifische Abschnitte eines Textes zu generieren, anstatt das gesamte Dokument. Bis 2026 enthielten etwa 15,5 % der UK-Anträge und 9,4 % der schwedischen Anträge mindestens einen als LLM-generiert markierten Absatz.
Trends: Die Daten zeigen einen starken Anstieg der erkannten Nutzung ab Ende 2022/2023, was mit der Veröffentlichung fortgeschrittener LLMs korreliert.
Offenlegung: Eine manuelle Suche der erkannten Texte nach Schlüsselwörtern im Zusammenhang mit KI (z. B. „ChatGPT“, „LLM“, „KI“) bestätigte, dass keiner der Texte eine Offenlegung der KI-Nutzung enthielt.

Bedeutung und Behauptungen
Das Paper behauptet, den ersten systematischen Beweis für einen wachsenden Trend in der nicht offengelegten LLM-Nutzung innerhalb parlamentarischer Texte im UK und in Schweden zu liefern. Durch die Verwendung eines interpretierbaren „Glass-Box“-Klassifikators argumentieren die Autoren, dass ihre Ergebnisse in hochsensiblen politischen Kontexten besser vertretbar sind als solche aus Black-Box-Modellen, da die spezifischen Gründe für eine Klassifikation inspiziert und visualisiert werden können.

Die Autoren betonen, dass ihre Ergebnisse auf eine Verletzung bestehender (wenn auch oft nicht verbindlicher) Transparenzrichtlinien hindeuten. Sie merken an, dass LLMs zwar nützliche Werkzeuge sein können, die nicht offengelegte Nutzung jedoch das öffentliche Vertrauen gefährdet, subtile Verzerrungen einführt und potenziell zur Verbreitung von Fehlinformationen oder „kognitiver Entlastung“ (cognitive offloading) führt, bei der die menschliche Aufsicht reduziert wird. Die Studie kommt zu dem Schluss, dass der aktuelle Mangel an Offenlegung eine „eklatante Verletzung“ der Transparenzprinzipien darstellt und fordert klarere, umsetzbare Richtlinien sowie deren Einhaltung in parlamentarischen Prozessen. Das Paper weist bescheiden auf Limitationen hin, wie etwa die potenzielle Beeinträchtigung der sprachlichen Vergleichbarkeit durch unterschiedliche Sprachen und die Möglichkeit von „Grauzonen“-Texten, bei denen die menschliche Überarbeitung von KI-Outputs die Erkennung verwischen kann, hält jedoch fest, dass die erkannten Trends robust und statistisch signifikant sind.