Traceable by Design: An LLM Pipeline and Dashboard for EU Regulatory Consultation Analysis
Dieses Paper präsentiert eine nachvollziehbare, LLM-basierte Pipeline und ein interaktives Dashboard, das die Analyse groß angelegter Einreichungen zu regulatorischen Konsultationen automatisiert, indem es fundierte Themenannotationen mit wörtlichen Belegen extrahiert, was durch eine Fallstudie zum Digital Fairness Act der Europäischen Kommission demonstriert wurde, die Erkenntnisse jenseits vordefinierter Taxonomien aufzeigte.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, die Europäische Union plant ein massives neues Regelwerk für das Internet, genannt Digital Fairness Act. Bevor sie die endgültigen Regeln festlegen, fragt sie die Öffentlichkeit: „Was denken Sie?“ Dies nennt man eine „öffentliche Konsultation“.
Das Problem? Die Menschen haben 4.322 Rückmeldungen eingereicht. Einige waren kurze Notizen, die in ein Webformular getippt wurden; andere waren lange, mehrseitige PDF-Dokumente. All diese Rückmeldungen manuell zu lesen und zu verstehen, ist, als würde man versuchen, aus einem Feuerwehrschlauch zu trinken – es ist für einen Menschen unmöglich, ohne etwas zu übersehen oder überfordert zu werden.
Dieses Papier stellt einen intelligenten digitalen Assistenten (eine KI-Pipeline und ein Dashboard) vor, der dazu entwickelt wurde, all diese Rückmeldungen zu lesen, herauszufinden, worüber die Menschen sprechen, und genau zu beweisen, woher es diese Informationen hat.
So funktioniert das System, einfach erklärt:
1. Die „Intelligente Bibliothekarin“ (Pipeline)
Betrachten Sie das System als eine hoch organisierte, superschnelle Bibliothekarin, die niemals müde wird.
- Der Input: Die Bibliothekarin nimmt zwei Arten von Büchern entgegen: die unordentlichen, gescannten PDFs (die mit einer speziellen Kamera namens OCR „gelesen“ werden müssen) und die sauberen, getippten Webformulare.
- Die Reinigung: Bevor sie liest, fegt die Bibliothekarin den Boden. Sie entfernt Seitenzahlen, Kopfzeilen, Fußzeilen und Textsalat, der oft beim Scannen von Dokumenten entsteht. Sie prüft auch, ob eine Seite tatsächlich lesbar ist. Wenn eine Seite zu unordentlich ist, markiert sie diese, versucht aber dennoch, den Rest zu verarbeiten.
- Das Zerkleinern: Die Bibliothekarin schneidet die langen Dokumente in kleine, handliche „Absatz-Häppchen“. Sie behält nur die Absätze, die Sinn ergeben und genügend Wörter enthalten, um nützlich zu sein.
- Das Lesen (Der KI-Teil): Hier kommt das „Large Language Model“ (das Gehirn des Betriebs) ins Spiel. Es liest jeden sauberen Absatz und stellt zwei Fragen:
- Wovunder handelt dieses Thema? (z. B. „Geht es hier um unfaire Abonnements?“)
- Was ist der exakte Satz, der dies beweist?
2. Die Goldene Regel: „Zeig deine Arbeit“
Die meisten KI-Tools fassen zusammen. Wenn man sie fragt: „Was haben die Leute über Passwörter gesagt?“, sagen sie vielleicht: „Die Leute sind besorgt um die Sicherheit.“
Dieses System weigert sich, zusammenzufassen. Es folgt einer strengen Regel namens Verbatim Grounding (wortgetreue Fundierung).
- Die Analogie: Stellen Sie sich einen Detektiv in einem Gerichtssaal vor. Wenn der Detektiv sagt: „Der Verdächtige war am Tatort“, verlangt der Richter das Foto als Beweis. Der Detektiv kann nicht einfach nur sagen: „Ich glaube das.“
- Wie es hier funktioniert: Jedes Mal, wenn die KI ein Thema findet, muss sie den exaksten Satz aus dem Originaldokument kopieren und einfügen, der es beweist. Sie darf keine Zusammenfassung erfinden. Wenn sie keinen exakten Zitatsatz finden kann, stellt sie keine Behauptung auf. Dies stellt sicher, dass, wenn ein Entscheidungsträger die Arbeit überprüfen möchte, er auf einen Knopf klicken kann, um den Originalsatz im Originaldokument zu sehen.
3. Das Dashboard: Der „Kontrollraum“
Die Ergebnisse werden auf einer Website (dem Dashboard) angezeigt, die wie ein Kontrollraum für politische Entscheidungsträger fungiert.
- Das große Ganze: Man kann eine Karte aller Themen sehen. Einige sind „Vordefiniert“ (Themen, die die EU bereits kannte, wie „Dark Patterns“). Andere sind „Emergent“ (neue Themen, die die KI gefunden hat, nach denen die EU nicht explizit gefragt hat, wie „Altersverifizierung“ oder „Digitales Eigentum“).
- Das Vertiefen (Drill-Down): Man kann auf ein bestimmtes Thema klicken (wie „Zensur durch Zahlungsabwickler“) und sehen, welche Unternehmen oder Länder es erwähnt haben.
- Die Rückverfolgbarkeit: Wenn man eine Statistik auf dem Bildschirm sieht, kann man diese durch das System zurückverfolgen bis zu dem spezifischen Absatz im ursprünglichen PDF, aus dem sie stammt. Nichts bleibt verborgen.
4. Warum das wichtig ist
Die Autoren haben dies mit den Daten des Digital Fairness Act getestet.
- Das Ergebnis: Das System verarbeitete 4.322 Dokumente und fand 15.368 spezifische Themen, gestützt durch 20.951 exakte Zitate.
- Die Überraschung: Da das System nicht gezwungen war, sich an eine starre Liste von Themen zu halten, fand es neue Anliegen, die ein Mensch mit einer einfachen Checkliste übersehen hätte. Zum Beispiel bemerkte es, dass sich die Leute Sorgen um „Zensur durch Zahlungsabwickler“ (Banken, die Zahlungen an bestimmte Seiten blockieren) und „Digitales Eigentum“ (wem gehört der digitale Besitz tatsächlich) machten.
- Die Flexibilität: Das System ist „domänen-generisch“. Das bedeutet, wenn die EU nächstes Jahr nach einem anderen Gesetz fragen möchte, muss sie nicht die Maschine neu bauen. Sie müssen nur die „Bedienungsanleitung“ (den Prompt) ändern und neue Dokumente einspeisen.
Zusammenfassung
Dieses Papier beschreibt ein Werkzeug, das einen chaotischen Berg an öffentlichem Feedback in eine klare, organisierte und beweisbare Liste von Anliegen verwandelt. Es sagt Ihnen nicht nur, was die Menschen denken; es zeigt Ihnen genau, wo sie es gesagt haben, wodurch sichergestellt wird, dass die Entscheidungsträger den Beweisen vertrauen können, weil sie die Quelle des Gesprächs direkt vor Augen haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.