Trilingual Topic Modeling of Sri Lankan Parliamentary Debates

In der weiten Landschaft des modernen Computings strebt ein Feld namens Natural Language Processing (natürliche Sprachverarbeitung) danach, Maschinen beizubringen, wie sie menschliche Sprache lesen, verstehen und organisieren. Jahrzehntelang konzentrierte sich diese Arbeit stark auf Sprachen wie Englisch, in denen die Grammatikregeln relativ unkompliziert sind und die digitalen Werkzeuge im Überfluss vorhanden sind. Die Welt ist jedoch voller Sprachen, die sich sehr unterschiedlich verhalten. Einige, wie Sinhala und Tamil, die in Sri Lanka weit verbreitet sind, sind agglutinierend, was bedeutet, dass sie komplexe Wörter bilden, indem sie viele kleine Bedeutungseinheiten aneinanderreihen, was es Standard-Computerprogrammen erschwert, zu erkennen, dass zwei unterschiedlich aussehende Wörter tatsächlich denselben Wortstamm teilen. Darüber hinaus sprechen Menschen in vielen Teilen der Welt nicht nur eine Sprache zur Zeit; sie mischen sie innerhalb eines einzigen Satzes frei, ein Phänomen, das als Code-Mixing bekannt ist. Wenn diese linguistischen Komplexitäten auf die chaotische Realität offizieller Regierungsdokumente treffen, die oft als schlecht formatierte digitale Dokumente vorliegen, ist das Ergebnis ein Berg von Text, den Standardsoftware schlichtweg nicht erklimmen kann. Das Verständnis dessen, was in diesen Aufzeichnungen gesagt wird, ist entscheidend, da sie die Schlüssel zu den politischen Prioritäten, wirtschaftlichen Schwierigkeiten und sozialen Anliegen einer Nation halten, doch sie sind weitgehend einer systematischen Analyse entzogen geblieben.

Ein Forscherteam der Universität Moratuwa in Sri Lanka hat nun einen neuen Weg gebaut, um diese Schatzkammer an Informationen zu erschließen. Sie richteten ihre Aufmerksamkeit auf die Hansards, die offiziellen Transkripte des sri-lankischen Parlaments, die Tausende von Reden enthalten, die in Sinhala, Tamil und Englisch gehalten wurden und oft innerhalb einer einzigen Ansprache miteinander vermischt sind. Diese Dokumente sind berüchtigt dafür, schwierig zu verarbeiten zu sein, da sie als gescannte PDFs mit verwirrenden zweispaltigen Layouts und inkonsistenter Formatierung existieren, was herkömmliche Lesesoftware unterbricht. Um dies zu lösen, setzte das Forscherteam zunächst ein leistungsfähiges Werkzeug der Künstlichen Intelligenz ein, das in der Lage ist, diese unordentlichen Dokumente zu lesen und die tatsächlich gesprochenen Wörter zu extrahieren, während es das visuelle Rauschen der Seite ignoriert. Sie speisten diesen bereinigten Text dann in ein System ein, das darauf ausgelegt ist, die Bedeutung von Wörtern über verschiedene Sprachen hinweg zu verstehen, anstatt nur zu zählen, wie oft sie vorkommen. Indem sie die Reden in einen digitalen Raum abbildeten, in dem ähnliche Ideen nah beieinander liegen, unabhängig von der verwendeten Sprache, konnten sie Tausende von einzelnen Reden in kohärente Themen gruppieren.

Das Ergebnis dieser Bemühungen ist eine klare Karte der politischen Konversation der Nation über fast ein Jahrzehnt, von 2017 bis 2026. Die Forscher analysierten 19.553 Reden und organisierten sie erfolgreich in 30 Hauptthemen, die von Energiesicherheit und Wirtschaftskrisen bis hin zu nationaler Sicherheit und Gesundheitswesen reichen. Was diese Leistung bedeutend macht, ist, dass der Computer dies tat, ohne angewiesen worden zu sein, wonach er suchen soll; er entdeckte die Themen von selbst. Das System fand heraus, dass die Reden über die Wirtschaft während der Finanzkrise 2022 und der darauffolgenden Phase der sozialen Unruhen dramatisch anstiegen, während Diskussionen über die nationale Sicherheit nach den Osteranschlägen 2019 sprunghaft anstiegen. Entscheidend ist, dass das Modell die drei Sprachen als einen einzigen, einheitlichen Gesprächsstrom behandelte. Eine Rede in Tamil über ein spezifisches politisches Thema wurde zusammen mit einer Rede in Sinhala über dasselbe Thema gruppiert, was bewies, dass die zugrunde liegende Bedeutung wichtiger war als die verwendete Sprache.

Die Forscher testeten auch, ob ältere, traditionellere Methoden der Textanalyse diese Aufgabe bewältigen könnten. Sie fanden heraus, dass Standardansätze, die auf dem Zählen von Wortkombinationen basieren, völlig versagten. Diese älteren Methoden konnten die Lücke zwischen den verschiedenen Sprachen nicht überbrücken oder die komplexen Wortstrukturen von Sinhala und Tamil bewältigen, was zu fragmentierten und bedeutungslosen Gruppen führte. Im Gegensatz dazu gelang es dem neuen Ansatz, der Deep Learning nutzt, um den Kontext zu verstehen, die Struktur der Debatten erfolgreich zu identifizieren. Das Team untersuchte auch eine Hybridmethode, die das tiefe Verständnis der Bedeutung mit einem Fokus auf spezifische Schlüsselwörter kombinierte, um zu sehen, ob sie die Gruppen noch präziser machen könnte. Während diese Methode die Grenzen zwischen den Themen klarer machte, bedeutete dies auch, dass einige Reden gänzlich aus den Gruppen ausgeschlossen wurden, was auf einen Kompromiss zwischen Präzision und Abdeckung hindeutet.

Letztendlich zeigt diese Arbeit, dass es möglich ist, komplexen, multilingualen politischen Diskurs ohne menschliches Eingreifen begreifbar zu machen. Indem sie die vielfältigen Sprachen Sri Lankas als einen einzigen, reichen Datensatz behandelten, konnten die Forscher offenlegen, wie sich die Aufmerksamkeit der Nation in Reaktion auf reale Ereignisse verschiebt. Die Ergebnisse zeigen, dass die in der Parlament diskutierten Themen nicht zufällig sind; sie steigen und fallen in direkter Reaktion auf die Herausforderungen des Landes, vom Management der Staatsverschuldung bis hin zur Pflege der Kranken. Dieser neue Rahmen bietet eine solide Grundlage für zukünftige Studien und ermöglicht es Forschern und der Öffentlichkeit, die Entwicklung politischer Prioritäten mit einer Klarheit zu verfolgen, die zuvor unmöglich war – indem ein chaotisches Archiv von Reden in eine strukturierte Erzählung der Reise einer Nation verwandelt wird.