Dynamic Topic Modeling for Cross-Corpus Temporal Analysis
Dieses Paper schlägt ein Dynamic Embedded Topic Model Framework vor, das einen gemeinsamen Themenraum über mehrere Korpora hinweg etabliert, ergänzt durch korpusspezifische residuelle Adaptionen, wodurch stabile und interpretierbare zeitliche Vergleiche zwischen Korpora ermöglicht werden, während gleichzeitig einzigartige lexikalische Variationen bewahrt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Seit Jahrzehnten verlassen sich Sozialwissenschaftler und Historiker auf Computer, um riesige Textbibliotheken, von alten Zeitungen bis hin zu Wirtschaftsmagazinen, zu erschließen. Das Ziel ist es, die verborgenen Themen zu finden, die durch diese Dokumente laufen, ganz ähnlich wie ein Bibliothekar, der Bücher nach Themen statt nach Autoren sortiert. Ein gängiges Werkzeug dafür ist ein sogenanntes Topic Model (Themenmodell), das tausende Seiten scannt, um Wörter zu gruppieren, die häufig zusammen vorkommen, und so aufdeckt, worüber die Menschen zu einer bestimmten Zeit sprachen. Wenn Forscher sehen wollen, wie sich diese Gespräche über Jahre oder sogar Jahrhunderte hinweg verändern, nutzen sie eine dynamische Version dieses Werkzeugs, die verfolgt, wie sich die Bedeutung dieser Wortgruppen im Laufe der Zeit verschiebt. Es gab jedoch stets eine große Hürde beim Versuch, verschiedene Textsammlungen miteinander zu vergleichen. Wenn man eine Sammlung von Wirtschaftsmagazinen und eine separate Sammlung von Berichten Gewerkschaften analysiert, betrachtet der Computer sie normalerweise als zwei völlig unterschiedliche Welten. Er könnte ein Thema über „Geld“ in den Wirtschaftsmagazinen und ein Thema über „Löhne“ in den Gewerkschaftsberichten finden, hat aber keine eingebaute Möglichkeit zu wissen, dass dies eigentlich zwei Seiten derselben Medaille sind. Traditionell mussten Forscher die Analyse separat durchführen und dann versuchen, die Ergebnisse nachträglich manuell abzugleichen – ein Prozess, der oft daran scheiterte, die Themen korrekt zur Deckung zu bringen, was den Vergleich wackelig und unzuverlässig machte.
Ein Team von Forschern der Columbia University hat einen neuen Weg entwickelt, um dieses Problem zu lösen, der es ermöglicht, verschiedene Arten von Textsammlungen zu vergleichen und dabei die Themen über die Zeit hinweg perfekt aufeinander abzustimmen. Anstatt jede Sammlung separat zu analysieren und später zu versuchen, eine Übereinstimmung zu erzwingen, erstellt ihre Methode zuerst eine einzige, gemeinsame Karte der Ideen. Stellen Sie sich diese gemeinsame Karte als ein gemeinsames Koordinatensystem vor, wie etwa einen Standard-Satz von Breiten- und Längengraden, der alle verschiedenen Textsammlungen gleichzeitig abdeckt. Der Computer lernt die Hauptthemen und deren Entwicklung über einen Zeitraum von neunundneunzig Jahren unter Verwendung dieser kombinierten Karte. Sobald dieses gemeinsame Fundament etabliert ist, erlauben die Forscher jeder spezifischen Sammlung – ob Wirtschaftsnachrichten, Gewerkschaftsberichte oder allgemeine historische Texte – kleine, kontrollierte Anpassungen an der Karte. Dies ermöglicht es den Wirtschaftsmagazinen, ihr eigenes Vokabular für ein Thema zu verwenden, während die Gewerkschaftsberichte ihres verwenden, während sie dennoch fest an derselben zugrunde liegenden Idee verankert bleiben. Das Ergebnis ist ein System, in dem der Computer weiß, dass das „Geld“-Thema in einer Sammlung und das „Löhne“-Thema in einer anderen nicht nur ähnlich, sondern tatsächlich dasselbe Thema sind, das durch unterschiedliche Linsen betrachtet wird.
Die Forscher testeten diesen Ansatz an drei massiven Textsammlungen, die den Zeitraum von 1922 bis 2019 abdecken. Eine Sammlung enthielt amerikanisches Englisch aus Magazinen und Zeitungen, eine andere bestand aus Artikeln der Harvard Business Review und die dritte aus Berichten der International Labour Review. Diese Quellen decken sehr unterschiedliche Welten ab: Eine ist eine breite Mischung allgemeiner Geschichte, eine konzentriert sich auf Unternehmensführung und die dritte befasst sich mit Arbeitnehmerrechten und Sozialpolitik. Das Team verglich ihre neue Methode mit älteren Techniken, bei denen die Sammlungen separat analysiert und anschließend abgeglichen wurden. Der Unterschied war eklatant. Bei Verwendung der alten Methode der separaten Analyse konnte der Computer Themen zwischen den Sammlungen nur in etwa 18 Prozent der Fälle korrekt identifizieren. Im Gegensatz dazu erreichte die neue Methode mit der gemeinsamen Karte eine Erfolgsquote von fast 98 Prozent. Das bedeutet, dass der Computer fast jedes Mal, wenn er ein Thema in den Wirtschaftsmagazinen betrachtete, sofort und präzise das entsprechende Thema in den Gewerkschaftsberichten finden konnte, obwohl die verwendeten Wörter völlig verschieden waren.
Die Studie zeigte auch, dass diese neue Methode die Qualität der Analyse nicht zugunsten der Abstimmung opferte. Der Computer war immer noch in der Lage, die spezifischen Nuancen jeder Sammlung zu erlernen und das einzigartige Vokabular von Wirtschaftsführern sowie die distinkte Sprache von Gewerkschaftsorganisatoren zu erfassen. Indem das System die Hauptkarte fest hielt und nur kleine Anpassungen zuließ, bewahrte es die Fähigkeit, wie ein einzelnes Thema, etwa die wirtschaftliche Transformation, über die Jahrzehnte hinweg verlief. Die Forscher konnten einen einzelnen Faden des Gesprächs über die Wirtschaft verfolgen, wie er sich von den IndustrieKrisen der 1930er Jahre über die Expansion des Corporate Managements nach dem Krieg bis hin zum digitalen Zeitalter des späten zwanzigsten Jahrhunderts entwickelte. In jeder Ära zeigte die gemeinsame Karte, wie sich die Wirtschaftsmagazine auf Gewinn und Aktienmärkte konzentrierten, während die Gewerkschaftsberichte sich auf Löhne und Arbeitnehmerschutz konzentrierten, wobei beide jedoch eindeutig denselben historischen Moment diskutierten.
Diese Arbeit legt nahe, dass der Schlüssel zum Vergleich verschiedener Gruppen von Texten über lange Zeiträume darin besteht, die Abstimmung der Themen als einen fundamentalen Teil des Lernprozesses zu behandeln und nicht als einen Nachtrag. Die Forscher fanden heraus, dass, wenn sie versuchten, das gesamte System für jede Sammlung separat fein abzustimmen, die Verbindung zwischen den Themen abbrach und der Computer seine Fähigkeit verlor, das große Ganze zu sehen. Ihre Ergebnisse deuten darauf hin, dass es möglich ist, durch den Aufbau eines stabilen, gemeinsamen Fundaments zuerst zu sehen, wie verschiedene Gemeinschaften über dieselben großen Ideen auf ihre eigene, einzigartige Weise sprechen. Dieser Ansatz bietet eine zuverlässigere Möglichkeit für Historiker und Sozialwissenschaftler, diverse Informationsquellen zu vergleichen und sicherzustellen, dass sie, wenn sie ein Thema von einem Jahrhundert zum nächsten verfolgen, tatsächlich derselben Geschichte folgen, selbst wenn sich die Worte auf der Seite geändert haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.