Determination of the Number of Topics Intrinsically: Is It Possible?
Diese Arbeit evaluiert verschiedene intrinsische Methoden zur Schätzung der Anzahl der Themen in Themenmodellen über mehrere Korpora hinweg und kommt zu dem Schluss, dass diese Methoden unzuverlässig sind, da die optimale Anzahl der Themen vom jeweiligen Modell und der verwendeten Methode abhängt und keine absolute Eigenschaft der Daten ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Bibliothek mit Millionen von Büchern vor, aber die Regale sind leer und die Titel fehlen. Um diese Sammlung sinnvoll zu erschließen, könnte ein Bibliothekar versuchen, die Bücher nach ihrem Inhalt zu gruppieren, indem er sie basierend auf gemeinsamen Themen in Stapel sortiert. In der Welt der Informatik ist dies die Aufgabe eines Themenmodells (Topic Model). Dies sind statistische Werkzeuge, die riesige Textmengen scannen, um verborgene Muster zu finden, indem sie Wörter gruppieren, die häufig zusammen vorkommen, in das, was wir „Themen“ nennen. Ein Thema könnte über Sport sein, ein anderes über Kochen und ein weiteres über die Weltraumforschung. Der Computer kennt diese Bezeichnungen vorher nicht; er entdeckt sie durch die Analyse des Textes selbst.
Es gibt jedoch ein grundlegendes Problem bei diesem Prozess: Der Computer weiß nicht, wie viele Stapel er bilden soll. Soll er zehn Gruppen erstellen, fünfzig oder einhundert? Diese Zahl ist eine entscheidende Einstellung, oder ein „Hyperparameter“, den der Benutzer wählen muss, bevor der Computer mit seiner Arbeit beginnt. Wenn die Zahl zu niedrig ist, werden die Gruppen unordentlich und verwirrend und vermischen unzusammenhängende Themen. Wenn sie zu hoch ist, werden die Gruppen winzig und repetitiv und spalten eine einzige Idee in viele nahezu identische Fragmente auf. Jahrelang haben Forscher versucht, automatische Werkzeuge zu entwickeln, die eine Textsammlung betrachten und dem Benutzer die perfekte Anzahl an Themen nennen könnten, in der Hoffnung, eine einzige, objektive Wahrheit in den Daten zu finden.
Ein Team von Forschern des Moscow Institute of Physics and Technology und der Lomonossow-Universität Moskau beschloss zu testen, ob eine solche perfekte Zahl tatsächlich existiert. Sie sammelten eine Vielzahl bestehender Methoden – Dutzende verschiedener mathematischer Formeln und Verfahren –, die behaupten, die beste Anzahl an Themen zu bestimmen. Sie wandten diese Methoden auf mehrere große, reale Textsammlungen an, die von Nachrichtenartikeln und wissenschaftlichen Arbeiten bis hin zu Beiträgen aus einem Programmierforum und einem kuratierten Satz russischer Wikipedia-Artikel reichten. Sie testeten diese Methoden auch auf verschiedenen Arten von Computermodellen, denn die Art und Weise, wie ein Modell aufgebaut ist, kann verändern, wie es die Daten wahrnimmt.
Die Forscher führten tausende Experimente durch, bei denen die Computermodelle aus dem Text lernten, während sie die Ergebnisse mit jeder der verschiedenen Methoden maßen. Sie suchen nach klaren Signalen, wie etwa einem scharfen Gipfel oder einem tiefen Tal in den Daten, das die ideale Anzahl an Themen anzeigen würde. Sie hofften zu finden, dass alle verschiedenen Methoden untereinander überebereinstimmen und für eine gegebene Textsammlung dieselbe Zahl angeben würden. Stattdessen fanden sie ein chaotisches Bild. Die verschiedenen Methoden stimmten selten überein. Eine Methode konnte beispielsweise vorschlagen, dass eine Sammlung von Nachrichtenartikeln am besten mit zehn Themen verstanden wird, während eine andere Methode, die exakt denselben Text betrachtete, dreißig Themen vorschlagen würde. Noch überraschender war, dass die „beste“ Zahl oft davon abhing, welches spezifische Computermodell zur Analyse des Textes verwendet wurde.
Die Studie zeigte, dass die populärsten und anspruchsvollsten Werkzeuge zur Bestimmung der richtigen Anzahl an Themen weit davon entfernt sind, zuverlässig zu sein. Einige Methoden, die versuchen zu messen, wie deutlich die Themen voneinander abgegrenzt sind, schlugen konsistent Zahlen vor, die viel zu hoch waren und oft an das Limit stießen, das die Forscher getestet hatten. Andere Methoden, die untersuchen, wie gut das Modell ungesehene Texte vorhersagt, lieferten Ergebnisse, die so flach und unveränderlich waren, dass sie keinerlei Orientierung boten. Die Forscher fanden heraus, dass die Anzahl der Themen keine feste, natürliche Eigenschaft des Textes selbst ist, wie etwa die Anzahl der Seiten eines Buches. Vielmehr ist sie eine Größe, die stark von dem spezifischen Werkzeug abhängt, mit dem man misst, und dem spezifischen Modell, mit dem man analysiert.
In ihrem Fazit legen die Autoren nahe, dass die Fachwelt einem Mythos nachjagt. Die Vorstellung, dass es eine einzige, „natürliche“ Anzahl an Themen gibt, die in jedem Datensatz darauf wartet, entdeckt zu werden, scheint nicht korrekt zu sein. Die Anzahl der Themen ist eher wie ein Regler, an dem ein Benutzer dreht, um den Detailgrad anzupassen, ähnlich wie beim Zoomen auf einer Landkarte. Eine Karte einer Stadt kann einzelne Straßen zeigen oder nur große Autobahnen; keine von beiden ist die „wahre“ Karte, sie sind nur unterschiedliche Ansichten für verschiedene Zwecke. Die Forscher argumentieren, dass Praktiker, anstatt zu versuchen, eine perfekte Anzahl an Themen automatisch zu finden, sich stattdessen darauf konzentrieren sollten, was sie tatsächlich mit dem Modell erreichen wollen. Sie sollten fragen, wie detailliert die Gruppierungen sein sollen oder ob sie spezifische Fragen haben, die das Modell beantworten soll. Die Suche nach einer intrinsischen, automatischen Lösung für die Anzahl der Themen hat laut dieser Studie in eine Sackgasse geführt, was darauf hindeutet, dass die Antwort nicht in einer besseren Formel liegt, sondern in einem besseren Verständnis des menschlichen Ziels hinter der Analyse.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.