“Just do register analysis”, they said. “It’ll be easy”, they said: Evaluating the impact of lexico-grammatical tagging systems on multidimensional analysis
Diese Studie evaluiert systematisch fünf Open-Source-Systeme für das lexico-grammatische Tagging für die multidimensionale Analyse und zeigt auf, dass diese zwar erfolgreich allgemeine Registerunterschiede replizieren, ihre resultierenden Dimensionswerte jedoch aufgrund inkonsistenter Merkmalsoperationalisierung und nicht aufgrund von Unterschieden in den zugrunde liegenden NLP-Pipelines signifikant variieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Sprache als eine riesige, belebte Stadt vor. Jedes Mal, wenn wir sprechen oder schreiben, wandern wir durch verschiedene Stadtviertel: einen lebhaften Marktplatz voller Geplapper (Konversation), eine stille Bibliothek voller Fakten (akademisches Schreiben) oder ein dramatisches Bühnenstück (Fiktion). Linguisten wollen diese Stadtviertel schon lange kartieren, um zu verstehen, was sie einzigartig macht. Um dies zu tun, verwenden sie ein leistungsstarkes Werkzeug namens „Multidimensional Analysis“ (MDA). Betrachten Sie MDA als ein hochmodernes GPS, das nicht nur einzelne Wörter betrachtet, sondern den „Vibe“ eines Textes misst, indem es hunderte kleiner Hinweise zählt – wie etwa, wie viele Kontraktionen verwendet werden, wie oft Menschen „ich“ oder „du“ sagen oder wie viele lange, komplizierte Sätze vorkommen. Diese Hinweise werden in „Dimensionen“ gruppiert, die wie unsichtbare Achsen auf einer Karte funktionieren. Eine Achse könnte messen, wie „gesprächig und involviert“ ein Text ist, während eine andere misst, wie „faktisch und distanziert“ er ist.
Jahrzehntelang verließen sich Forscher auf ein spezifisches, legendäres Werkzeug namens „Biber Tagger“, um diese Hinweise zu zählen. Es ist wie ein ursprünglicher, vertrauenswürdiger Kompass, den jeder in der Stadt benutzt. Aber hier ist der Haken: Dieser ursprüngliche Kompass ist in einem Tresor verschlossen; niemand sonst kann sehen, wie er funktioniert, oder ihn direkt benutzen. Deshalb haben einige kluge Ingenieure ihre eigenen Open-Source-Versionen dieses Kompasses gebaut, damit jeder mit der Karte spielen kann. Aber eine große Frage bleibt: Zeigen diese neuen Kompasse in exakt dieselbe Richtung wie der ursprüngliche? Wenn zwei Entdecker unterschiedliche Karten verwenden, landen sie dann im selben Stadtviertel, oder verirrt sich einer in einem ganz anderen Teil der Stadt? Dies ist das Rätsel, das ein Team von Forschern der Universität Erlangen-Nürnberg lösen wollte.
Die Forscher beschlossen, fünf dieser neuen „Biber-ähnlichen“ Werkzeuge auf die Probe zu stellen. Sie nahmen eine massive Sammlung britischer Romane aus dem 19. Jahrhundert – wobei sie speziell auf den Unterschied zwischen den gesprächigen Teilen, in denen Charaktere miteinander reden (Dialog), und den Teilen, in denen der Autor die Geschichte erzählt (Narration), achteten. Sie wussten, dass der „ursprüngliche“ Kompass bereits gezeigt hatte, dass Dialog meist sehr „involviert“ und konversationell ist, während Narration eher „informativ“ und beschreibend ist. Das Team ließ denselben Text durch fünf verschiedene Open-Source-Tools laufen: MAT, pseudobibeR, pybiber, BiberPlus und Biberpy. Sie wollten sehen, ob sich diese Tools über das Layout der Karte einig sind oder ob sie völlig unterschiedliche Städte zeichnen würden.
Die Ergebnisse waren eine Mischung aus „meistens ja“ und „Vorsicht vor den Ausreißern“. Erst einmal die gute Nachricht: Fast alle Tools fanden erfolgreich das große Ganze. Sie waren sich alle einig, dass Dialog gesprächig und Narration faktisch ist. Die allgemeine Form der Stadt blieb gleich. Doch als die Forscher die exakten Koordinaten betrachteten – die spezifischen Zahlen auf der Karte –, stellten sie fest, dass sich die Tools in den Details nicht immer einig waren. Einige Tools, wie MAT und pybiber, lieferten Ergebnisse, die dem Original sehr nahe kamen. Andere, wie Biberpy, waren etwas wild; sie platzierten die Texte an Stellen, die überraschend weit entfernt von dort lagen, wo der ursprüngliche Kompass sie verortet hatte.
Warum passierte das? Die Forscher kletterten in die Maschinenräume dieser Tools, um die Übeltäter zu finden. Sie entdeckten, dass die Unterschiede meistens nicht durch die zugrunde liegende Technologie (wie das spezifische Sprachmodell, das das Tool zum Verständnis der Grammatik nutzt) verursacht wurden. Stattdessen lag das Problem darin, wie die Tools bestimmte Dinge zählten. Es stellte sich heraus, dass einige knifflige Merkmale unterschiedlich gezählt wurden. Zum Beispiel könnte ein Tool ein bestimmtes Fragezeichen oder eine seltsame Satzstruktur auf eine Weise gezählt haben, die die Zahlen in die Höhe schnellen ließ und so das Endergebnis verfälschte. Es ist, als ob ein Kartograf beschließen würde, jeden einzelnen Kieselstein auf dem Bürgersteig als „Gebäude“ zu zählen, während ein anderer nur Wolkenkratzer zählt; die Gesamtzahl der Gebäude würde völlig unterschiedlich aussehen, selbst wenn sich die Stadt selbst nicht verändert hätte.
Die Studie prüfte auch, wie schnell diese Tools waren. Die Forscher fanden heraus, dass die mit moderner Technologie (unter Verwendung von Python) gebauten Tools im Allgemeinen schnell waren, besonders wenn man einen leistungsstarken Computer mit einer Grafikkarte (GPU) zur Unterstützung hatte. Ein Tool, MAT, war etwas langsamer, da es erforderte, dass ein Mensch auf Schaltflächen klickt, während andere automatisch laufen konnten. Interessanterweise führte die Verwendung eines „klügeren“ oder komplexeren Sprachmodells nicht zwangsläufig zu einer genaueren Karte; es dauerte nur länger, sie zu zeichnen.
Am Ende legt die Arbeit nahe, dass diese neuen Tools zwar großartig und größtenteils zuverlässig sind, aber keine perfekten Kopien des Originals darstellen. Wenn Sie Ihre neuen Erkenntnisse direkt mit alten Studien vergleichen wollen, die den ursprünglichen „Biber Tagger“ verwendet haben, müssen Sie sehr vorsichtig sein. Sie müssen möglicherweise Ihre Einstellungen anpassen oder seltene Wörter herausfiltern, um die Zahlen in Einklang zu bringen. Die Forscher warnen davor, dass einige Tools, wie Biberpy, derzeit vielleicht zu unterschiedlich sind, um für direkte Vergleiche genutzt zu werden. Sie schlagen auch vor, dass die Zukunft dieses Feldes in der Flexibilität dieser Werkzeuge liegt, sodass Forscher genau wählen können, wie sie Dinge zählen möchten, und vielleicht sogar Werkzeuge zu entwickeln, die Sprachen außer Englisch kartieren können. Die Stadt der Sprache ist riesig, und obwohl wir viele neue Kompasse haben, müssen wir immer noch sicherstellen, dass sie alle auf die gleiche Weise nach Norden zeigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.