MUESCA: A Multi-Genre Corpus and Annotation Scheme for Subjectivity in Spanish

In der weiten Landschaft der menschlichen Sprache gibt es eine ständige Spannung zwischen dem, was schlicht wahr ist, und dem, was sich wahr anfühlt. Jahrzehntelang haben Wissenschaftler im Bereich des Natural Language Processing versucht, Computern beizubringen, zwischen einer Tatsachenbehauptung und einem persönlichen Ausdruck der Meinung zu unterscheiden. Diese Aufgabe, bekannt als Subjektivitätsdetektion, ist entscheidend für alles – von der Sortierung von Nachrichtenartikeln bis hin zum Verständnis der öffentlichen Stimmung. Der traditionelle Ansatz war jedoch oft zu simpel und behandelte Sprache wie einen binären Schalter, bei dem ein Satz entweder objektiv oder subjektiv ist. In der Realität ist die menschliche Kommunikation selten so schwarz-weiß. Ein Nachrichtenbericht mag eine Tatsache feststellen, während er sie subtil mit der Perspektive eines Journalisten rahmt; eine wissenschaftliche Arbeit mag harte Daten präsentieren, während sie eine vorsichtige Sprache verwendet, um zukünftige Möglichkeiten zu beschreiben. Die Herausforderung besteht darin, diesen fließenden Mittelweg zu erfassen, in dem der „Fingerabdruck des Autors“ in Worten verborgen liegt, die an der Oberfläche neutral erscheinen.

Ein Forschungsteam der Universität Alicante in Spanien hat mit der Erstellung einer neuen Ressource namens MUESCA einen bedeutenden Schritt zur Lösung dieses Rätsels unternommen. Anstatt Texte in starre Boxen zu pressen, entwickelten sie einen Datensatz, der Subjektivität als eine gleitende Skala oder ein Kontinuum behandelt. Zu diesem Zweck sammelten und analysierten sie drei sehr unterschiedliche Arten von Texten: wissenschaftliche Abstracts, die das objektivste Ende des Spektrums repräsentieren; Konsumentenbewertungen, die das subjektivste Ende darstellen; und Nachrichtenartikel, die in der unordentlichen, hybriden Mitte liegen. Durch die Untersuchung dessen, wie Autoren in diesen verschiedenen Genres spezifische linguistische Werkzeuge nutzen – wie etwa Wörter, die Gewissheit ausdrücken, Phrasen, die Zweifel zeigen, oder Pronomen, die persönliche Beteiligung offenbaren –, kartierten die Forscher genau, wie sich die „Stimme“ des Schreibers über diese Stile hinweg verändert. Ihre Arbeit bietet eine neue Möglichkeit, die unsichtbare Präsenz eines menschlichen Autors innerhalb eines Textes zu messen, und bietet eine nuanciertere Karte, mit der Computer die komplexe Welt des menschlichen Ausdrucks navigieren können.

Der Kern dieses Projekts ist der MUESCA-Korpus, eine Sammlung von 1.865 Sätzen aus 135 Dokumenten. Die Forscher haben diese Sätze nicht nur gesammelt; sie haben sie akribisch annotiert und dabei spezifische grammatikalische und lexikalische Merkmale markiert, die signalisieren, wie sehr sich der Autor auf das bezieht, was er sagt. Sie unterteilten diese Signale in zwei Hauptgruppen: hohe Autorenbindung (high author commitment) und niedrige Autorenbindung (low author commitment). Hohe Bindung umfasst Marker der Gewissheit, wie die Verwendung des Futurums oder das Darstellen von etwas als Tatsache, sowie Marker der Partizipation, wie die Verwendung von „ich“ oder „wir“. Niedrige Bindung umfasst Marker des Zweifels, wie der Konjunktiv oder Wörter wie „vielleicht“, sowie Marker der Distanzierung, wie das Passiv, um zu verbergen, wer die Handlung vollzogen hat. Durch das Zählen dieser Merkmale konnte das Team sehen, dass wissenschaftliche Abstracts dazu neigen, sich auf spezifische Daten und unpersönliche Strukturen zu verlassen, während Bewertungen voller persönlicher Meinungen und direkter Interaktion sind. Nachrichtenartikel zeigten, wie erwartet, eine Mischung aus beidem und bestätigten damit ihren Status als Hybridgenre.

Um sicherzustellen, dass ihre Ergebnisse robust sind, testeten die Forscher, ob diese linguistischen Marker Computern tatsächlich helfen können, zwischen den verschiedenen Arten von Texten zu unterscheiden. Sie trainierten Machine-Learning-Modelle, um die Texte in die Kategorien objektiv, hybrid oder subjektiv zu klassifizieren. Wenn die Modelle nur den Rohtext erhielten, schnitten sie vernünftig ab, aber als die Forscher die spezifischen pragmatischen Marker aus ihrem Annotationsschema hinzufügten, wurden die Modelle bei dieser Aufgabe signifikant besser. Die effektivste Kombination von Merkmalen beinhaltete die Messung des Niveaus der Spezifität und des Grades der Gewissheit. Dieser Ansatz ermöglichte es dem Computer, nicht nur zu verstehen, worum es in dem Text geht, sondern wie der Autor diese Information präsentiert. Die Ergebnisse waren besonders stark für das Nachrichtengenre, das oft am schwierigsten zu klassifizieren ist, da es Fakten mit Interpretation vermengt. Durch die Verwendung dieser pragmatischen Marker verbesserte das Modell seine Fähigkeit, die subtilen Wege zu erkennen, mit denen Journalisten ihre Geschichten rahmen.

Die Forscher untersuchten auch, wie diese vom Menschen entworfenen Regeln neben moderner künstlicher Intelligenz funktionieren könnten. Sie kombinierten ihre spezifischen Marker mit einem leistungsstarken Sprachmodell namens BETO, das auf riesigen Mengen spanischer Texte trainiert wurde. Obwohl dieses fortgeschrittene Modell bereits sehr gut darin war, Sprache zu verstehen, verbesserte das Hinzufügen der spezifischen Subjektivitätsmarker seine Leistung dennoch. Die Verbesserung war in prozentualen Begriffen klein, aber statistisch signifikant, was darauf hindeutet, dass die expliziten Regeln über die Autorenbindung dem Computer halfen, Ambiguitäten aufzulösen, die rein statistische Muster übersehen hatten. Dies gilt insbesondere für Nachrichtenartikel, bei denen die Genauigkeit des Modells zunahm, wenn es die spezifischen linguistischen Signale von Zweifel oder Gewissheit wahrnehmen konnte. Die Studie bestätigt, dass große KI-Modelle zwar mächtig sind, sie aber dennoch von einem strukturierten Verständnis davon profitieren, wie Menschen ihre Argumente aufbauen und ihre Überzeugungen ausdrücken.

Einer der aufschlussreichsten Aspekte der Studie war, wie sich das Nachrichtengenre verhielt, wenn es gegen die beiden anderen Extreme antreten musste. Als die Forscher das Modell testeten, indem sie es baten, Nachrichten von wissenschaftlichen Abstracts zu unterscheiden, fiel es dem Modell relativ leicht, sie voneinander zu unterscheiden. Wenn es jedoch darum ging, Nachrichten von Konsumentenbewertungen zu unterscheiden, war die Aufgabe schwieriger. Dies deutet darauf hin, dass die Sprache des Journalismus trotz ihres Rufs nach Neutralität eine ähnliche pragmatische DNA mit Meinungsbeiträgen teilt als mit der distanzierten Sprache der Wissenschaft. Nachrichtenartikel enthielten oft genug subjektive Rahmung und evaluierende Sprache, um die Grenze zu Rezensionen zu verwischen, was sie schwerer von der subjektiven Seite zu trennen machte. Dieser Befund stützt die Idee, dass Subjektivität keine feste Eigenschaft eines Texttyps ist, sondern eine fluide Qualität, die sich verschieben kann, je nachdem, wie der Autor entscheidet, seine Informationen zu präsentieren.

Das MUESCA-Projekt erhebt nicht den Anspruch, das Problem der Subjektivitätsdetektion vollständig gelöst zu haben, aber es bietet ein solides Fundament für zukünftige Arbeiten. Die Forscher haben ihren Datensatz und ihre Annotationsrichtlinien der Allgemeinheit zugänglich gemacht, damit die wissenschaftliche Gemeinschaft auf ihrer Arbeit aufbauen kann. Sie planen, den Korpus zu erweitern, um weitere Genres wie Social-Media-Posts und technische Berichte einzubeziehen, um zu sehen, ob ihre Methode in informelleren oder polarisierteren Umgebungen Bestand hat. Sie sehen auch Potenzial in der Betrugserkennung, wo die Art und Weise, wie Informationen präsentiert werden – durch Gewissheit oder Zweifel – aussagekräftiger sein könnte als die Fakten selbst. Indem sie sich auf die pragmatische Vermittlung von Informationen statt nur auf den Inhalt konzentrieren, bietet dieser Ansatz eine neue Linse, um zu verstehen, wie Menschen Sprache nutzen, um die Realität zu gestalten. Die Arbeit zeigt, dass wir, indem wir die komplexe Aufgabe der Subjektivität in messbare linguistische Komponenten zerlegen, Werkzeuge bauen können, die nicht nur genauer, sondern auch transparenter darüber sind, wie sie zu ihren Schlussfolgerungen gelangen.