Creation of the Estonian Subjectivity Dataset: Assessing the Degree of Subjectivity on a Scale
Dieses Paper führt einen neuen estnischen Datensatz für Dokumenten-Subjektivität ein, der 1.000 Texte enthält, die von menschlichen Annotatoren auf einer kontinuierlichen Skala bewertet wurden, während es gleichzeitig die Machbarkeit und die Grenzen der Verwendung von GPT-5 für das automatisierte Scoring von Subjektivität im Vergleich zum menschlichen Urteil evaluiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu messen, wie viel „Geschmack“ in einer Schüssel Suppe steckt. Einige Schüsseln sind einfach nur Wasser (vollkommen objektive Fakten), während andere mit Gewürzen, Kräutern und der persönlichen Meinung des Kochs vollgepackt sind (vollkommen subjektiv). Lange Zeit konnten Forscher in der Welt der Computer und der Sprache (Natural Language Processing) nur fragen: „Ist diese Suppe würzig oder nicht?“ (Ja/Nein).
In dieser Arbeit geht es darum, einen viel präziseren Messbecher für die estnische Sprache zu bauen. Anstatt eines einfachen „Ja oder Nein“ haben die Forscher einen Datensatz erstellt, in dem sie 1.000 verschiedene estnische Texte auf einer Skala von 0 bis 100 bewertet haben. Eine Punktzahl von 0 ist reiner, unverfälschter Fakt (wie ein Wetterbericht), und 100 ist reine persönliche Meinung (wie ein Wälzer über einen schlechten Film).
Hier ist die Geschichte, wie sie diesen Messbecher gebaut haben und was sie herausgefunden haben, einfach erklärt:
1. Das Rezept: Den Datensatz erstellen
Das Team wollte sehen, ob Menschen bei diesen „Geschmackswerten“ übereinstimmen konnten.
- Die Zutaten: Sie sammelten 1.000 Texte. 300 waren Nachrichten und Meinungsbeiträge aus dem Internet, und 700 waren zufällige Web-Texte (wie Blogs, Foren, Rezepte und Anzeigen).
- Die Verkoster: Sie engagierten menschliche „Verkoster“ (Annotatoren), um diese Texte zu lesen und ihnen eine Punktzahl zwischen 0 und 100 zu geben.
- Der Testlauf: Bevor sie sich an alle 1.000 Texte machten, testeten sie die Methode an nur 60 Texten. Es funktionierte gut! Die Verkoster verstanden die Skala und konnten den Unterschied zwischen einem trockenen Nachrichtenbericht und einem würzigen Meinungsstück erkennen.
2. Der Geschmackstest: Menschen sind sich nicht immer einig
Als das Team drei verschiedene Personen bat, dieselben 1.000 Texte zu bewerten, waren die Ergebnisse etwas chaotisch.
- Das „Subjektivitäts-Problem“: Genau wie Menschen unterschiedliche Schmerzgrenzen für Schärfe haben, haben auch Menschen unterschiedliche Vorstellungen davon, was als „subjektiv“ gilt. Einem Menschen mag eine Nachricht mit einem Zitat als neutral erscheinen, während ein anderer denkt, dass das Zitat sie voreingenommen macht.
- Die Korrelation: Die Übereinstimmung zwischen den Menschen war „moderat“. Es war nicht schlecht, aber auch nicht perfekt. Manchmal gab eine Person einem Text eine Punktzahl von 10 (sehr faktisch) und eine andere eine 90 (sehr meinungsorientiert).
- Das erneute Verkosten: Um dies zu beheben, wählten sie die 250 Texte aus, bei denen sich die Menschen am meisten uneinig waren, und baten zwei der Verkoster, diese erneut zu bewerten. Dieses Mal wurde die Übereinstimmung viel besser. Es stellte sich heraus, dass die Reihenfolge, in der sie die Texte lasen, entscheidweise war. Wenn sie gerade eine Reihe von wütenden Tiraden gelesen hatten, wurden sie beim nächsten Text hyper-sensibel für Objektivität. Es ist, als ob man nach dem Essen einer super sauren Zitrone die nächste Frucht süßer wahrnimmt, als sie eigentlich ist.
3. Der Roboter-Verkoster: Enter GPT-5
Die Forscher stellten dann eine Frage: „Kann ein superintelligenter Computer (eine KI namens GPT-5) diesen Job genauso gut machen wie Menschen?“
- Das Experiment: Sie ließen die KI alle 1.000 Texte bewerten.
- Das Ergebnis: Die KI war überraschend konsistent. Wenn man sie bat, dieselbe Gruppe von Texten dreimal zu bewerten, gab sie fast immer die gleichen Antworten (im Gegensatz zu Menschen, deren Stimmung und Kontext ihre Bewertungen veränderten).
- Der Unterschied: Die KI und die Menschen sahen jedoch nicht immer die gleiche Welt.
- Zitate: Wenn ein Nachrichtenartikel jemanden zitierte, verstanden Menschen, dass der Autor lediglich Fakten wiedergibt. Die KI hingegen sah das Zitat und dachte: „Hey, diese Person drückt eine Meinung aus!“ und gab dem Text eine höhere Subjektivitätsbewertung.
- Slang: Menschen liebten es, Texten in Slang oder Forensprache hohe Punktzahlen zu geben, weil sich dies persönlich und emotional anfühlte. Die KI konzentrierte sich mehr auf die Fakten innerhalb des Slangs und gab ihm eine niedrigere, eher „objektive“ Punktzahl.
4. Das abschließende Urteil
Das Paper kommt zu folgendem Schluss:
- Der Datensatz ist real: Es ist ihnen gelungen, den ersten estnischen Datensatz zu erstellen, der Subjektivität auf einer feingliedrigen Skala (0–100) statt nur „Ja/Nein“ misst.
- Menschen sind fehlerhaft, aber menschlich: Menschen können die Skala nutzen, aber ihre Bewertungen werden durch das beeinflusst, was sie unmittelbar zuvor gelesen haben, sowie durch ihre eigene persönliche Perspektive.
- KI ist ein Helfer, kein Ersatz: Die KI (GPT-5) ist gut darin, konsistent und schnell zu sein, aber sie „schmeckt“ den Text anders als Menschen. Sie übersieht die Nuancen von Tonfall und Kontext, die Menschen erfassen.
Kurz gesagt: Man kann die KI nutzen, um schnell eine grobe Vorstellung davon zu bekommen, wie subjektiv ein Text ist, aber wenn man das menschliche Gefühl hinter den Worten verstehen will, braucht man immer noch einen Menschen zum Verkosten. Die KI und der Mensch sind wie zwei verschiedene Köche, die dieselben Zutaten verwenden, aber leicht unterschiedliche Rezepte befolgen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.