PERCEPT: A Corpus for POS Tagging and Analysis of Persian-English Code-Mixing
Dieses Paper stellt PERCEPT vor, das erste groß angelegte persisch-englische Code-Mixing-Korpus, das mit Universal-Dependencies-POS-Tags annotiert ist, zusammen mit einem LLM-gestützten Annotationsframework und einer umfassenden linguistischen Analyse, die plattformspezifische Muster des Code-Mixings in sozialen Medien aufdeckt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet wie einen riesigen, chaotischen Spielplatz vor, auf dem Menschen aus der ganzen Welt gleichzeitig schreien, flüstern und chatten. Auf diesem Spielplatz sprechen viele Menschen nicht nur eine Sprache; sie mischen sie zusammen wie Zutaten in einem Smoothie. Das nennt man „Code-Mixing“. Es geschieht, wenn jemand einen Satz in seiner Muttersprache beginnt und plötzlich ein englisches Wort einwirft, weil es sich genau richtig anfühlt oder weil es das einzige Wort ist, das er für ein neues Gerät kennt. Für Computer ist das ein Albtraum. Wenn ein Computer versucht, einen Satz zu verstehen, erwartet er, dass Wörter strengen Regeln folgen. Aber wenn Sprachen vermischt werden, wird der Computer verwirrt – wie ein Koch, der versucht, einem Rezept zu folgen, das mitten beim Backen eines Kuchens plötzlich von metrischen Tassen zu imperialen Unzen wechselt. Um Computern beizubringen, wie sie mit dieser chaotischen, unterhaltsamen Realität umgehen können, benötigen Wissenschaftler ein spezielles Wörterbuch und einen Satz von Regeln – einen „Korpus“, der ihnen genau zeigt, wie diese gemischten Wörter funktionieren.
Hier kommt PERCEPT ins Spiel, ein neues Projekt, das wie eine riesige, organisierte Bibliothek für Persisch sprechende Menschen fungiert, die gerne Englisch in ihre Posts einbauen. Die Forscher, ein Team aus Linguisten und Informatikern aus dem Iran, bemerkten, dass wir zwar Landkarten für andere gemischte Sprachpaare haben, die Persisch-Englisch-Mischung jedoch ein dunkler, unerforschter Wald war. Sie wollten eine Taschenlampe bauen, um zu sehen, was dort geschieht. Also sammelten sie 6.800 Posts aus drei populären digitalen Treffpunkten: X (ehemals Twitter), Instagram und Digikala (eine massive Online-Shopping-Seite). Sie sammelten nicht nur die Wörter; sie nutzten einen superintelligenten KI-Assistenten namens Gemini, der wie ein Detektiv fungierte und jedes einzelne englische Wort (oder englische Wörter, die in persischen Buchstaben geschrieben wurden) mit seinem „Job“ im Satz markierte. In der Grammatik wird dieser Job als „Wortart“ (Part-of-Speech, POS) bezeichnet. Ist das Wort ein Nomen (ein Ding)? Ein Verb (eine Handlung)? Ein Adjektiv (eine Beschreibung)? Das Team bat die KI auch darum, zu erraten, worüber der Post sprach, wie zum Beispiel „Shopping“, „Politik“ oder „lustige Memes“.
Hier ist der spannende Teil: Das Team hat die Bibliothek nicht nur gebaut, sondern sie auch betreten und angefangen, die Bücher zu lesen, um zu sehen, welche Muster sie finden konnten. Sie entdeckten, dass Persischsprechende, wenn sie Englisch einmischen, dies hauptsächlich für Nomen (Dinge) tun. Es ist, als würden sie die „Objekte“ aus dem Englischen ausleihen, aber die „Handlungen“ und „Beschreibungen“ auf Persisch behalten. Zum Beispiel könnten sie sagen: „I bought a new laptop“, wobei „laptop“ das geliehene Nomen ist, während der Rest des Satzes auf Persisch bleibt. Die „Geschmacksrichtung“ des Mixes ändert sich jedoch je nach Ort. Auf der Shopping-Seite Digikala mischten die Leute viele Markennamen und Produktmodelle (was spezielle Namen oder „Eigennamen“ sind) hinein. Auf X mischten sie mehr Verben (Handlungen) hinein, und auf Instagram neigten sie eher zu Adjektiven (Beschreibungen).
Die Forscher schauten auch darauf, wo sich diese gemischten Wörter in einem Satz verstecken. Sie fanden eine überraschende Beständigkeit: Unabhängig von der Plattform erscheinen gemischte Wörter tendenziell am Anfang oder in der Mitte eines Satzes, aber selten ganz am Ende. Es ist, als würden die Sprecher das englische Wort früh einwerfen, um die Szene zu setzen, und dann den Gedanken auf Persisch zu Ende führen. Die interessanteste Entdeckung war jedoch über das „Triggering“. Auf Digikala galt: Wenn jemand ein englisches Wort benutzte, war es sehr wahrscheinlich, dass direkt danach ein weiteres folgte. Es ist, als ob man, sobald man über eine bestimmte Marke oder ein Produkt spricht, die englischen Wörter einfach fließen lässt. Dies geschah auf Instagram oder X nicht so stark.
Schließlich prüften sie, welche Themen die meiste Mischung verursachten. Unüberraschenderweise wiesen die Themen „Industrie & Handel“ sowie „Marke & Geschäft“ die höchste Menge an Code-Mixing auf. Wenn Menschen über Shopping, Technik oder Wirtschaft sprechen, können sie einfach nicht anders, als englische Begriffe einzustreuen. Das Team bestätigte die Arbeit ihrer KI, indem sie eine Stichprobe von menschlichen Experten überprüfen ließen, und die Menschen stimmten fast immer mit der KI überein, was bewies, dass ihre neue Bibliothek zuverlässig ist.
Kurz gesagt: Dieses Paper liefert uns nicht nur einen neuen Datensatz; es gibt uns ein klares Bild davon, wie Persischsprechende Sprachen natürlich miteinander vermengen. Es legt nahe, dass sich zwar die Arten der Wörter, die sie ausleihen, je nach Plattform ändern, das Wie des Mischens jedoch einem stetigen Rhythmus folgt. Diese Karte steht nun jedem zur Verfügung und hilft dabei, bessere Übersetzungswerkzeuge, intelligentere Chatbots und ein tieferes Verständnis dafür zu entwickeln, wie wir in einer Welt kommunizieren, in der Sprachen ständig miteinander tanzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.