Instruction-Guided Poetry Generation in Arabic and Its Dialects
Dieser Beitrag stellt einen groß angelegten, instruktionsbasierten Datensatz in Hocharabisch und seinen Dialekten vor, der es großen Sprachmodellen ermöglicht, Gedichte gemäß spezifischer Benutzeranforderungen wie Stil und Reim kontrolliert zu generieren, zu überarbeiten und zu analysieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich arabische Dichtung als eine große, alte Bibliothek vor, gefüllt mit Millionen schöner Bücher. Seit Jahrhunderten schreiben Menschen in dieser Bibliothek Gedichte unter strikten Regeln für Rhythmus, Reim und Stil, ähnlich wie beim Bau eines Hauses mit spezifischen Bauplänen. Bislang waren Computer (speziell Large Language Models oder LLMs) jedoch meist wie Bibliothekare, die die Bücher nur lesen, die Seiten zählen oder erraten konnten, wer sie geschrieben hat. Sie waren nicht sehr gut darin, selbst neue Gedichte zu schreiben, insbesondere wenn sie aufgefordert wurden, spezifische Regeln einzuhalten oder in verschiedenen regionalen Dialekten zu verfassen.
Diese Arbeit stellt ein neues Projekt namens InstructPoet vor, das Computern beibringt, selbst Dichter zu werden. Hier ist eine einfache Erklärung, wie sie es umgesetzt haben:
1. Das Rezeptbuch (Der Datensatz)
Um einem Computer das Kochen beizubringen, braucht man ein gutes Kochbuch. Die Forscher sammelten eine riesige Sammlung arabischer Gedichte aus dem Internet, die alles von der Antike bis zur Gegenwart abdeckt.
- Die Bereinigung: Sie organisierten diesen chaotischen Haufen von Gedichten in ein sauberes, einheitliches Format, ähnlich wie das Sortieren eines durcheinandergeratenen LEGO-Kastens in geordnete Fächer.
- Die Beschriftung: Sie fügten jedem Gedicht „Metadaten" (Labels) hinzu und markierten sie mit Details wie „Romantisch", „Krieg", „Abbasiden-Zeit" oder „Golf-Dialekt".
- Die Übersetzung: Sie beschränkten sich nicht nur auf Hocharabisch (MSA). Sie erstellten Anweisungen in fünf verschiedenen Varianten: Hocharabisch plus vier große Dialekte (Golf, Levante, Niltal und Nordafrika). Das ist vergleichbar damit, dem Computer beizubringen, nicht nur formelles Englisch zu sprechen, sondern auch texanisches, schottisches und australisches Englisch, damit er mit jedem natürlich sprechen kann.
2. Die vier Trainings-Spiele (Die Aufgaben)
Anstatt den Computer nur zu bitten, „ein Gedicht zu schreiben", richteten sie vier spezifische Trainings-Spiele ein, um den Computer schlauer zu machen:
- Generierung (Das leere Blatt): „Schreibe ein romantisches Gedicht über das Meer unter Verwendung eines bestimmten Rhythmus." Der Computer muss etwas aus dem Nichts erschaffen.
- Fortsetzung (Der Cliffhanger): „Hier sind die ersten drei Zeilen eines Gedichts; bitte beenden Sie den Rest." Der Computer muss die Geschichte und den Rhythmus weiterführen, ohne den Fluss zu unterbrechen.
- Revision (Der Redakteur): „Hier ist ein Gedicht mit einigen Tippfehlern und einem gebrochenen Rhythmus; korrigieren Sie es." Der Computer agiert wie ein Korrekturleser und stellt das Gedicht in seinen perfekten Zustand wieder her.
- Analyse (Der Quiz): „Lesen Sie dieses Gedicht und sagen Sie mir: Aus welcher Epoche stammt es? Wie lautet das Reimschema?" Der Computer agiert wie ein Kritiker, der eine Prüfung ablegt.
3. Das Klassenzimmer (Das Training der Modelle)
Die Forscher nahmen vier verschiedene „Schüler"-Computer (bestehende KI-Modelle) und unterrichteten sie mit diesem neuen Datensatz.
- Die Schüler: Sie verwendeten zwei Modelle, die in vielen Sprachen gut sind (LLaMA und Qwen), und zwei, die auf Arabisch spezialisiert sind (ALLaM und Fanar).
- Der Lehrstil: Sie versuchten zwei Methoden. Eine war Joint Training (alle Spiele auf einmal auf den Schüler werfen), die andere Curriculum Learning (zuerst das Leichte lehren, wie die Analyse, und das Schwierige, wie das Schreiben aus dem Nichts, für später aufheben).
4. Der Zeugnis (Die Ergebnisse)
Nach dem Training testeten sie die Schüler auf zwei Arten:
- Der Roboter-Bewerter: Sie nutzten eine weitere KI, um die Gedichte in Bezug auf Grammatik, Fluss und ob der Computer tatsächlich die Regeln befolgte (wie die Verwendung des richtigen Reims), zu bewerten.
- Die menschlichen Richter: Sie stellten muttersprachliche Arabischsprecher ein, die Dichtung lieben, um die Gedichte zu lesen und auf einer Skala von 1 bis 5 zu bewerten.
Die Erkenntnisse:
- Riesige Verbesserung: Vor dem Training waren die Computer schrecklich darin, Gedichte zu schreiben, die Regeln befolgten. Nach dem Training wurden sie deutlich besser.
- Der beste Schüler: Das ALLaM-Modell, das bereits für Arabisch entwickelt war, wurde nach dem Training zum Top-Dichter. Es erzielte die höchsten Werte in Bezug auf Flüssigkeit und Kohärenz.
- Die schwierigste Aufgabe: Das Schreiben eines Gedichts aus dem Nichts (Generierung) war für die Computer am einfachsten. Das Korrigieren eines kaputten Gedichts (Revision) war am schwierigsten, da der Computer dabei die „Seele" des Gedichts verstehen musste, während er die technischen Fehler beheben musste.
- Dialekte funktionierten: Die Computer wurden deutlich besser darin, verschiedene arabische Dialekte zu verstehen und darin zu schreiben, nicht nur die formelle Version.
Das Fazit
Diese Arbeit behauptet nicht, dass Computer menschliche Dichter ersetzen werden oder dass sie bereits perfekte, seelenbewegende Meisterwerke schreiben können. Stattdessen zeigt sie, dass wir nun einen digitalen Assistenten bauen können, der Menschen beim Schreiben von Gedichten hilft. Wenn Sie ein Gedicht in einem bestimmten Stil, mit einem bestimmten Reim und in Ihrem lokalen Dialekt wünschen, kann dieses neue System Ihnen helfen, einen Entwurf zu erstellen, Ihre Fehler zu korrigieren oder sogar zu analysieren, was Sie geschrieben haben. Es verwandelt den Computer von einem passiven Leser in einen aktiven, regelkonformen kreativen Partner.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.