Jais 2: A Family of Arabic-Centric Open Large Language Models
Jais 2 ist eine Familie von offenen, kommerziell permissiven, arabisch-zentrierten Large Language Models, einschließlich einer Variante mit 70 Milliarden Parametern, die von MBZUAI, Cerebras und Inception entwickelt wurde, um eine erstklassige Leistung bei arabischen und kulturell fundierten Benchmarks mit hoher Inferenzgeschwindigkeit auf Cerebras-Hardware zu liefern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter das Sprechen beizubringen. Lange Zeit waren die besten Lehrer überwiegend Englischsprecher, sodass der Roboter lernte, perfekt Englisch zu sprechen, aber über andere Sprachen stolperte, insbesondere über solche, die so reich und komplex sind wie Arabisch. Arabisch ist wie ein riesiger Ozean mit einer formellen „Tiefwasser“-Version, die für Nachrichten und Bücher verwendet wird, und Dutzenden von „Flachwasser“-Dialekten, die im täglichen Leben genutzt werden, plus einer einzigartigen Art zu schreiben, die Buchstaben und Zahlen vermischt. Bis jetzt kannten die meisten Roboter nur das Tiefwasser oder hatten einen sehr begrenzten Wortschatz. Dieses Papier stellt Jais 2 vor, eine neue Familie von KI-Modellen, die speziell entwickelt wurde, um tief in den arabischen Ozean einzutauchen. Betrachten Sie diese Modelle als superintelligente Studenten, die nicht nur ein Wörterbuch auswendig gelernt haben; sie sind aufgewachsen, indem sie Poeten, Köchen, Religionsgelehrten und Großmüttern beim Erzählen von Traumgeschichten zugehört haben, während sie gleichzeitig lernten, sowohl formelles Arabisch als auch seine vielen lokalen Dialekte fließend zu sprechen. Das Ziel war es, eine KI zu erschaffen, die nicht nur Wörter übersetzt, sondern die Kultur, die Geschichte und die Seele der arabischsprachigen Welt wahrhaftig versteht.
Die Forscher hinter Jais 2, ein Team aus den VAE, Inception und Cerebras, bauten zwei Hauptversionen dieser KI: ein kleineres, flinkes Modell mit 8 Milliarden Parametern und einen massiven Giganten mit 70 Milliarden Parametern. Sie haben diese Modelle nicht einfach nur angepasst; sie haben sie von Grund auf neu trainiert, indem sie eine riesige Bibliothek von über 600 Milliarden arabischen Token (Textstücken) und 1,6 Billionen Token aus Englisch und Code verwendeten. Um dies effizient zu gestalten, entwickelten sie ein maßgeschneidertes „Vokabular“ von 150.000 Wörtern, wie ein spezialisiertes Wörterbuch, das nur für Arabisch entworfen wurde, was der KI hilft, viel schneller zu lesen und zu schreiben. Sie verwendeten auch ein spezielles Trainingsrezept, bei dem der KI nicht nur Fakten zugeführt wurden, sondern kulturell spezifische Aufgaben: das Interpretieren von Träumen, das Rezitieren von Poesie, das Identifizieren regionaler Gerichte und das Beantworten von Fragen zum islamischen Recht zu lernen.
Die Ergebnisse zeigen, dass Jais 2 ein Kraftpaket für Arabisch ist. Als es auf einer Bestenliste für Open-Source-Arabisch-Modelle getestet wurde, belegte die 70-Milliarden-Version den ersten Platz und schlug andere riesige Modelle wie Llama 3 und Qwen 2.5 im Verständnis der arabischen Kultur, der Dialekte und des allgemeinen Wissens. Selbst die kleinere 8-Milliarden-Version schnitt besser ab als die meisten anderen Modelle ihrer Größe. Die KI wurde nicht nur gut in Fakten; sie lernte, die Nuancen der Sprache zu handhaben, wie etwa zu identifizieren, in welchem der 17 verschiedenen arabischen Dialekte ein Satz geschrieben wurde, und den Unterschied zwischen einem formellen Nachrichtenbericht und einer lockeren Textnachricht zu verstehen. Sie zeigte auch starke Fähigkeiten in Englisch und bewies damit, dass der Fokus auf Arabisch sie nicht dazu brachte, die globale Sprache zu vergessen. Das Team hat die Modelle für jeden zur Nutzung freigegeben und sogar eine Chat-App gebaut, die auf Super-Schnell-Hardware läuft und in der Lage ist, 2.000 Wörter pro Sekunde zu generieren. Obwohl die KI sehr gut ist, geben die Autoren an, dass sie noch Raum zum Wachsen hat, insbesondere in komplexer Mathematik und einigen spezifischen englischen Leseaufgaben, aber sie stellt einen bedeutenden Sprung nach vorn dar, um KI für die arabischsprachige Welt wahrhaft zugänglich und kulturell bewusst zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.