Jais 2: A Family of Arabic-Centric Open Large Language Models
Jais 2 is een familie van open, commercieel toegankelijke Arabisch-centrische grote taalmodellen, inclusief een variant met 70 miljard parameters, ontwikkeld door MBZUAI, Cerebras en Inception om state-of-the-art prestaties te leveren op Arabische en cultureel gewortelde benchmarks met een hoge inferentiesnelheid op Cerebras-hardware.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren praten. Een lange tijd waren de beste leraren voornamelijk Engelstaligen, dus leerde de robot perfect Engels praten, maar struikelde hij over andere talen, vooral over talen die zo rijk en complex zijn als het Arabisch. Arabisch is als een enorme oceaan met een formele "diepe water"-versie die wordt gebruikt voor nieuws en boeken, en tientallen "ondiepe water"-dialecten die in het dagelijks leven worden gebruikt, plus een unieke manier van schrijven die letters en cijfers mengt. Tot nu toe kenden de meeste robots alleen het diepe water of hadden ze een zeer beperkte woordenschat. Dit artikel introduceert Jais 2, een nieuwe familie van AI-modellen die specifiek zijn gebouwd om diep in de Arabische oceaan te duiken. Denk aan deze modellen als superintelligente studenten die niet alleen een woordenboek uit hun hoofd leerden; ze groeiden op door te luisteren naar dichters, chefs, religieuze geleerden en grootmoeders die dromen vertelden, terwijl ze leerden zowel formeel Arabisch als de vele lokale dialecten vloeiend te spreken. Het doel was om een AI te creëren die niet alleen woorden vertaalt, maar ook werkelijk de cultuur, geschiedenis en ziel van de Arabischsprekende wereld begrijpt.
De onderzoekers achter Jais 2, een team uit de VAE, Inception en Cerebras, bouwden twee hoofdversies van deze AI: een kleiner, beweeglijk model van 8 miljard parameters en een enorme reus van 70 miljard parameters. Ze hebben deze modellen niet simpelweg aangepast; ze hebben deze modellen vanaf de basis getraind met een enorme bibliotheek van meer dan 600 miljard Arabische tokens (tekstblokken) en 1,6 biljoen tokens aan Engels en code. Om dit efficiënt te maken, creëerden ze een aangepaste "woordenschat" van 150.000 woorden, zoals een gespecialiseerd woordenboek ontworpen voor het Arabisch, wat de AI helpt veel sneller te lezen en te schrijven. Ze gebruikten ook een speciaal trainingsrecept waarbij ze de AI niet alleen feiten voerden, maar ook cultuurspecifieke taken: het leren interpreteren van dromen, het reciteren van poëzie, het identificeren van regionale gerechten en het beantwoorden van vragen over de islamitische wetgeving.
De resultaten laten zien dat Jais 2 een krachtpatser is voor het Arabisch. Wanneer de 70-miljard versie werd getest op een leaderboard van open-source Arabische modellen, nam deze de eerste plaats in en versloeg daarmee andere reusachtige modellen zoals Llama 3 en Qwen 2.5 in het begrijpen van de Arabische cultuur, dialecten en algemene kennis. Zelfs de kleinere 8-miljard versie presteerde beter dan de meeste andere modellen van zijn omvang. De AI werd niet alleen goed in feiten; het leerde ook de nuances van de taal aan te kunnen, zoals het identificeren in welk van de 17 verschillende Arabische dialecten een zin is geschreven en het begrijpen van het verschil tussen een formeel nieuwsbericht en een informeel tekstbericht. Het toonde ook sterke vaardigheden in het Engels, wat bewees dat de focus op het Arabisch het niet verhinderde om de wereldtaal te blijven spreken. Het team heeft de modellen vrijgegeven voor iedereen om te gebruiken en heeft zelfs een chat-app gebouwd die draait op super-snelle hardware, in staat om 2.000 woorden per seconde te genereren. Hoewel de AI erg goed is, suggereren de auteurs dat er nog steeds ruimte is voor groei, met name in complexe wiskunde en sommige specifieke Engelse leesopdrachten, maar het vertegenwoordigt een belangrijke sprong voorwaarts in het echt toegankelijk en cultureel bewust maken van AI voor de Arabischsprekende wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.