Instruction-Guided Poetry Generation in Arabic and Its Dialects
Cet article présente un jeu de données à grande échelle, basé sur des instructions, en arabe standard moderne et dans ses dialectes, qui permet aux grands modèles de langage de générer, réviser et analyser de manière contrôlée de la poésie selon des exigences spécifiques de l'utilisateur telles que le style et la rime.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez la poésie arabe comme une grande bibliothèque ancienne remplie de millions de beaux livres. Pendant des siècles, les gens ont écrit des poèmes dans cette bibliothèque en suivant des règles strictes concernant le rythme, la rime et le style, un peu comme construire une maison avec des plans spécifiques. Cependant, jusqu'à présent, les ordinateurs (spécifiquement les modèles de langage de grande taille ou LLM) ont surtout été comme des bibliothécaires capables uniquement de lire les livres, de compter les pages ou de deviner qui les a écrits. Ils n'ont pas été très doués pour écrire eux-mêmes de nouveaux poèmes, surtout lorsqu'on leur demandait de suivre des règles précises ou d'écrire dans différents accents régionaux (dialectes).
Ce document présente un nouveau projet appelé InstructPoet, qui apprend aux ordinateurs à devenir des poètes eux-mêmes. Voici comment ils ont procédé, expliqué simplement :
1. Le Livre de Recettes (L'ensemble de données)
Pour apprendre à un ordinateur à cuisiner, il faut un bon livre de recettes. Les chercheurs ont rassemblé une immense collection de poèmes arabes provenant d'Internet, couvrant tout, de l'Antiquité à l'époque moderne.
- Le Nettoyage : Ils ont organisé ce tas désordonné de poèmes dans un format uniforme et soigné, comme trier une boîte de LEGOs mélangés dans des bacs séparés.
- Les Étiquettes : Ils ont ajouté des « métadonnées » (étiquettes) à chaque poème, les marquant avec des détails tels que « Romantique », « Guerre », « Ère Abbasside » ou « Dialecte du Golfe ».
- La Traduction : Ils n'ont pas seulement utilisé l'arabe standard (MSA). Ils ont créé des instructions dans cinq saveurs différentes : l'arabe standard plus quatre dialectes majeurs (Golfe, Levantin, Vallée du Nil et Nord-africain). C'est comme apprendre à l'ordinateur à parler non seulement l'anglais formel, mais aussi l'anglais texan, écossais et australien, afin qu'il puisse parler naturellement à n'importe qui.
2. Les Quatre Jeux d'Entraînement (Les Tâches)
Au lieu de simplement demander à l'ordinateur d'« écrire un poème », ils ont mis en place quatre jeux d'entraînement spécifiques pour rendre l'ordinateur plus intelligent :
- Génération (La Page Blanche) : « Écrivez un poème romantique sur la mer en utilisant un rythme spécifique. » L'ordinateur doit créer quelque chose à partir de rien.
- Continuation (Le Cliffhanger) : « Voici les trois premières lignes d'un poème ; veuillez terminer le reste. » L'ordinateur doit poursuivre l'histoire et le rythme sans briser le flux.
- Révision (L'Éditeur) : « Voici un poème avec quelques fautes de frappe et un rythme brisé ; corrigez-le. » L'ordinateur agit comme un relecteur, restaurant le poème à son état parfait.
- Analyse (Le Quiz) : « Lisez ce poème et dites-moi : À quelle époque appartient-il ? Quel est son schéma de rimes ? » L'ordinateur agit comme un critique passant un test.
3. La Classe (L'Entraînement des Modèles)
Les chercheurs ont pris quatre « étudiants » ordinateurs différents (modèles d'IA existants) et les ont enseignés en utilisant cet nouvel ensemble de données.
- Les Étudiants : Ils ont utilisé deux modèles bons dans de nombreuses langues (LLaMA et Qwen) et deux spécialisés dans l'arabe (ALLaM et Fanar).
- Le Style d'Enseignement : Ils ont essayé deux méthodes. L'une était l'Entraînement Joint (jeter tous les jeux à l'étudiant en même temps), et l'autre l'Apprentissage par Curriculum (enseigner d'abord les choses faciles, comme l'analyse, et réserver les choses difficiles, comme l'écriture à partir de rien, pour plus tard).
4. Le Bulletin de Notes (Résultats)
Après l'entraînement, ils ont testé les étudiants de deux manières :
- Le Correcteur Robot : Ils ont utilisé une autre IA pour noter les poèmes sur des aspects tels que la grammaire, le flux et si l'ordinateur avait réellement suivi les règles (comme utiliser la bonne rime).
- Les Juges Humains : Ils ont engagé des locuteurs natifs arabes aimant la poésie pour lire les poèmes et les noter sur une échelle de 1 à 5.
Les Constatations :
- Amélioration Massive : Avant l'entraînement, les ordinateurs étaient terribles pour écrire de la poésie suivant des règles. Après l'entraînement, ils se sont nettement améliorés.
- Le Meilleur Étudiant : Le modèle ALLaM, qui était déjà conçu pour l'arabe, est devenu le meilleur poète après l'entraînement. Il a obtenu les scores les plus élevés en fluidité et en cohérence.
- La Tâche la Plus Difficile : Écrire un poème à partir de rien (Génération) était le plus facile pour les ordinateurs. Corriger un poème brisé (Révision) était le plus difficile, car cela exigeait que l'ordinateur comprenne l'« âme » du poème tout en corrigeant les erreurs techniques.
- Les Dialectes Ont Fonctionné : Les ordinateurs se sont beaucoup améliorés dans la compréhension et l'écriture en différents dialectes arabes, et pas seulement dans la version formelle.
La Conclusion
Ce document ne prétend pas que les ordinateurs remplaceront les poètes humains ou qu'ils peuvent écrire des chefs-d'œuvre parfaits et ébranlant l'âme pour l'instant. Au lieu de cela, il montre que nous pouvons désormais construire un assistant numérique qui aide les gens à écrire de la poésie. Si vous voulez un poème dans un style spécifique, avec une rime spécifique, dans votre dialecte local, ce nouveau système peut vous aider à en rédiger une ébauche, à corriger vos erreurs, ou même à analyser ce que vous avez écrit. Il transforme l'ordinateur d'un lecteur passif en un partenaire créatif actif et respectueux des règles.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.