Improving Collaborative Storytelling with a Multi-Agent Framework Based on Large Language Models

Résumé technique : Amélioration de la narration collaborative grâce à un cadre multi-agents basé sur des modèles de langage de grande taille

Énoncé du problème
L'article aborde le défi de la génération de récits de haute qualité, appropriés et cohérents pour les jeunes enfants (âgés de 3 à 6 ans) dans un contexte de narration collaborative. Alors que la recherche existante sur la co-création par IA cible principalement des utilisateurs adultes dans des environnements numériques, cette étude se concentre sur un jeu de société physique sans écran appelé YOLI. Dans ce cadre, les enfants sélectionnent des tuiles physiques représentant des éléments de l'histoire (protagoniste, lieu, ambiance, objet, activité), qui sont ensuite utilisées par une intelligence artificielle pour générer un récit.

Un obstacle technique critique identifié est la question des hallucinations d'adhérence dans les modèles de langage de grande taille (LLM). Dans ce contexte, les hallucinations désignent des écarts par rapport aux instructions de l'utilisateur ou aux contextes d'entrée, où le récit généré échoue à intégrer avec précision les éléments spécifiques sélectionnés par les enfants. De tels échecs peuvent entraîner de la frustration et un désengagement de l'utilisateur. L'article postule que la génération standard en un seul passage manque souvent du raffinement nécessaire pour garantir une adhésion stricte à ces contraintes tout en maintenant la qualité narrative.

Méthodologie
Les auteurs proposent un cadre multi-agents centré sur une boucle itérative Rédacteur–Éditeur. Ce système fonctionne entièrement au moment de l'inférence, sans nécessiter d'entraînement ou de fine-tuning supplémentaire.

1. La boucle de jeu : Les enfants sélectionnent des tuiles sur le plateau YOLI. Ces sélections servent de contraintes d'entrée pour le système de génération d'histoire.
2. L'agent Rédacteur : Un LLM (spécifiquement Gemma 2 2B dans l'étude) agit en tant que « Rédacteur ». Il reçoit une invite contenant les éléments de l'histoire sélectionnés et génère un récit.
3. L'agent Éditeur : Un LLM distinct agit en tant qu'« Éditeur ». Il évalue la sortie du Rédacteur selon une grille standardisée axée sur la Pertinence (alignement avec les tuiles d'entrée). L'Éditeur attribue un score numérique (0–100 %) et fournit une justification/critique.
4. Raffinement itératif :
   • Boucle 1 : Le Rédacteur reçoit une invite zero-shot pour générer un récit initial.
   • Boucle 2+ : Le Rédacteur reçoit une invite one-shot incluant le récit original, la critique de l'Éditeur et le score. Le Rédacteur tente de générer une version améliorée.
   • Ce processus se répète jusqu'à cinq itérations, l'Éditeur réévaluant la nouvelle sortie à chaque cycle.

Conception de l'étude de simulation
Pour évaluer le cadre, les auteurs ont mené une étude de simulation utilisant un jeu de données d'environ 1 000 tuples de tuiles (combinaisons d'éléments de l'histoire).

• Rédacteur : Fixé sur Gemma 2 (2 milliards de paramètres).
• Éditeurs : Variés selon différentes familles de modèles et tailles de paramètres : Gemma 2 (2B, 9B, 27B), Llama 3.1 (8B) et Mistral (7B).
• Métrique : La métrique principale était le score de « qualité perçue » attribué par l'LLM Éditeur, suivant la trajectoire d'amélioration à travers les itérations.

Résultats clés

1. Amélioration constante de la qualité : Pour tous les modèles Éditeurs testés, le score moyen de qualité perçue a augmenté avec chaque itération successive Rédacteur–Éditeur. Cela confirme que le processus itératif de critique guide efficacement le Rédacteur à affiner sa sortie.
2. Rendements décroissants : L'amélioration la plus significative s'est produite lors de la transition de la première à la deuxième boucle (passage d'une invite zero-shot à une invite one-shot avec feedback). Les itérations suivantes (boucles 3–5) ont produit des gains progressivement plus faibles.
3. Vitesse de convergence : L'étude suggère que le point d'arrêt optimal pour le processus itératif se situe dans les cinq itérations. L'analyse de survie a indiqué que pour les Éditeurs disposant de plus de 7 milliards de paramètres, il existe une probabilité de 90 % d'atteindre leur score maximal en cinq boucles.
4. Corrélation avec la capacité du modèle : Les modèles Éditeurs plus grands (par exemple, Gemma 2 27B) ont démontré une probabilité plus élevée d'atteindre leur score de pointe plus tôt dans le processus par rapport aux modèles plus petits (par exemple, Gemma 2 2B), suggérant que des évaluateurs plus sophistiqués peuvent guider le raffinement plus efficacement. Cependant, même les modèles plus petits ont montré des tendances d'amélioration constantes.
5. Biais de préférence auto-référencée : Bien que le modèle Gemma 2 2B agissant à la fois comme Rédacteur et Éditeur ait obtenu les scores absolus les plus élevés, les auteurs notent que cela pourrait indiquer un biais de préférence auto-référencée. Cependant, une inspection manuelle a suggéré que l'utilisation d'une grille guidée a atténué ce problème, et les modèles plus grands (comme Llama 3.1 8B) ont tout de même obtenu des scores finaux comparables (89 % contre 91 %).

Portée et affirmations
L'article affirme que le cadre Rédacteur–Éditeur proposé offre une alternative légère et pratique aux méthodes d'alignement intensives en entraînement telles que l'apprentissage par renforcement à partir de retours humains (RLHF) ou l'apprentissage par renforcement à partir de retours d'IA (RLAIF).

• Aucun entraînement requis : Le système repose uniquement sur des interactions au moment de l'inférence, éliminant le besoin de jeux de données de préférences humaines coûteux et laborieux ou d'entraînement de modèles de récompense.
• Évolutivité pour la conception centrée sur l'enfant : Le cadre équilibre efficacement l'ouverture requise pour le jeu créatif avec les contraintes strictes nécessaires à un contenu adapté aux enfants, en abordant spécifiquement le problème des hallucinations d'adhérence.
• Efficacité : La découverte selon laquelle des sorties de haute qualité peuvent être obtenues en un petit nombre d'itérations (2–3) rend le système viable pour la narration interactive en temps réel, où la latence et la réactivité sont critiques.

Limites
Les auteurs reconnaissent modestement que les scores de qualité sont synthétiques, dérivés uniquement d'Éditeurs basés sur des LLM plutôt que d'une évaluation humaine externe. Bien qu'une évaluation qualitative préliminaire par des écrivains professionnels et un concepteur de YOLI ait suggéré un alignement avec le jugement humain, l'article souligne que les travaux futurs doivent valider ces scores par rapport à des évaluations d'éducateurs en petite enfance et à des notations directes des enfants pour s'assurer que les améliorations correspondent à un engagement véritablement centré sur l'humain.