Improving Collaborative Storytelling with a Multi-Agent Framework Based on Large Language Models

Technische Samenvatting: Verbetering van Collaboratief Verhalenvertellen met een Multi-Agent Framework Gebaseerd op Grootte Taalmodellen

Probleemstelling
Het artikel adresseert de uitdaging om hoogwaardige, passende en coherente verhalen te genereren voor jonge kinderen (leeftijd 3–6) binnen een context van collaboratief verhalenvertellen. Waar bestaand onderzoek naar AI-gedeelde creatie voornamelijk gericht is op volwassen gebruikers in digitale omgevingen, richt deze studie zich op een fysiek, schermloos bordspel genaamd YOLI. In deze setting kiezen kinderen fysieke tegels die verhaalonderdelen vertegenwoordigen (protagonist, locatie, stemming, voorwerp, activiteit), die vervolgens door een AI worden gebruikt om een verhaal te genereren.

Een kritische technische hindernis die is geïdentificeerd, is het probleem van trouw-hallucinaties in Grootte Taalmodellen (LLM's). In deze context verwijzen hallucinaties naar afwijkingen van gebruikersinstructies of inputcontexten, waarbij het gegenereerde verhaal de specifieke elementen die door de kinderen zijn geselecteerd, niet accuraat verwerkt. Dergelijke fouten kunnen leiden tot frustratie en desinteresse bij de gebruiker. Het artikel stelt dat standaard generatie in één doorgang vaak de noodzakelijke verfijning mist om strikte naleving van deze beperkingen te garanderen, terwijl de kwaliteit van het verhaal behouden blijft.

Methodologie
De auteurs stellen een multi-agent framework voor dat is gecentreerd rond een iteratieve Schrijver–Redacteur-lus. Dit systeem werkt uitsluitend tijdens de inferentie, zonder dat extra training of fine-tuning vereist is.

1. De Spel-lus: Kinderen kiezen tegels op het YOLI-bord. Deze selecties dienen als inputbeperkingen voor het verhaalgeneratiesysteem.
2. De Schrijver-agent: Een LLM (specifiek Gemma 2 2B in de studie) fungeert als de "Schrijver". Deze ontvangt een prompt met de geselecteerde verhaalonderdelen en genereert een verhaal.
3. De Redacteur-agent: Een aparte LLM fungeert als de "Redacteur". Deze evalueert de output van de Schrijver aan de hand van een gestandaardiseerde rubric met de nadruk op Relevantie (uitlijning met de invoertegels). De Redacteur kiest een numerieke score (0–100%) en geeft een onderbouwing/critiek.
4. Iteratieve Verfijning:
   • Lus 1: De Schrijver ontvangt een zero-shot prompt om een eerste verhaal te genereren.
   • Lus 2+: De Schrijver ontvangt een one-shot prompt die het originele verhaal, de kritiek van de Redacteur en de score bevat. De Schrijver probeert een verbeterde versie te genereren.
   • Dit proces wordt herhaald tot maximaal vijf iteraties, waarbij de Redacteur de nieuwe output in elke cyclus opnieuw evalueert.

Ontwerp van de Simulatiestudie
Om het framework te evalueren, voerden de auteurs een simulatiestudie uit met een dataset van ongeveer 1.000 tegeltupels (combinaties van verhaalonderdelen).

• Schrijver: Vastgesteld als Gemma 2 (2B parameters).
• Redacteuren: Variërend over verschillende model-families en parametergroottes: Gemma 2 (2B, 9B, 27B), Llama 3.1 (8B) en Mistral (7B).
• Maatstaf: De primaire maatstaf was de "waargenomen kwaliteit"-score toegewezen door de Redacteur-LLM, waarbij het traject van verbetering over de iteraties werd gevolgd.

Belangrijkste Resultaten

1. Consistente Kwaliteitsverbetering: Bij alle geteste Redacteur-modellen steeg de gemiddelde waargenomen kwaliteitscore met elke opeenvolgende Schrijver–Redacteur-iteratie. Dit bevestigt dat het iteratieve kritiekproces de Schrijver effectief leidt tot het verfijnen van de output.
2. Afnemende Meeropbrengst: De meest significante verbetering vond plaats bij de overgang van de eerste naar de tweede lus (van zero-shot naar one-shot prompting met feedback). Opvolgende iteraties (lus 3–5) leverden progressief kleinere winsten op.
3. Convergentiesnelheid: De studie suggereert dat het optimale stoppunt voor het iteratieve proces ligt binnen vijf iteraties. Survivalanalyse gaf aan dat voor Redacteuren met 7+ miljard parameters, er een 90% kans is dat ze hun maximale score binnen vijf lussen bereiken.
4. Correlatie met Modelcapaciteit: Grotere Redacteur-modellen (bijv. Gemma 2 27B) vertoonden een hogere waarschijnlijkheid om eerder in het proces hun piekscore te bereiken in vergelijking met kleinere modellen (bijv. Gemma 2 2B), wat suggereert dat geavanceerdere beoordelaars verfijning efficiënter kunnen sturen. Zelfs kleinere modellen vertoonden echter consistente verbeteringstrends.
5. Zelf-preferentie Bias: Hoewel het Gemma 2 2B-model dat fungeerde als zowel Schrijver als Redacteur de hoogste absolute scores behaalde, merken de auteurs op dat dit kan wijzen op een zelf-preferentie bias. Echter, handmatige inspectie suggereerde dat het gebruik van een geleide rubric dit probleem mitigeerde, en grotere modellen (zoals Llama 3.1 8B) behaalden nog steeds vergelijkbare eindscores (89% versus 91%).

Betekenis en Aanspraken
Het artikel stelt dat het voorgestelde Schrijver–Redacteur-framework een lichtgewicht, praktisch alternatief biedt voor trainingsintensieve uitlijnmethoden zoals Reinforcement Learning from Human Feedback (RLHF) of Reinforcement Learning from AI Feedback (RLAIF).

• Geen Training Vereist: Het systeem vertrouwt uitsluitend op interacties tijdens de inferentie, waardoor de behoefte aan dure, arbeidsintensieve menselijke voorkeursdatasets of training van beloningsmodellen wordt geëlimineerd.
• Schaalbaarheid voor Kindgerichte Ontwerp: Het framework balanceert effectief de openheid die vereist is voor creatief spel met de strikte beperkingen die noodzakelijk zijn voor kindvriendelijke inhoud, en adresseert specifiek het probleem van trouw-hallucinaties.
• Efficiëntie: De bevinding dat hoogwaardige outputs kunnen worden bereikt in een klein aantal iteraties (2–3), maakt het systeem levensvatbaar voor real-time interactief verhalenvertellen, waarbij latentie en responsiviteit kritiek zijn.

Beperkingen
De auteurs erkennen nederig dat de kwaliteitsscores synthetisch zijn, uitsluitend afgeleid van LLM-gebaseerde Redacteuren in plaats van externe menselijke evaluatie. Hoewel een voorlopige kwalitatieve beoordeling door professionele schrijvers en een YOLI-ontwerper suggereerde dat er sprake was van uitlijning met menselijk oordeel, benadrukt het artikel dat toekomstig werk deze scores moet valideren tegen beoordelingen van kleuteronderwijzers en directe ratings van kinderen om ervoor te zorgen dat de verbeteringen overeenkomen met echte mensgerichte betrokkenheid.