HAMLET: A Hierarchical and Adaptive Multi-Agent Framework for Live Embodied Theatrics

Dit artikel introduceert HAMLET, een hiërarchisch adaptief multi-agent framework dat gebruikmaakt van grote taalmodellen om autonome, interactieve en fysiek geëmbodeerde theatervoorstellingen te genereren en te evalueren op basis van een eenvoudige thematische input.

De kern

HAMLET: De Regisseur, de Acteurs en de Magische Toneelzaal

Stel je voor dat je een toneelstuk wilt maken, maar in plaats van een script te schrijven en acteurs te huren, vraag je een groep slimme computers (AI) om het allemaal zelf te regelen. Dat is precies wat HAMLET doet. Het is een nieuw systeem dat live, interactieve theaterstukken maakt met kunstmatige intelligentie.

Hier is hoe het werkt, vertaald in een simpel verhaal:

1. Het Idee: Van "Doe maar wat" naar "Een Geweldige Show"

Vroeger waren AI-acteurs als passieve poppen. Je moest ze elke beweging vertellen ("Ga nu naar links", "Zeg nu dit"). Als je stopte met praten, stopte de show. Ze misten eigen initiatief en konden niet echt met de omgeving omgaan (zoals een brief openen of een zwaard oppakken).

HAMLET verandert dit. Het is alsof je een regisseur hebt die een blauwdruk maakt, en daarna een groep acteurs die spontaan kunnen improviseren, net als echte mensen.

2. De Twee Fasen van HAMLET

Fase 1: De Offline Regisseur (Het Blauwdruk)

Stel je voor dat je zegt: "Maak een toneelstuk over Hamlet die zijn oom wil testen."
HAMLET begint dan niet direct met acteren. Eerst gaan verschillende "AI-assistenten" aan het werk:

• De Personage-ontwerper: Bedenkt wie er meespelen (Hamlet, de Koning, etc.) en hoe ze zijn (boos, slim, angstig).
• De Plotontwerper: Bedenkt het verhaal.
• De Criticus: Kijkt of het logisch is.
• De Regisseur: Zet alles in een strak plan (het "blauwdruk").

Dit plan is geen strikt script. Het is meer een routebeschrijving. Het zegt: "We moeten hier aankomen, en dit moet gebeuren," maar laat de acteurs vrij om hoe ze daar komen zelf te beslissen.

Fase 2: De Live Show (De Improvisatie)

Nu begint de show. De acteurs (de AI) stappen het toneel op. Hier gebeurt het magische:

• De PAD-module (Het Brein): Elke acteur heeft een speciaal "hersenmoduletje" (genaamd PAD). Dit werkt als een menselijk brein dat twee systemen heeft:
  1. Systeem 1 (Snel): Een instinctieve reactie (bijv. schrikken van een knal).
  2. Systeem 2 (Traag): Een nadenkende reactie (bijv. een plan smeden om de koning te bedriegen).
     Dit zorgt ervoor dat de acteurs niet alleen reageren, maar ook nadenken en beslissingen nemen.
• De Verhalenverteller (De Narrator): Dit is de scheidsrechter. Als een acteur zegt: "Ik pak het zwaard en steek de koning," kijkt de Verteller of dat kan. Is het zwaard er? Is de koning in de kamer? Zo ja, dan gebeurt het. Zo nee, dan zegt de Verteller: "Nee, dat kan niet, het zwaard ligt te ver weg." Dit maakt de wereld voelbaar en echt.
• De Voorwaartse Duw (De Advancer): Soms raken acteurs in een praatkooi of twijfelen ze te lang. Dan komt de "Advancer" tussenbeide. Hij zegt: "Hé, we moeten vooruit! Doe iets!" zodat de show niet vastloopt.

3. Waarom is dit zo speciaal?

• Het is een levende wereld: De acteurs kunnen dingen aanraken. Ze kunnen een brief openen, een kaars uitblazen of een deur dichtslaan. De omgeving verandert mee.
• Het is spontaan: Je hoeft niet elke zin te typen. Je geeft alleen een onderwerp, en de AI zorgt voor de rest.
• Het is eerlijk beoordeeld: De makers hebben een speciale "AI-jury" (HAMLETJudge) gebouwd. Deze jury kijkt niet alleen naar de tekst, maar ook of de acteurs geloofwaardig zijn, of het verhaal logisch is, en of het publiek erin opgaat.

De Analogie: Een Sfeervol Diner

Stel je voor dat je een diner organiseert:

• Oude methoden: Je bent de kok én de ober. Je moet elke gang zelf koken en elke gast persoonlijk bedienen. Als je stopt, is het eten klaar en stopt de service.
• HAMLET: Je bent de gastheer die alleen het thema zegt: "Een romantisch diner."
  • De Regisseur (Offline) zorgt dat er een menu en een indeling is.
  • De Koks en Oberen (Online) werken samen. Ze weten wat ze moeten doen, maar kunnen improviseren als een gast iets anders bestelt.
  • De Scheidsrechter (Narrator) zorgt dat niemand een tafel omgooit of een onmogelijk gerecht bestelt.
  • De Gastheer (Advancer) zorgt dat het diner niet vastloopt als de koks te lang nadenken.

Conclusie

HAMLET is een grote stap vooruit. Het maakt van AI-acteurs geen robots die wachten op commando's, maar echte medespelers die initiatief nemen, nadenken en samen een meeslepende, levendige toneelervaring creëren. Het is alsof je een toneelstuk hebt dat nooit twee keer hetzelfde is, en dat je zelf kunt meespelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "HAMLET: A Hierarchical and Adaptive Multi-Agent Framework for Live Embodied Theatrics", vertaald en samengevat in het Nederlands.

Probleemstelling

Het creëren van een meeslepende, interactieve en fysiek realistische theaterervaring met kunstmatige intelligentie is een langdurig doel binnen het domein van interactief narratief. Bestaande methoden die gebruikmaken van Large Language Models (LLMs) kampen met drie fundamentele beperkingen:

1. Gebrek aan initiatief: AI-acteurs reageren vaak passief op gebruikersinstructies in plaats van proactieve beslissingen te nemen die de plot vooruitdrijven.
2. Afbreuk aan immersie: Veel systemen vereisen gedetailleerde gebruikersinput (zoals volledige verhaalschetsen), wat de spontaniteit en de "live"-karakteristiek van een optreden beperkt.
3. Ontbrekende fysieke interactie: Bestaande modellen missen vaak het vermogen om te interageren met de fysieke omgeving (bijv. voorwerpen oppakken, deuren openen), waardoor het drama verwordt tot abstracte dialoog zonder tastbare realiteit.
4. Evaluatiegebrek: Er bestaat geen gestandaardiseerde methode om de kwaliteit van live, fysiek geëmbodied theaterobjectief te beoordelen; bestaande benchmarks focussen voornamelijk op tekstuele coherentie of rolvastheid, niet op de totale dramatische uitvoering.

Methodologie: Het HAMLET Framework

HAMLET (Hierarchical and Adaptive Multi-Agent Framework for Live Embodied Theatrics) is een tweefasig systeem dat offline planning en online uitvoering ontkoppelt.

1. Offline Planning (Narratieve Blauwdruk)

In deze fase wordt een gestructureerde narratieve blauwdruk gegenereerd op basis van een simpel onderwerp (of een bestaand literair werk). Dit proces wordt uitgevoerd door een collaboratieve workflow van vier agenten:

• Actor Designer: Genereert personageprofielen (persoonlijkheid, doelen, relaties) en raadpleegt externe kennisbronnen.
• Plot Designer: Creëert een voorlopig verhaal en definieert scènes, omgevingen en interactieve voorwerpen.
• Reviewer: Evalueert de rationaliteit van personages en plotconsistentie.
• Director: Integreert alle input tot een hiërarchische blauwdruk. Deze bevat "acts", "scenes", en "narrative points" (doelpunten) met specifieke vlaggen (flags) die aangeven wanneer een punt is voltooid. Een cruciale stap is "backward planning": het director plant eerst het einde en werkt dan logisch terug naar het begin om plotdeviatie te voorkomen.

2. Online Performance (Live Uitvoering)

De blauwdruk leidt een dynamische, improviserende uitvoering waarbij AI-acteurs en menselijke spelers samenwerken.

• PAD Module (Perceive And Decide): Dit is het kerninnovatiepunt voor elk acteur-agent. Gebaseerd op de dual-process theorie van menselijke cognitie (Systeem I: snel/intuïtief, Systeem II: traag/analytisch), bepaalt PAD de reactiestrategie. Het agent kan kiezen voor:
  • Fast: Impulsieve reactie.
  • Slow: Geraadpleegde, strategische overweging.
  • Silence: Strategisch zwijgen.
  • Action: Fysieke interactie met de omgeving.
    De module gebruikt Retrieval-Augmented Generation (RAG) voor geheugen en combineert interne staten (doelen, emoties) met externe prikkels (omgeving, dialooggeschiedenis).
• Omgevingsinteractie: Een Narrator Agent fungeert als scheidsrechter. Wanneer een acteur een fysieke actie probeert (bijv. "pik een mes"), beoordeelt de Narrator de haalbaarheid op basis van de huidige staat van de omgeving en fysieke regels. Succesvolle acties updaten de globale omgeving en worden gebroadcast; mislukte acties krijgen een logische uitleg.
• Coördinatie Agents:
  • Planner: Ontwerpt meerdere mogelijke trajecten (reeksen van "beats") tussen narratieve punten.
  • Transfer: Controleert of een vlag is behaald en schakelt over naar het volgende punt.
  • Advancer: Intervenieert als de plot vastloopt (deadlock) en geeft instructies om de plot vooruit te helpen.

Evaluatiemethode

Om de kwaliteit objectief te meten, introduceert het paper:

• HAMLETJudge: Een gespecialiseerd criticus-model (gefinetuned op 8B parameters) dat live optredens evalueert.
• Drie Evaluatiedimensies:
  1. Character Performance (CP): Geloofwaardigheid, consistentie en agency.
  2. Narrative Quality (NQ): Coherentie, resonantie en integriteit van het verhaal.
  3. Interaction Experience (IE): Responsiviteit, immersie en vlotheid.
• Dataset: Een dataset van 100 gevallen (25 Chinese en 25 Engelse klassiekers + 50 aangepaste thema's) met menselijke annotatie voor training en validatie.

Resultaten

• Prestaties: HAMLET presteert aanzienlijk beter dan bestaande methoden. In de "HAMLET Leaderboard" behaalde reasoning-modellen (zoals Claude-4-sonnet-Thinking en Qwen3-32B-Thinking) de hoogste scores, maar HAMLET's eigen PAD-module (een 8B model) bleek uitzonderlijk efficiënt.
• Efficiëntie vs. Kwaliteit: Het paper toont aan dat reasoning-modellen vaak betere subtekst en strategie hanteren, maar vaak te veel latentie hebben voor live toepassingen. De PAD-module lost dit op door een evenwicht te vinden: het bereikt state-of-the-art prestaties met minimale latentie (geen "thinking"-tokens die wachten vereisen), wat essentieel is voor real-time interactie.
• Ablatie Studies:
  • Zonder PAD zijn de interacties minder menselijk en coherent.
  • Zonder de Reviewer daalt de kwaliteit van de blauwdruk en de uiteindelijke uitvoering.
  • Zonder de Advancer daalt de taakvoltooiingsrate van 100% naar 68,1% door plotdeadlocks.
• Correlatie: HAMLETJudge toont een sterke correlatie met menselijke beoordelingen (Pearson correlatie > 0,79), wat aantoont dat het model betrouwbaar is voor automatische evaluatie.

Betekenis en Impact

HAMLET vertegenwoordigt een paradigmaverschuiving in AI-gedreven narratief:

1. Van Passief naar Actief: Het stelt AI-agenten in staat om autonome, proactieve beslissingen te nemen in complexe groepsdynamieken, in plaats van alleen te reageren.
2. Embodied AI: Het introduceert een robuust mechanisme voor fysieke interactie binnen een virtuele omgeving, wat essentieel is voor geloofwaardig theater.
3. Schaalbare Evaluatie: Met HAMLETJudge wordt een nieuwe standaard gezet voor het evalueren van complete dramatische uitvoeringen, niet alleen losse dialoogturns.
4. Praktische Toepasbaarheid: Het framework is ontworpen voor live implementatie met engineering-optimalisaties (zoals streaming output en kwantisatie) die de latentie minimaliseren, waardoor het een haalbare oplossing is voor toekomstige interactieve entertainment-systemen.

Kortom, HAMLET biedt een compleet ecosysteem voor het genereren, uitvoeren en evalueren van autonome, fysiek interactieve en emotioneel rijke theaterervaringen.