COMIC: Agentic Sketch Comedy Generation

Deze paper introduceert een volledig geautomatiseerd AI-systeem dat korte komediesoaps genereert door middel van een agentenpopulatie die de rollen van een productiestudio nabootst en gebruikmaakt van door LLM-aangedreven critici die zijn getraind op YouTube-data om humor te evalueren en de output te optimaliseren.

De kern

Stel je voor dat je een regisseur bent voor een komisch televisieprogramma, zoals Saturday Night Live. Je wilt grappige sketches maken, maar je hebt geen team van honderden mensen nodig. In plaats daarvan heb je een robot-team dat dit voor je doet, van het eerste idee tot de laatste seconde van de video.

Dat is wat de onderzoekers van de Universiteit van Washington hebben gebouwd met hun systeem, COMIC. Hier is hoe het werkt, vertaald naar een simpel verhaal:

1. Het Probleem: Robots zijn saai

Normaal gesproken zijn AI's (kunstmatige intelligenties) goed in wiskunde of het schrijven van code, maar ze zijn vaak belachelijk slecht in grappen maken. Als je ze vraagt om een grapje te vertellen, krijg je vaak een ouderwetse "vadergrap" die niemand leuk vindt. Humor is namelijk subjectief; wat voor de één grappig is, is voor de ander saai.

2. De Oplossing: Een Robot-Productiestudio

In plaats van één slimme robot die alles probeert te doen, hebben de onderzoekers een heel robot-team opgezet dat net werkt als een echt filmstudio. Ze hebben verschillende rollen bedacht:

• De Schrijvers: Die bedenken grappige ideeën.
• De Critici: Die zeggen wat wel en niet grappig is.
• De Regisseurs: Die zorgen dat de video er goed uitziet.

3. De Grote Idee: "De Gouden Kooi" (Islands)

Stel je voor dat je een groep schrijvers in één grote kamer zet. Ze zouden waarschijnlijk allemaal hetzelfde type grappen bedenken omdat ze elkaar beïnvloeden.

COMIC doet het anders. Ze splitsen de schrijvers op in verschillende kleine eilanden.

• Op Eiland A denken de robots dat "droge humor" het allerleukst is.
• Op Eiland B vinden ze "slapstick" (fysieke grappen) het grappigst.
• Op Eiland C houden ze van "absurdisme" (raar en onlogisch).

Elk eiland heeft zijn eigen jury (critici) die specifiek is ingesteld op die stijl. De robots op elk eiland concurreren met elkaar. Als een grapje niet goed is, krijgt de schrijver feedback van de jury en moet het herschrijven. Dit gebeurt keer op keer. De slechte grappen vallen af, en de goede worden steeds grappiger.

4. De Jury: Robots die kijken naar YouTube

Hoe weten de robots of iets echt grappig is? Ze hebben geen menselijke gevoelens.
De onderzoekers hebben een slimme truc bedacht: ze hebben de AI's getraind door te kijken naar duizenden echte YouTube-video's van komische shows.

• Ze kijken naar hoeveel mensen een video hebben bekeken en hoe lang ze er naar hebben gekeken.
• Als een video veel views heeft, is hij waarschijnlijk grappig.
• De AI's leren van deze data om te zeggen: "Hey, die grap werkt niet, kijk eens naar die andere video die wel veel views had; die had een betere opbouw."

Dit zorgt ervoor dat de robots niet willekeurig gissen, maar leren wat echte mensen leuk vinden.

5. Van Script naar Video: De Regisseur

Zodra het script (het verhaal) grappig genoeg is, gaat het naar de Regisseur-AI.

• Deze robot bedenkt hoe het eruit moet zien: "Deze persoon moet hier staan, met die hoed, en dan moet de camera zoomen."
• Vervolgens maakt de AI de video, het geluid en de animaties.
• Maar ook hier geldt: niet zomaar accepteren. De video wordt meerdere keren gegenereerd. Een nieuwe jury kijkt naar de beelden en zegt: "Die achtergrond klopt niet," of "Die acteur lijkt niet op de vorige scène."
• De AI maakt het opnieuw, tot het perfect is.

6. Het Resultaat: Een Grappige Show

Uiteindelijk krijg je een video van 1 tot 2 minuten. Het kan gaan over een agent die onderzoek doet naar gestolen apparatuur, of een professor die een toastmachine in zijn hoofd heeft.

• De video's zijn consistent: de personages zien er in elke shot hetzelfde uit.
• Ze zijn grappig: omdat ze door een competitie zijn gegaan, zijn alleen de beste grappen overgebleven.
• Ze zijn volledig automatisch: de mens hoeft alleen maar te zeggen wie de personages zijn en wat de setting is.

Samenvattend

COMIC is als een oneindige competitie tussen robot-schrijvers en robot-critici. Ze duwen elkaar steeds verder, net als sporters die harder gaan rennen omdat hun tegenstanders sneller worden. Door deze "evolutie" te combineren met het leren van echte YouTube-kijkers, kunnen ze grappige video's maken die bijna net zo goed zijn als die van een professioneel menselijk team, maar dan zonder dat er een mens aan de knoppen zit.

Het is een bewijs dat AI niet alleen goed is in rekenen, maar ook kan leren creëren als je het de juiste structuur en concurrentie geeft.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "COMIC: Agentic Sketch Comedy Generation" in het Nederlands.

1. Probleemstelling

Het genereren van humor door AI is een van de meest uitdagende taken voor generatieve modellen. Hoewel Large Language Models (LLMs) uitstekend presteren in coderen, wiskunde en standaard tekstgeneratie, blijven ze vaak vastlopen bij "dad jokes" of voorspelbare grappen. Het echte probleem ligt in de subjectiviteit en context-afhankelijkheid van humor. Er bestaat geen vaste "juiste" oplossing (zoals in wiskunde), en wat grappig is, varieert sterk per persoon en stijl (bijv. slapstick vs. droge humor).

Daarnaast is het genereren van lange, narratief coherente video's met consistente karakters en dialogen nog steeds een open probleem. Bestaande video-modellen (zoals Sora of Veo) produceren vaak slechts korte clips (ca. 10 seconden) zonder de mogelijkheid om complexe verhalen te vertellen of consistentie tussen shots te garanderen.

Doel: Een volledig geautomatiseerd systeem ontwikkelen dat korte, grappige sketch-comedy video's (vergelijkbaar met Saturday Night Live) kan genereren, beginnend bij slechts karakterreferenties (afbeelding, stem, tekst) en achtergronden.

2. Methodologie: COMIC Framework

De auteurs introduceren COMIC (Content Optimization via Multi-agent Iterative Competition). Het systeem is losjes gemodelleerd naar menselijke productiestudio's en gebruikt een multi-agent architectuur met specifieke rollen (schrijver, criticus, regisseur, editor) die in iteratieve competitie werken.

Het proces verloopt in twee hoofdloops:

A. Script Writing Loop (Schrijfcyclus)

In plaats van één script te genereren, evolueert het systeem een populatie van scripts via een eiland-gebaseerde competitie:

1. Islands: De globale populatie van scripts wordt opgedeeld in geïsoleerde "eilanden". Elk eiland wordt geleid door een specifiek comité van critici met verschillende filosofieën (bijv. één eiland focust op absurde humor, een ander op droge humor).
2. Competitie: Scripts worden in een round-robin toernooi met elkaar vergeleken door de critici.
3. Iteratieve Verfijning: De verliezende scripts worden herschreven op basis van de feedback van de winnende scripts. Dit creëert een "evolutie" waar de fitness (grappigheid) stijgt naarmate de concurrentie toeneemt.
4. Critic Alignment: De critici zijn niet handmatig geprogrammeerd. Ze zijn getraind om menselijke voorkeuren na te bootsen door een corpus van YouTube sketch-comedy video's te analyseren. De voorkeur van de critici wordt afgestemd op engagement-metrics (zoals aantal weergaven, genormaliseerd voor video-leeftijd).

B. Video Rendering Loop (Rendercyclus)

Zodra een script is geselecteerd, wordt het omgezet in video:

1. Storyboarding: Een "Scene Director" agent breekt het script op in shots (dialogen, expressies, camera-standen).
2. Script-Conditioned Critics: Voor elk script worden unieke video-critici gegenereerd die specifiek zijn afgestemd op de inhoud van dat script.
3. Iteratief Renderen: Voor elke shot worden meerdere versies gegenereerd. Critici evalueren deze versies op consistentie, visuele kwaliteit en narratieve trouw.
4. Tournament Selection: Er wordt een "single-elimination" toernooi gehouden over de geschiedenis van gegenereerde shots en volledige video's om de beste versie te selecteren. Dit zorgt voor test-time schaling: meer rekenkracht leidt direct tot betere kwaliteit zonder het model opnieuw te hoeven trainen.

3. Belangrijkste Bijdragen

• Eerste Geautomatiseerde Sketch-Comedy Generator: COMIC is het eerste volledig geautomatiseerde agentic systeem dat specifiek is ontworpen voor het genereren van grappige video's, een domein dat extreem open-ended is.
• Human-Aligned Critici: In plaats van een vaste reward-functie (die vaak faalt bij subjectieve taken), gebruiken ze een generate-and-select strategie voor critici. Deze critici zijn getuned op echte YouTube-engagement-data, waardoor ze menselijke voorkeuren voor verschillende comedy-stijlen kunnen onderscheiden.
• Multi-Island Evolutie: Door scripts te laten evolueren in gescheiden populaties met verschillende critici, wordt een diverse reeks comedy-stijlen behouden (Pareto-frontier) in plaats van te convergeren naar één gemiddelde stijl.
• Iteratieve Verfijning met Competitie: Het systeem vervangt lineaire pipelines door een competitieve, iteratieve zoektocht. Dit lost het probleem op van "Goodhart's Law" (waarbij een vaste metric de kwaliteit verdraait) door relatieve prestaties te meten.
• State-of-the-Art Video Coherentie: Het systeem produceert 1-2 minuten lange video's met consistente karakters en dialogen, wat een significant vooruitgang is ten opzichte van bestaande video-modellen die vaak slechts korte clips produceren.

4. Resultaten

De auteurs hebben COMIC getest tegen bestaande methoden, waaronder:

• Agentic Baselines: VGoT (VideoGen-of-Thought) en MovieAgent.
• Frontier Video Modellen: Sora 2 en Veo 3.1.
• Menselijke Evaluatie: Een blind, gerandomiseerd onderzoek met menselijke beoordelaars.

Kernbevindingen:

• Kwaliteit: COMIC scoort significant hoger dan alle baselines op metrics zoals "Grappigheid" (Funniness), "Kijken" (Watch More), en "Scriptkwaliteit".
• Menselijke Vergelijking: Op de schaal "Minder grappig" tot "Veel grappiger dan menselijk werk", scoort COMIC tussen "Iets minder grappig" en "Vergelijkbaar". Geen enkel ander model bereikte dit niveau.
• Automatische Evaluatie: De door critici gegenereerde rankings correleren sterk met menselijke oordelen. COMIC behaalde een win-rate van ~44% tegenover "median" menselijke sketches, terwijl andere modellen dicht bij 0% bleven.
• Ablatie Studies: Het verwijderen van de critici of het gebruik van een enkel eiland (in plaats van meerdere) resulteert in een drastische daling van de kwaliteit en diversiteit.

5. Betekenis en Toekomst

COMIC markeert een verschuiving in creatieve AI van single-pass generatie naar iteratieve, competitieve optimalisatie. Het bewijst dat AI systemen complexe, subjectieve taken zoals humor kunnen aanpakken door de structuur van menselijke creatieve processen (brainstormen, kritiek, iteratie) na te bootsen met agents.

• Efficiëntie: Het systeem is goedkoper dan professionele producties (ongeveer $5 aan API-kosten per video).
• Schalbaarheid: De kwaliteit kan worden verhoogd door meer rekenkracht te investeren in de test-fase (meer iteraties, meer eilanden) zonder het model opnieuw te hoeven trainen.
• Toekomst: De auteurs wijzen op uitdagingen zoals het vermijden van "clickbait"-bias in de trainingdata en het integreren van geluidseffecten. Het werk opent de deur voor het toepassen van vergelijkbare multi-agent competitieve frameworks in andere creatieve domeinen waar geen vaste "juiste" antwoorden bestaan.

Kortom, COMIC is een doorbraak die laat zien dat AI niet alleen grappen kan vertellen, maar volledige, coherente en grappige video-ervaringen kan creëren die dicht in de buurt komen van professioneel menselijk werk.