COMIC: Agentic Sketch Comedy Generation

Die Arbeit stellt ein vollautomatisiertes KI-System vor, das mithilfe einer populationbasierter Agentenarchitektur und durch Analyse von YouTube-Comedy-Videos trainierter LLM-Kritiker kurze Sketch-Comedy-Videos in professioneller Qualität generiert.

Das Wesentliche

Stellen Sie sich vor, Sie wollen einen Sketch wie aus der „Saturday Night Live" machen, aber Sie haben kein Team aus hunderten Menschen, keine teuren Studios und keine Zeit für monatelange Proben. Stattdessen haben Sie einen einzigen Computer, der alles allein erledigt. Genau das ist COMIC.

Hier ist die Erklärung, wie dieser KI-System funktioniert, ganz einfach und mit ein paar bildhaften Vergleichen:

1. Das Grundproblem: Warum KI noch nicht wirklich lustig ist

Bisher war es für KI wie für einen Menschen, der versucht, einen Witz zu erzählen: Oft kommt nur ein langweiliger „Dad-Joke" (ein altertümlicher Witz) oder ein Missverständnis heraus. Humor ist subjektiv. Was für den einen lustig ist, ist für den anderen langweilig. Eine KI, die einfach nur „schreibe einen lustigen Text" sagt, weiß nicht, was „lustig" eigentlich bedeutet, weil es keine feste Formel dafür gibt.

2. Die Lösung: Ein digitales „Kreativ-Studio" mit vielen Köpfen

Statt einer einzelnen KI, die alles versucht, hat die Forscherin Susung Hong und ihr Team ein System gebaut, das wie ein echtes Comedy-Team funktioniert. Sie nennen es COMIC (Content Optimization via Multi-agent Iterative Competition).

Stellen Sie sich das System wie eine große TV-Produktion vor, bei der verschiedene KI-Agenten unterschiedliche Rollen spielen:

• Die Autoren (Writer): Sie erfinden die Geschichten.
• Die Kritiker (Critics): Sie sind die hartnäckigen Redakteure, die sagen: „Nein, das ist nicht lustig!" oder „Das hier könnte besser sein."
• Die Regisseure (Directors): Sie sorgen dafür, dass die Bilder und Stimmen passen.

3. Der geheime Trick: Der „Goldwasch"-Prozess (Evolution durch Wettbewerb)

Das ist das Herzstück von COMIC. Anstatt dass die KI nur einen Witz schreibt und fertig ist, macht sie folgendes:

Stellen Sie sich vor, Sie haben 100 verschiedene Inseln. Auf jeder Insel arbeiten kleine Gruppen von Autoren. Jede Gruppe hat einen eigenen, etwas anderen Kritiker, der einen anderen Humor-Typ mag (z. B. einer mag trockenen Humor, der andere slapstick-artiges Chaos).

• Der Wettbewerb: Die Autoren auf einer Insel schreiben Skripte. Die Kritiker vergleichen sie. Der Gewinner bleibt, der Verlierer wird vom Gewinner „gepickt" und verbessert.
• Die Evolution: Wie bei der Naturentwicklung überleben nur die besten Skripte. Aber da jede Insel einen anderen Kritiker hat, entwickeln sich ganz unterschiedliche Humor-Stile.
• Das Ergebnis: Am Ende haben Sie nicht nur einen guten Witz, sondern eine ganze Auswahl an sehr unterschiedlichen, durchgetesteten Skripten.

Die Analogie: Es ist wie beim Goldwaschen. Die KI schaufelt riesige Mengen an Ideen (Sand) durch den Filter. Die Kritiker sind das Sieb, das den Müll aussortiert, bis nur noch die glitzernden Goldnuggets (die wirklich lustigen Momente) übrig bleiben.

4. Vom Text zum Video: Der Regisseur mit Gedächtnis

Sobald ein lustiges Skript gefunden ist, muss es in ein Video verwandelt werden. Das ist schwierig, weil KI-Videos oft kurz sind oder die Gesichter der Charaktere sich im Video verändern (z. B. wird aus einem Mann plötzlich eine Frau).

COMIC nutzt hier einen Regisseur-Agenten, der wie ein sehr aufmerksamer Filmeditor arbeitet:

1. Er erstellt zuerst ein Storyboard (eine Art Comic-Strichliste), damit er genau weiß, was in welcher Szene passiert.
2. Er generiert die Bilder und Stimmen.
3. Der wichtigste Teil: Er lässt die Kritiker das Video ansehen. Wenn ein Charakter im Video plötzlich eine andere Nase hat oder der Hintergrund nicht passt, sagen die Kritiker: „Fehler! Mach es nochmal!"
4. Der Regisseur korrigiert es und versucht es erneut. Dieser Prozess läuft so lange, bis das Video perfekt ist.

5. Warum ist das so besonders?

• Keine feste Regel: Normalerweise trainiert man KI mit festen Regeln (z. B. „Code muss fehlerfrei sein"). Bei Humor gibt es keine festen Regeln. COMIC lernt stattdessen von echten Menschen, indem es analysiert, welche YouTube-Videos viele Klicks bekommen. Die KI-Kritiker sind so geschult, dass sie wissen, was ein echtes Publikum lustig findet.
• Viel Arbeit, aber automatisch: Das System rechnet viel länger als eine normale KI (es dauert etwa einen Tag auf einem starken Computer), aber das Ergebnis ist so gut, dass es fast wie ein professionell gemachter Sketch aussieht.
• Der Vergleich: Wenn man COMIC mit anderen KI-Modellen vergleicht, gewinnt es bei „Lustigkeit" und „Geschichte" deutlich. Andere KIs machen vielleicht realistische Bilder, aber sie erzählen keine lustigen Geschichten.

Zusammenfassung in einem Satz

COMIC ist wie ein unermüdlicher, digitaler Comedy-Club, in dem tausende KI-Autoren gegeneinander antreten, von strengen KI-Kritikern zerrissen werden, bis nur noch die allerlustigsten Ideen übrig bleiben, die dann in ein perfektes Video verwandelt werden.

Es ist der Beweis dafür, dass KI nicht nur Fakten abrufen kann, sondern auch kreativ und unterhaltsam sein kann – wenn man ihr den richtigen Wettbewerb gibt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „COMIC: Agentic Sketch Comedy Generation" auf Deutsch:

1. Problemstellung

Die Generierung von humorvollen Inhalten stellt eine der schwierigsten Aufgaben für künstliche Intelligenz dar. Während Large Language Models (LLMs) in Bereichen wie Codierung oder Faktenwissen exzellieren, scheitern sie oft daran, konsistent lustige Inhalte zu produzieren, die ein menschliches Publikum zum Lachen bringen. Humor ist subjektiv, kontextabhängig und multidimensional (z. B. Slapstick, trockener Witz, surrealer Absurdismus).

Das Hauptproblem besteht darin, ein vollautomatisches System zu entwickeln, das nicht nur kurze Clips, sondern narrativ kohärente, visuell konsistente und genuinely lustige Sketch-Comedy-Videos (ähnlich wie Saturday Night Live) generiert. Herkömmliche Ansätze scheitern oft an:

• Der Schwierigkeit, einen festen „Belohnungswert" (Reward) für Humor zu definieren.
• Der mangelnden Konsistenz über längere Video-Sequenzen hinweg.
• Der Unfähigkeit, kreative Räume durch iterative Verbesserung zu erkunden, da viele Systeme nur einen einzigen Durchlauf (Single-Pass) durchführen.

2. Methodik: COMIC (Content Optimization via Multi-agent Iterative Competition)

COMIC ist ein vollautomatisches Framework, das die Produktion von Sketch-Comedy nach dem Vorbild menschlicher Produktionsstudios modelliert. Es nutzt eine Population von Agenten, die verschiedene Rollen einnehmen (Writer, Critic, Director, Editor), und setzt auf iterative Konkurrenz und Evaluation, um die Qualität zu steigern.

Der Prozess gliedert sich in zwei Hauptschleifen:

A. Skript-Generierungs-Schleife (Script Writing Loop)

• Insel-basierte Evolution: Anstatt einer einzigen Population werden Skripte auf mehreren isolierten „Inseln" entwickelt. Jede Insel wird von einem spezialisierten Critic-Committee geleitet, das unterschiedliche philosophische Ansätze zum Humor vertritt. Dies fördert die Vielfalt (Diversity) der Ideen.
• Wettbewerb und Feedback: Skripte werden in Round-Robin-Turnieren gegeneinander bewertet. Die „Verlierer"-Skripte erhalten Feedback von den „Gewinnern" und werden durch einen Editor-Agenten basierend auf diesem Feedback überarbeitet.
• Dynamische Fitness: Die „Fitness" eines Skripts ist nicht absolut, sondern relativ zum aktuellen Wettbewerb. Dies zwingt die Agenten zur kontinuierlichen Anpassung und Verfeinerung, ähnlich einer Red-Queen-Evolution.

B. Video-Rendering-Schleife (Video Rendering Loop)

• Storyboarding: Ein „Scene Director"-Agent zerlegt das finale Skript in eine Abfolge von Shots (Einstellungen), definiert Charaktere, Hintergründe, Kameraeinstellungen und Dialoge.
• Script-Conditioned Critics: Für jedes Skript werden spezifische Rendering-Critics generiert, die unterschiedliche Perspektiven auf die visuelle Umsetzung einnehmen.
• Iterative Verfeinerung: Jeder Shot wird mehrfach generiert und von den Critics bewertet. Die Spezifikationen werden basierend auf dem Feedback verfeinert.
• Turnier-Selektion:
  • Shot-Level: Innerhalb der Historie eines Shots wird ein Single-Elimination-Turnier durchgeführt, um den besten Shot auszuwählen.
  • Scene-Level: Nach der Generierung kompletter Videos (basierend auf verschiedenen Storyboards) wird ein finales Turnier durchgeführt, um das beste Video auszuwählen. Dies ermöglicht Test-Time Scaling (mehr Rechenleistung führt zu besseren Ergebnissen ohne Nachtraining).

3. Schlüsselbeiträge (Key Contributions)

1. Ausrichtung an realen Zuschauerpräferenzen (Alignment to Real Viewers):

   • Statt manuell erstellter Prompts oder eines einzigen fine-tuned Modells, analysiert COMIC einen Korpus von YouTube-Sketch-Videos (z. B. SNL, Key & Peele, Foil Arms & Hog).
   • Es werden LLM-basierte Critics generiert, deren Präferenzen an die tatsächlichen Engagement-Daten (View Counts, normalisiert nach Alter) der Zuschauer angepasst werden.
   • Eine „Generate-and-Select"-Strategie wählt die Critics aus, die die Zuschauerpräferenzen am besten vorhersagen können.

2. Multi-Agenten-Topologie mit Inseln:

   • Die Aufteilung in isolierte Inseln mit unterschiedlichen Kritikern verhindert, dass das System in lokalen Optima stecken bleibt und fördert eine breite Palette an Humor-Stilen (Pareto-Frontier).

3. Vollautomatisierte End-to-End-Pipeline:

   • COMIC ist das erste System, das Eingaben (Charakterbilder, Stimmen, Textbeschreibungen) direkt in fertige, 1–2 Minuten lange Comedy-Videos mit Audio, Video und konsistenten Charakteren umwandelt.

4. Test-Time Scaling für kreative Aufgaben:

   • Das System skaliert die Qualität durch erhöhte Rechenleistung (mehr Iterationen, mehr Inseln, mehr Critics) während der Inferenz, ohne das Modell neu trainieren zu müssen.

4. Ergebnisse (Results)

• Menschliche Evaluation: In blinden Vergleichen (7-Punkte-Likert-Skala) übertraf COMIC sowohl andere Agenten-basierte Systeme (wie VGoT, MovieAgent) als auch state-of-the-art Text-to-Video-Modelle (wie Sora 2, Veo 3.1) in den Kategorien Lustigkeit (Funniness), Skriptqualität, Narrativ und Zuschauerinteresse (Watch More).
• Vergleich mit menschlichen Inhalten: COMIC erreichte in der Bewertung „vs. Human" (im Vergleich zu professionell produzierten Sketches) eine Bewertung zwischen „Etwas weniger lustig" und „Vergleichbar". Dies ist ein Niveau, das andere KI-Modelle nicht erreichten.
• Automatisierte Evaluation: Die auf YouTube-Daten trainierten Critics zeigten eine hohe Übereinstimmung mit menschlichen Urteilen. COMIC erzielte die höchste Gewinnrate (Win Rate) und die größte Diversität (Inter- und Intra-Diversity) im Vergleich zu allen Baselines.
• Ablationsstudien:
  • Die Verwendung von Critic-Feedback ist entscheidend: Ein System ohne Critics (No Critics) wurde von menschlichen Ratern in allen Kategorien deutlich abgelehnt.
  • Multi-Insel-Topologie führte zu höheren Gewinnraten und besserer Diversität als ein einzelner Pool.
  • Skalierung: Mehr Inseln und Iterationen führten zu einer signifikanten Qualitätssteigerung.

5. Bedeutung und Fazit

COMIC stellt einen Paradigmenwechsel in der generativen KI dar, insbesondere für offene, kreative Domänen wie Comedy.

• Überwindung von Goodhart's Law: Anstatt einen starren, statischen Reward zu optimieren, nutzt COMIC relative Konkurrenz und diverse Perspektiven, um die subjektive Natur von Humor zu erfassen.
• Neuer State-of-the-Art: Das System demonstriert, dass durch die Kombination von Multi-Agenten-Systemen, evolutionären Algorithmen und datengesteuerter Kritik hochwertige, lange Videos generiert werden können, die über reine Bildgenerierung hinausgehen.
• Zukunftsperspektive: Die Arbeit zeigt, dass kreative Aufgaben, die keine „richtige Antwort" haben (im Gegensatz zu Mathematik), durch kompetitive, iterative Agenten-Systeme gelöst werden können. Dies öffnet Türen für die Automatisierung anderer kreativer Bereiche (Film, Design, Musik).

Zusammenfassend beweist COMIC, dass KI nicht nur „Witze erzählen", sondern komplexe, unterhaltsame und visuell konsistente Sketch-Comedy produzieren kann, die menschlichen Produktionsstandards nahekommt.