COMIC: Agentic Sketch Comedy Generation

Les auteurs proposent un système d'IA entièrement automatisé qui génère des vidéos comiques de type « sketch » en mobilisant une population d'agents inspirés des rôles d'un studio de production et en s'appuyant sur des critiques LLM entraînés sur des données YouTube pour évaluer et optimiser l'humour, produisant ainsi des résultats de qualité professionnelle.

L'essentiel

Imaginez que vous voulez créer un spectacle de sketchs comiques (comme Saturday Night Live ou Les Inrocks), mais que vous n'avez pas d'équipe d'humoristes, de réalisateurs ou de caméramans. Vous avez juste un ordinateur.

Le papier que nous allons explorer s'appelle COMIC. C'est un système d'intelligence artificielle conçu pour être le seul à pouvoir écrire, jouer et filmer ses propres sketches drôles, de bout en bout.

Voici comment cela fonctionne, expliqué avec des images simples :

1. Le problème : Pourquoi les IA ne sont pas drôles (pour l'instant)

Si vous demandez à une IA classique de faire une blague, elle risque de vous sortir un "blague de papa" très ringard. L'humour est subjectif : ce qui fait rire l'un peut faire grogner l'autre. De plus, créer une vidéo longue et cohérente est très difficile pour une IA.

2. La solution : Une "Usine à Rires" avec une équipe virtuelle

Au lieu de demander à une seule IA de tout faire d'un coup, les auteurs de COMIC ont créé une équipe d'agents virtuels qui travaillent comme dans une vraie chaîne de production télévisée, mais avec une petite touche en plus : la compétition.

Imaginez un grand atelier avec plusieurs équipes de créatifs qui travaillent dans des pièces séparées (qu'ils appellent des "îles").

Étape A : L'écriture (Le concours de blagues)

• Les Écrivains : Plusieurs agents écrivent des scénarios basés sur vos personnages (par exemple, un policier, un robot et un professeur).
• Les Critiques (Les juges) : Au lieu d'avoir un seul juge, le système a créé une armée de "critiques" virtuels. Ces critiques ont été entraînés en regardant des milliers de vidéos drôles sur YouTube. Ils savent ce qui plaît au public.
• Le Tournoi : Les scénarios s'affrontent. Le critique dit : "Ce scénario est nul, celui-ci est moyen, mais celui-là est génial !"
• L'Évolution : Les scénarios perdants ne sont pas jetés. Ils sont réécrits en se basant sur les conseils des gagnants. C'est comme un jeu de "survie" : seuls les scénarios les plus drôles survivent et s'améliorent à chaque tour.

Étape B : Le tournage (Le réalisateur exigeant)

Une fois le meilleur scénario trouvé, il faut le tourner.

• Le Réalisateur : Il découpe le scénario en plans (images).
• Les Critiques Vidéo : Ici, des agents spécialisés regardent chaque image générée. Ils disent : "Attends, le robot a l'air bizarre", "Le fond de l'image ne correspond pas à la scène précédente", ou "L'expression du visage n'est pas assez drôle".
• La Boucle de perfectionnement : L'IA régénère l'image, écoute les critiques, et recommence jusqu'à ce que la vidéo soit parfaite.

3. L'analogie de la "Chasse au Trésor"

Les auteurs comparent leur méthode à la chasse à l'or.

• Si vous creusez un seul trou (une seule tentative), vous risquez de ne rien trouver.
• Avec COMIC, vous faites creuser des centaines de trous (des centaines de scénarios et de vidéos) par différentes équipes.
• Ensuite, vous tamisez tout pour ne garder que les pépites d'or (les moments les plus drôles).
• Enfin, vous polissez ces pépites jusqu'à ce qu'elles brillent.

4. Pourquoi c'est révolutionnaire ?

• Pas de "réponse unique" : Contrairement aux maths où il y a une bonne réponse, l'humour n'en a pas. COMIC accepte que l'humour soit multiple (drôle, absurde, sarcastique) et laisse différentes équipes explorer ces styles.
• Apprentissage par la compétition : Le système ne s'améliore pas en suivant un manuel, mais en se battant contre lui-même. Plus les scénarios concurrents sont bons, plus les perdants doivent s'améliorer pour gagner. C'est comme un sport où la difficulté augmente à chaque match.
• Résultats étonnants : Selon les tests, les vidéos créées par COMIC sont drôles, cohérentes et parfois aussi bonnes que celles faites par des humains, alors que les autres IA actuelles produisent souvent des vidéos courtes et sans histoire.

En résumé

COMIC, c'est comme avoir un studio de télévision entier dans une seule boîte. Il lance des centaines d'idées, les fait s'affronter dans des tournois de rires, élimine les moins bonnes, et ne garde que les meilleures pour créer une vidéo finale qui vous fera vraiment rire. C'est la première fois qu'une machine arrive à faire tout ce processus de création comique de manière totalement autonome.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "COMIC: Agentic Sketch Comedy Generation" en français.

1. Problématique

La génération automatique de contenu humoristique, en particulier pour des formats longs comme les sketches de comédie (similaires à Saturday Night Live), représente un défi majeur pour l'IA. Bien que les modèles génératifs actuels excellent dans le codage ou les tâches mathématiques, l'humour reste difficile à maîtriser en raison de sa nature subjective, contextuelle et multidimensionnelle.

Les systèmes existants échouent souvent car :

• Ils reposent sur des objectifs fixes (reward functions) qui ne capturent pas la complexité de l'humour (loi de Goodhart).
• Ils utilisent des pipelines "single-pass" (un seul passage) qui ne permettent pas l'itération et la révision nécessaires à la créativité.
• La génération vidéo de longue durée souffre d'incohérences narratives et visuelles.

L'objectif de COMIC est de créer un système entièrement automatisé capable de produire des vidéos de comédie courtes (1-2 minutes) qui sont narrativement cohérentes, visuellement stables et, surtout, drôles aux yeux des humains.

2. Méthodologie : Le Framework COMIC

COMIC (Content Optimization via Multi-agent Iterative Competition) est un système multi-agents inspiré des studios de production humains. Il ne repose pas sur un seul modèle, mais sur une population d'agents jouant différents rôles (scénaristes, critiques, réalisateurs) organisés en boucles itératives de compétition et d'amélioration.

Le processus se divise en deux boucles principales :

A. Boucle d'Écriture de Scénario (Script Writing Loop)

• Architecture en "Îles" (Islands) : La population de scénarios est divisée en plusieurs îles isolées. Chaque île est gouvernée par un comité de critiques spécifique, représentant des philosophies comiques différentes (ex: absurde, dry, slapstick).
• Évolution par Compétition : Les scénarios subissent des tournois "round-robin" (chacun contre chacun). Les perdants sont révisés en utilisant les feedbacks des gagnants.
• Adaptation Dynamique : La "fitness" (qualité) d'un scénario n'est pas absolue mais relative à la population actuelle. Cela force une adaptation continue, similaire à l'hypothèse de la Reine Rouge en biologie évolutive.

B. Boucle de Rendu Vidéo (Video Rendering Loop)

Une fois le scénario sélectionné, un agent "Directeur de scène" le décompose en plans (storyboard).

• Critiques de Rendu Conditionnés : Pour chaque script, un ensemble de critiques vidéo spécifiques est généré pour évaluer la réalisation visuelle.
• Raffinement Itératif : Chaque plan est généré, puis révisé itérativement par les critiques pour corriger les incohérences (mismatch de personnages, problèmes de cadre, artefacts visuels).
• Tournois de Sélection :
  • Niveau Plan : Un tournoi à élimination directe sélectionne la meilleure version parmi l'historique des raffinements d'un même plan.
  • Niveau Scène : Plusieurs réalisations complètes de la scène sont générées et soumises à un tournoi final pour sélectionner la meilleure vidéo globale.

C. Alignement avec les Préférences Humaines (Critique Clé)

Au lieu d'entraîner un modèle de critique spécifique, les auteurs utilisent une stratégie de génération et sélection :

1. Collecte de données : Analyse de 4 940 vidéos de sketches YouTube (SNL, Key & Peele, etc.) pour obtenir des scores d'engagement (vues normalisées).
2. Génération de la Pool de Critiques : Un agent méta-critique génère une grande diversité de personas de critiques.
3. Sélection : Seuls les critiques dont les préférences correspondent le mieux aux données d'engagement réelles sont retenus pour guider le système. Cela permet d'aligner l'IA sur les goûts réels du public sans fine-tuning coûteux.

3. Contributions Clés

1. Premier système entièrement automatisé pour la comédie : COMIC est le premier framework capable de générer des vidéos de comédie complètes (scénario + vidéo + audio) sans intervention humaine directe.
2. Optimisation par Compétition Multi-Agents : Introduction d'une topologie en "îles" et de tournois évolutifs pour explorer l'espace créatif, remplaçant les pipelines fixes par une recherche itérative profonde.
3. Critiques Alignés sur l'Engagement Réel : Une méthode innovante pour créer des évaluateurs d'humour alignés sur les préférences humaines en utilisant des données YouTube, évitant le biais des récompenses fixes.
4. Génération Vidéo Longue et Cohérente : Le système surmonte les limites des modèles actuels (généralement limités à 10 secondes) en produisant des vidéos de 1 à 2 minutes avec une continuité visuelle et narrative forte grâce aux boucles de raffinement.

4. Résultats

Les expériences montrent que COMIC atteint des performances proches de celles des sketches produits par des humains professionnels.

• Évaluation Humaine : Dans une étude en aveugle, COMIC a surpassé tous les modèles de base (Sora 2, Veo 3.1, VideoGen-of-Thought, MovieAgent) sur les critères de drôlerie, d'engagement ("Watch More"), de qualité du script et de cohérence narrative.
  • Sur l'échelle "vs. Human" (comparaison à des humains), COMIC se situe entre "Légèrement moins drôle" et "Comparable", un niveau inaccessible aux autres modèles.
• Évaluation Automatisée : En utilisant les critiques alignés, COMIC obtient un taux de victoire (Win Rate) bien supérieur aux autres méthodes (0.44 contre ~0.01 pour les agents basés sur des storyboards statiques).
• Diversité : Le système maintient une haute diversité inter- et intra-échantillons, prouvant qu'il explore efficacement différents styles comiques (absurde, dry, slapstick) plutôt que de converger vers une seule solution moyenne.
• Ablation : La suppression des agents critiques ("No Critics") entraîne une chute drastique de la qualité, confirmant que l'itération et la compétition sont essentielles.

5. Signification et Impact

Ce travail marque une étape importante dans la génération de contenu créatif :

• Paradigme de l'Évolution Créative : Il démontre que pour des tâches ouvertes comme l'humour, l'optimisation par compétition et itération (sans mise à jour de gradients ni récompense fixe) est supérieure aux méthodes déterministes.
• Passage du Court au Long Métrage : COMIC fait le pont entre la génération de clips courts (état de l'art actuel) et la narration longue et cohérente.
• Évolutivité : Le système offre une voie de mise à l'échelle ("test-time scaling") : augmenter la puissance de calcul (plus d'îles, plus de critiques) améliore directement la qualité sans réentraînement du modèle.

En conclusion, COMIC établit un nouvel état de l'art pour la production vidéo automatisée, prouvant que l'IA peut non seulement générer du contenu, mais aussi "comprendre" et optimiser l'humour grâce à une architecture multi-agents compétitive et alignée sur le public.