HumorGen: Cognitive Synergy for Humor Generation in Large Language Models via Persona-Based Distillation

Le papier présente HumorGen, un cadre de synergie cognitive utilisant la distillation basée sur des personnalités et un mélange de pensées pour générer des données d'humour théoriquement fondées, permettant à un modèle de 7 milliards de paramètres de surpasser des modèles plus grands et d'égaler les performances des modèles propriétaires grâce à une curation de données axée sur le cognitif plutôt que sur l'algorithme d'alignement ou l'échelle du modèle.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment raconter une blague. Le problème, c'est que ce robot est un génie de la logique, mais il est terriblement ennuyeux.

Voici l'explication simple de la recherche HumorGen, présentée comme une recette de cuisine pour rendre les intelligences artificielles drôles.

1. Le Problème : Le Robot "Sérieux"

Les grands robots intelligents (les modèles de langage) sont entraînés à prédire le mot le plus probable qui va suivre. C'est comme un élève très sérieux qui répond toujours à la question la plus logique et la plus sûre.

• L'analogie : Si vous demandez à un robot de raconter une blague, il va vous donner une explication très précise de pourquoi c'est drôle, ou une blague que tout le monde a déjà entendue. C'est comme si un chef cuisinier vous servait un plat sans sel parce qu'il a peur de se tromper. Pour faire rire, il faut de la surprise, de l'absurde, et parfois de l'irrationalité. Or, le robot est programmé pour être rationnel.

2. La Solution : Le "Cercle de Confidents" (Le Cadre de Synergie Cognitive)

Pour résoudre ce problème, les chercheurs n'ont pas simplement demandé au robot "Sois drôle". Ils ont créé un Cercle de Confidents virtuels, ou six "personnages" différents, chacun avec son propre style d'humour, basé sur la psychologie humaine.

Imaginez que vous devez écrire une blague sur une nouvelle à la une. Au lieu de le faire seul, vous réunissez six amis dans une pièce :

1. Le Cynique : Il rit de tout, surtout des hypocrites et du système.
2. L'Absurdiste : Il pense comme dans un rêve, avec des liens bizarres et illogiques.
3. Le Névrosé : Il s'inquiète de tout, même des détails les plus minuscules.
4. L'Observateur : Il remarque les petites choses banales de la vie quotidienne (comme les files d'attente).
5. Le Optimiste : Il voit le côté positif (et ridicule) de chaque catastrophe.
6. Le Wordplay (Joueur de mots) : Il adore les jeux de mots et les doubles sens.

Ce que fait le système :
Au lieu de demander une seule réponse, le robot fait parler ces six "personnages" en même temps pour chaque sujet. Il génère 24 versions différentes de la blague. Ensuite, un "juge" (un autre robot très intelligent) lit toutes ces versions et choisit les meilleures.

C'est comme si vous faisiez un concours de stand-up avec 24 comédiens différents, et vous ne gardez que les meilleures prestations pour apprendre à votre élève.

3. L'Enseignant et l'Élève (Distillation)

Les chercheurs ont utilisé un "Grand Maître" (un modèle très gros et puissant) pour générer ces blagues avec les six personnages. Ensuite, ils ont pris ces blagues de haute qualité pour entraîner un "Élève" (un modèle beaucoup plus petit et rapide, de 7 milliards de paramètres).

• L'analogie : C'est comme si un chef étoilé (le Grand Maître) cuisinait 100 plats différents avec des ingrédients variés. Il ne donne pas la recette au jeune apprenti (l'Élève), mais il lui donne les 10 meilleurs plats à manger. L'apprenti apprend non seulement quoi cuisiner, mais aussi comment penser comme un chef créatif.

4. La Grande Découverte : La Qualité bat la Taille

Le résultat le plus surprenant de l'étude est que la qualité des données est plus importante que la taille du robot.

• Leur petit robot (l'Élève de 7 milliards de paramètres), nourri avec ces blagues soigneusement sélectionnées par les "personnages", est devenu plus drôle que des robots géants (32 ou 120 milliards de paramètres) qui n'avaient pas reçu cette formation spéciale.
• La leçon : Un petit robot bien éduqué avec des blagues intelligentes vaut mieux qu'un géant qui ne sait pas quoi dire.

5. Le Piège à Éviter : Le "Piège de l'Expliqueur"

Les chercheurs ont essayé une autre méthode : ils ont demandé au robot de penser à voix haute avant de raconter la blague (comme un élève qui explique sa démarche).

• Le résultat : Ça a raté. Le robot devenait ennuyeux. Il passait son temps à expliquer pourquoi la blague était drôle au lieu de la raconter simplement.
• L'analogie : C'est comme si un comédien, au lieu de faire rire le public, s'arrêtait au milieu de la blague pour dire : "Et maintenant, je vais faire une chute parce que c'est inattendu". Ça tue l'humour. Pour être drôle, il faut parfois sauter l'étape de l'explication logique.

En Résumé

Cette recherche nous dit que pour rendre une intelligence artificielle drôle, il ne faut pas juste la rendre plus grosse ou plus intelligente logiquement. Il faut lui apprendre à penser comme un humain en utilisant différentes perspectives (cynique, absurde, etc.) et à lui donner les meilleures blagues possibles pour qu'elle les imite.

C'est la preuve que pour l'humour, l'inspiration et la diversité des idées comptent plus que la puissance de calcul brute.

Résumé technique

---

1. Problématique

La génération d'humour représente un défi majeur pour les Grands Modèles de Langage (LLM). Contrairement aux tâches logiques ou factuelles, l'humour repose sur la surprise, l'incongruité et la divergence, ce qui entre en conflit direct avec l'objectif d'entraînement standard des LLM : minimiser la perplexité en prédisant le mot suivant le plus probable.

• Le « Taxe d'alignement » : Les modèles tendent à produire des réponses sûres, prévisibles et souvent ennuyeuses, car les continuations les plus probables sont rarement les plus drôles.
• Limites des approches actuelles : Les méthodes existantes, telles que le Chain-of-Thought (CoT) ou les sauts de raisonnement logiques, échouent souvent car elles privilégient une cohérence linéaire qui étouffe la créativité nécessaire à l'humour. De plus, l'ajustement par préférence (RLHF, DPO) sur des données subjectives comme l'humour s'avère complexe et instable.

2. Méthodologie : Le Cadre de Synergie Cognitive (Cognitive Synergy Framework)

Les auteurs proposent une approche novatrice qui ne se contente pas d'ajuster le modèle, mais qui génère d'abord des données d'entraînement de haute qualité basées sur des théories psychologiques de l'humour.

A. Architecture Mixture-of-Thought (MoT) et Personas Cognitifs

Au lieu d'une seule voie de raisonnement, le cadre utilise une architecture Mixture-of-Thought (MoT) qui déploie six personas cognitifs distincts, chacun ancré dans une théorie psychologique de l'humour :

1. Le Névrosé (Neurotic) : Basé sur la théorie du soulagement (Relief Theory) ; axé sur l'anxiété interne et le sur-réfléchissement.
2. Le Cynique (Cynic) : Basé sur la théorie de la supériorité (Superiority Theory) ; axé sur la critique sociale et le sarcasme.
3. L'Observateur (Observer) : Basé sur l'incongruité ; axé sur les détails quotidiens et les normes sociales implicites.
4. Le Linguiste (Wordsmith) : Basé sur l'ambiguïté linguistique ; axé sur les jeux de mots et les doubles sens.
5. L'Optimiste (Optimist) : Basé sur la violation bénigne (Benign Violation) ; axé sur la recontextualisation positive.
6. L'Absurdiste (Absurdist) : Basé sur l'incongruité ; axé sur le surréalisme et la logique onirique.

Pour chaque prompt (ex: une une de journal), le système génère 24 candidats (4 par persona) via un modèle enseignant (Kimi-K2 et Qwen 32B).

B. Pipeline d'Entraînement

Le processus se déroule en plusieurs étapes :

1. Évaluation et Classement : Un juge LLM (Llama 3.3-70B) évalue les 24 candidats par paires pour calculer des scores Elo.
2. Supervised Fine-Tuning (SFT) : Le modèle étudiant (Qwen-7B) est entraîné sur les meilleurs candidats (top-10 par prompt) pour éviter l'effondrement de mode (mode collapse) et apprendre une diversité de styles humoristiques.
3. Optimisation par Préférence (Alignement) : Les auteurs comparent deux méthodes d'alignement avancées :
   • DPO (Direct Preference Optimization) : Optimisation directe sur des paires (choisi vs rejeté).
   • O-GRPO (Offline Group Relative Policy Optimization) : Une nouvelle méthode qui utilise des groupes de 24 candidats pour optimiser les avantages relatifs sans échantillonnage en ligne coûteux.
4. Distillation de Synergie Cognitive (CSD) : Une variante expérimentale où le modèle apprend non seulement la blague finale, mais aussi le processus de raisonnement (les traces de pensée) du persona.

3. Contributions Clés

1. Cadre de Synergie Cognitive : Introduction d'une méthodologie théorique pour générer des données d'humour diversifiées en opérationnalisant des théories psychologiques via des personas.
2. Analyse de l'Alignement : Investigation rigoureuse montrant que, pour l'humour, la qualité des données d'entraînement (SFT) est bien plus critique que les algorithmes d'alignement (DPO/GRPO).
3. Performance à petite échelle : Démonstration qu'un modèle de 7 milliards de paramètres (HumorGen), correctement entraîné, surpasse des modèles beaucoup plus grands (32B, 120B) et rivalise avec des modèles propriétaires de pointe (GPT-5, Gemini-2.5-Pro).
4. Identification du « Piège de l'explicateur » : Mise en évidence que forcer le modèle à générer des traces de raisonnement (CoT) pour l'humour dégrade la performance, car le modèle tend à expliquer la blague plutôt qu'à la livrer.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données SemEval 2026 Task 1 (MWAHAHA) avec 1 200 prompts d'entraînement et 300 pour le test.

• Performance Globale :
  • HumorGen-SFT-7B obtient un score Elo de 1083.9, surpassant significativement le modèle enseignant Qwen-32B (964.3) et le modèle open-weight GPT-OSS-120B (989.2).
  • Il se place juste derrière les modèles de pointe propriétaires (GPT-5 : 1323.7, Kimi-K2 : 1221.6).
• Impact de l'Alignement :
  • Le DPO (1079.9) n'apporte aucune amélioration significative par rapport au SFT seul.
  • L'O-GRPO (1034.5) est même légèrement inférieur au SFT.
  • Conclusion : Une fois que les données SFT sont de haute qualité et diversifiées, les algorithmes d'alignement n'apportent pas de gain supplémentaire.
• L'Effet « Think Tax » (Piège de l'explicateur) :
  • Les variantes « Think » (avec traces de raisonnement) sont systématiquement moins performantes que leurs homologues « Non-Think ».
  • Les traces de raisonnement poussent le modèle à analyser l'humour au lieu de le créer, brisant la surprise nécessaire à la blague.
• Adaptation aux Comédiens :
  • Un entraînement supplémentaire sur des transcriptions de stand-up (998 blagues) a entraîné une chute drastique des performances (de 1083.9 à 653.1), indiquant un décalage entre l'humour écrit optimisé pour les LLM et l'humour de performance orale.

5. Signification et Implications

Ce travail remet en question l'hypothèse selon laquelle la seule augmentation de la taille du modèle ou l'application d'algorithmes d'alignement complexes (RLHF/DPO) suffit à résoudre les tâches créatives subjectives.

• La primauté des données : Pour des tâches comme l'humour, la curatelle des données (via des personas cognitifs théoriques) est le facteur déterminant de la performance.
• Efficacité des petits modèles : Il est possible de distiller des capacités créatives complexes dans des modèles de taille modeste (7B) si la qualité et la diversité des données d'entraînement sont optimisées.
• Limites du CoT pour la créativité : L'étude confirme que le raisonnement explicite (Chain-of-Thought) n'est pas universellement bénéfique ; pour l'humour, il peut être contre-productif en supprimant l'ambiguïté et la surprise.

En résumé, HumorGen démontre que la clé pour rendre les LLM drôles réside moins dans la complexité de l'architecture ou de l'alignement, que dans la capacité à générer et sélectionner des données d'entraînement qui capturent la diversité des mécanismes psychologiques de l'humour humain.