💬 NLP

lmfaoooo at SemEval-2026 Task 1: Humor Is an Audience. Preference Modeling for Constrained Humor Generation

Cet article présente un système lauréat de la première place pour la tâche 1 (MWAHAHA) de SemEval-2026 qui aborde la nature dépendante de l'audience de l'humour en employant une stratégie de « génération multiple, sélection du meilleur », où un ensemble diversifié de candidats est classé par un modèle de préférence entraîné sur des jugements par paires humains plutôt que sur des scores de drôlerie absolus.

Auteurs originaux : Alexey Tikhonov, Alexey Ivanov

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexey Tikhonov, Alexey Ivanov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le propriétaire d'un club de comédie essayant de choisir la blague la plus drôle pour le spectacle de ce soir. Vous avez mille blagues écrites par un robot super rapide, mais vous savez que ce qui fait rire une personne peut faire lever les yeux au ciel d'une autre. Le papier que vous lisez est un rapport sur la façon dont les auteurs ont construit un système pour résoudre exactement ce problème pour une compétition d'informatique appelée SemEval-2026 Task 1 (surnommée MWAHAHA).

Voici l'histoire de la façon dont ils l'ont fait, décomposée en étapes simples :

1. Le Problème : Le « Drôle » est dans l'œil de celui qui regarde

Les auteurs soulignent que l'enseignement de l'humour à un ordinateur est difficile non pas parce qu'il ne peut pas écrire de mots, mais parce que le « drôle » est subjectif.

Le Problème de l'Audience : Une blague qui cartonne à Berlin peut faire un bide à Pékin. Même les humains ne s'entendent pas sur ce qui est drôle ; si vous demandez à 10 personnes de noter une blague, elles donneront 10 scores différents.
Le Problème du Robot : Les ordinateurs sont excellents pour mémoriser. Si vous demandez à un robot de raconter une blague, il se contente souvent de répéter les mêmes 25 blagues qu'il connaît par cœur, comme un perroquet répétant une phrase fétiche. Il a du mal à inventer quelque chose de vraiment nouveau.

2. La Stratégie : « Lancer des fléchettes, puis viser le centre »

Au lieu d'essayer de faire écrire au robot la blague parfaite en une seule fois, les auteurs ont utilisé une stratégie en deux étapes : Générer Beaucoup, Puis Sélectionner le Meilleur.

Étape 1 : La « Fabrique à Blagues » (Génération)
Ils ont mis en place une usine qui produit 50 blagues différentes pour chaque consigne. Ils ont utilisé un mélange de différents modèles d'IA (comme une équipe de différents humoristes) et les ont forcés à être créatifs pour qu'ils ne se contentent pas de copier-coller les vieilles blagues. Ils ont également veillé à ce que les blagues respectent les règles (comme inclure des mots spécifiques ou respecter une certaine longueur).
- Analogie : Imaginez demander à 50 chefs différents de préparer un burger. Certains le feront épicé, d'autres sucré, d'autres étrange. Vous avez maintenant un énorme tas de burgers.
Étape 2 : Le « Testeur de Goût » (Sélection)
Maintenant, ils avaient besoin d'un moyen de choisir le vainqueur parmi ce tas de 50. Comme les humains ne peuvent pas juger chaque blague en temps réel, ils ont construit un Modèle de Préférence.
- Au lieu de demander à l'ordinateur : « Est-ce que cette blague est drôle ? » (ce qui est vague et déroutant), ils lui demandaient : « Entre la Blague A et la Blague B, laquelle est la meilleure ? »
- Ils ont entraîné ce modèle sur environ 2 500 votes humains où les gens comparaient deux blagues et en choisissaient une gagnante. C'est comme entraîner un juge en lui montant des milliers de duels « A contre B » jusqu'à ce que le juge apprenne le goût de la foule.

3. La Recette Secrète : Le « Livre de Recettes de l'Humour »

Pour rendre leur « Testeur de Goût » plus intelligent et plus facile à comprendre, ils n'ont pas simplement laissé l'ordinateur deviner. Ils ont créé une « Base de l'Humour » — une courte liste de 17 « saveurs » spécifiques d'humour.

Pensez à cela comme un étagère d'épices. Les saveurs peuvent inclure « Humour Noir », « Jeu de Mots », « Exagération » ou « Retournement Inattendu ».
Quand l'ordinateur regarde une blague, il ne dit pas seulement « Bien » ou « Mauvais ». Il vérifie la blague par rapport à l'étagère d'épices : Est-ce que cela a une chute forte ? Utilise-t-elle un jeu de mots ? Est-ce trop sombre ?
Cela rend le système « interprétable », ce qui signifie que les humains peuvent regarder les résultats et comprendre pourquoi l'ordinateur a choisi une blague (ex : « Il a choisi celle-ci parce qu'elle avait un excellent retournement, même si elle était un peu courte »).

4. Les Résultats : Gagner la Compétition

Ils ont testé ce système sur trois types différents de données (blagues de Reddit, blagues professionnelles et leur propre nouvel ensemble de données).

Le Vainqueur : Leur méthode « Comparer deux blagues » a bien mieux fonctionné que de simplement demander à l'ordinateur de donner un score à une seule blague. Elle était également plus efficace pour gérer différentes langues et cultures que les autres méthodes.
Le Trophée : Dans la compétition réelle (MWAHAHA), leur système a pris la 1ère place en anglais et en chinois, et la 2ème place en espagnol.

5. La Grande Conclusion

L'article conclut que l'avenir de l'humour informatique n'est pas de faire en sorte que le robot écrive de meilleures blagues à partir de zéro. Le robot est déjà bon pour écrire beaucoup de blagues. Le véritable défi est de choisir la bonne.

Les auteurs soutiennent que si nous voulons que les ordinateurs soient drôles, nous devons arrêter de mesurer le « drôle » comme un chiffre unique et commencer à nous concentrer sur les préférences — comprendre ce que des audiences spécifiques aiment en comparant les options, tout comme nous le faisons quand nous décidons quel film regarder ou quelle chanson écouter.

En bref : Ils ont construit un système qui génère un immense buffet de blagues et utilise un « testeur de goût » intelligent et entraîné pour choisir le plat que l'audience est la plus susceptible d'adorer, remportant la compétition en comprenant que l'humour est une question de préférence du public, et non de la blague elle-même.

Résumé Technique : SemEval-2026 Task 1 (MWAHAHA)

Énoncé du Problème
Le document traite de la difficulté persistante de la génération d'humour computationnel, qui découle de deux défis primordiaux : la subjectivité inhérente du concept de « drôle » et la tendance des grands modèles de langage (LLM) à mémoriser et répéter des modèles à haute fréquence plutôt qu'à générer un contenu novateur. L'humour dépend de l'audience, variant considérablement selon la culture, la démographie et le contexte, ce qui entraîne une supervision bruitée où l'accord des annotateurs est souvent faible (par exemple, $\kappa$ de Fleiss $\approx 0,49$ pour les données liées aux jeux de mots). De plus, une génération non contrainte aboutit souvent à un effondrement de mode (mode collapse), où les modèles reviennent par défaut à un petit ensemble de blagues familières. Le SemEval-2026 Task 1 (MWAHAHA) cible spécifiquement la génération d'humour contrainte (par exemple, conditionnée par des titres ou des mots spécifiques) en anglais, espagnol et chinois, en évaluant les systèmes via des jugements de préférence humaine dans un cadre de type arène. Les auteurs soutiennent que pour les tâches contraintes, le goulot d'étranglement n'est pas la génération brute, mais la sélection fiable du candidat optimal pour une audience cible.

Méthodologie
Les auteurs proposent un pipeline en deux étapes « générer-beaucoup $\rightarrow$ sélectionner-le-meilleur », traitant la génération d'humour comme un problème de maximisation de la diversité suivi d'un problème d'apprentissage de préférences.

Génération de Candidats :
- Stratégie : Une approche de prompting multi-étapes inspirée des techniques de brainstorming : générer des associations, les étendre et les fusionner en blagues finales.
- Diversité et Contraintes : Un ensemble de modèles (Claude-Sonnet-4, Claude-Ops-4.5 et GPT-5) est utilisé avec une température de 1,0. Une astuce d'« échantillonnage focalisé sur la queue » (tail-focused sampling) tire des candidats à partir de régions de faible probabilité pour accroître la nouveauté.
- Filtrage : 50 candidats sont générés par instance. Les contraintes strictes (inclusion de mots-clés, longueur) sont appliquées de manière déterministe. Les quasi-doublons sont supprimés via la similitude d'embedding, ne conservant que le centroïde de chaque groupe.
Modélisation de Préférence et Sélection :
- « Base d'Humour » Interprétable : Au lieu de s'appuyer uniquement sur des embeddings de texte brut, les auteurs construisent une base de caractéristiques compacte et interprétable (17 caractéristiques dans la version finale). Celle-ci est dérivée en incitant un LLM à générer des « indices de différence » entre des paires de blagues, en encodant ces indices, en les regroupant (DP-means) et en effectuant une déduplication sémantique.
- Extraction de Caractéristiques : La base est utilisée pour noter les blagues selon deux modes :
  - Pointwise (ponctuel) : Noter une seule blague par rapport aux règles.
  - Pairwise (par paire) : Comparer deux blagues pour déterminer laquelle s'aligne le mieux avec des règles spécifiques.
- Entraînement du Modèle : Des prédicteurs de préférence légers sont entraînés en utilisant la régression L1 (LASSO) pour la sélection de caractéristiques et la régression régularisée L2 pour la stabilité. Les auteurs privilégient la régression basée sur les paires (pairwise-based regression) comme approche principale, car elle offre une meilleure stabilité de classement global malgré des coûts computationnels plus élevés ( $\Theta(n^2)$ contre $\Theta(n)$ ). Ils emploient des optimisations telles que la priorité donnée aux comparaisons entre composants déconnectés et candidats dissemblables afin de réduire le nombre d'évaluations requises à $\Theta(n \log n)$ .
- Classement Global : Les classements finaux sont agrégés à l'aide de modèles Bradley-Terry-Luce et de procédures de type Elo via l'outil Evalica.

Contributions Clés

Publication de Données de Préférence : La publication d'environ 2,5K jugements par paires humains collectés via le prototype « Humor Arena », aux côtés des ensembles de données existants basés sur Reddit et ScaleAI.
Cadrage axé sur la Préférence : Une formalisation de la génération d'humour contrainte comme un problème de classement piloté par des décisions répétées par paires, arguant que cela fournit des signaux d'apprentissage plus stables que la notation absolue.
Pipeline Interprétable : Une méthode pour convertir des comparaisons étiquetées en une base de caractéristiques compacte, permettant l'entraînement de modèles de préférence légers et interprétables.
Implémentation du Système : Le système « lmfaoooo », qui intègre le flux de travail de génération et de sélection, avec l'ensemble des prompts, des pools de candidats et des artefacts rendus publics.

Résultats

Performance Intra-Dataset : Sur trois ensembles de données (Reddit, ScaleAI et Humor Arena), les modèles de caractéristiques par paires ont systématiquement surpassé les baselines ponctuelles (pointwise) et les baselines « NoBasis » (juge LLM direct). Par exemple, sur le dataset Humor Arena, le modèle par paires a atteint 77 % de précision contre 45 % pour le modèle ponctuel et 37 % pour le modèle NoBasis.
Transfert Cross-Domaine : Les modèles par paires ont démontré de plus fortes capacités de transfert que les baselines ponctuelles. Bien que le transfert soit partiel et asymétrique (indiquant des composantes d'humour à la fois universelles et communautaires), les modèles par paires ont maintenu une précision plus élevée dans les configurations de test hors-diagonale.
Performance SemEval-2026 Task 1 : Le système a obtenu la 1ère place dans les sous-tâches anglaise et chinoise, et la 2ème place dans la sous-tâche espagnole.
- ELO Anglais : 1041 (IC 95 % [1009, 1064])
- ELO Chinois : 1081 (IC 95 % [1031, 1127])
- ELO Espagnol : 1091 (IC 95 % [1053, 1211])

Signification et Revendications
L'article postule que l'avenir de la génération d'humour dépendra moins de l'amélioration des capacités brutes de génération de texte — que les LLM modernes possèdent déjà en abondance — que de l'amélioration de l'évaluation et de la modélisation des préférences. Les auteurs affirment que leurs résultats soutiennent une vision « axée sur la préférence » : générer des candidats diversifiés devient de plus en plus facile, mais identifier de manière fiable quel candidat s'aligne sur une audience spécifique reste la difficulté centrale. L'utilisation d'une base de caractéristiques interprétable permet une analyse d'erreur ciblée, révélant que si certaines caractéristiques d'humour (ex: des chutes claires) sont universellement sélectionnées, d'autres sont spécifiques à une communauté. Les auteurs concluent que le progrès dans ce domaine dépendra de plus en plus d'une modélisation robuste des préférences plutôt que des seules améliorations de l'architecture de génération.