Resources and Evaluation in Computational Humour Generation: A Systematic Survey across Languages and Cultures

Faire en sorte qu'un ordinateur raconte une blague est l'une des tâches les plus trompeuses et les plus difficiles de l'intelligence artificielle. Cela nécessite plus que le simple assemblage de mots respectant les règles de la grammaire ; la machine doit comprendre les règles subtiles, souvent invisibles, de la culture, du rythme et de l'attente humaines. Une blague qui fonctionne dans une ville peut tomber à plat ou même offenser dans une autre, et ce qui semble drôle pour une personne peut paraître déroutant pour quelqu'un d'autre. Pendant des années, des chercheurs ont tenté de construire des systèmes capables de générer de l'humour, passant de simples programmes basés sur des règles qui échangeaient des mots à des systèmes modernes complexes qui apprennent à partir de vastes quantités de texte. Mais à mesure que ces systèmes sont devenus plus puissants, un nouveau problème est apparu : alors que les ordinateurs deviennent meilleurs pour écrire des blagues, le fondement sur lequel ils reposent devient de plus en plus difficile à percevoir. Nous ne savons pas si les données dont ils ont appris représentent véritablement les personnes qu'ils sont censés amuser, ni si les tests utilisés pour les juger mesurent réellement ce que nous pensons mesurer.

Une enquête systématique récente menée par des chercheurs de l'Université de technologie de King Mongkut Thonburi examine de près ce fondement caché. L'équipe a examiné soixante-quatorze études publiées entre 2020 et 2026, une période qui a connu un changement massif dans la manière dont les ordinateurs sont enseignés pour créer l'humour. Ils n'ont pas seulement regardé les blagues produites par les machines ; ils ont retracé tout le cycle de vie de la recherche, des données brutes utilisées pour entraîner les modèles aux méthodes utilisées pour décider si une blague était réellement drôle. Leur objectif était de déterminer si les ressources disponibles pour les scientifiques sont véritablement ouvertes à l'usage d'autrui, si les données couvrent la grande variété des cultures humaines, et si la façon dont nous testons ces systèmes est fiable. Ce qu'ils ont découvert, c'est un domaine en transition rapide, où la technologie a dépassé la transparence et la rigueur nécessaires pour la soutenir.

Le paysage de la génération d'humour a radicalement changé en quelques années seulement. Autrefois, les chercheurs s'appuyaient sur des règles spécifiques, conçues à la main, ou sur de petits ensembles de données destinés à un seul type de blague, comme un jeu de mots ou un titre de presse. Aujourd'hui, le domaine est dominé par les grands modèles de langage, qui sont de vastes programmes informatiques entraînés sur d'énormes quantités de textes provenant d'Internet. Ces modèles peuvent générer du texte dans de nombreuses langues et styles, et ils sont apparus dans soixante-treize pour cent des études examinées. Au lieu d'écrire un programme pour raconter une blague spécifique, les chercheurs demandent souvent à ces modèles une instruction simple, ou « prompt », pour leur demander d'être drôles. Cette flexibilité a permis une explosion de nouvelles expérimentations, le nombre d'études augmentant brusquement après 2023. Cependant, ce changement a créé un nouveau type d'opacité. Parce que la connaissance de l'humour est désormais répartie à travers les paramètres internes du modèle, les instructions qui lui sont données et les données qu'il récupère lors de la génération, il est souvent impossible de savoir exactement d'où vient l'humour ou sur quel contexte culturel spécifique il s'appuie.

L'une des conclusions les plus frappantes de l'enquête est que, malgré l'abondance de données, il est incroyablement difficile de les trouver, de les réutiliser ou de les vérifier. Les chercheurs ont vérifié la disponibilité des ensembles de données et des ressources créés dans ces soixante-quatorze études et ont constaté que seulement vingt-huit pour cent étaient accessibles au public pour une utilisation par d'autres. Plus préoccupant encore, une seule étude a explicitement nommé la licence légale qui régit la manière dont ses données peuvent être utilisées. Dans le monde de la recherche scientifique, cela revient à publier une recette mais à refuser d'énumérer les ingrédients ou les règles pour partager le plat. Lorsque les chercheurs ont examiné les rares ressources publiées, ils ont constaté qu'aucune d'entre elles ne possédait d'adresse permanente et immuable sur Internet, appelée identifiant persistant. Cela signifie que les liens vers les données peuvent se briser, et une fois qu'un lien est rompu, les données sont effectivement perdues. Sans licences claires et sans emplacements stables, les autres scientifiques ne peuvent pas reproduire les résultats ni construire sur le travail existant, ce qui ralentit les progrès et rend difficile de savoir si un système est réellement efficace ou simplement chanceux.

L'enquête a également révélé un écart important entre les langues parlées par les populations que les systèmes sont censés servir et les langues utilisées pour les construire. Plus de la moitié des études se concentraient exclusivement sur l'anglais, même si les chercheurs affirmaient que leurs systèmes pouvaient fonctionner dans différentes cultures. Bien qu'il y ait eu des études impliquant le chinois, l'espagnol, le japonais et d'autres langues, beaucoup d'entre elles reposaient sur la traduction de blagues anglaises plutôt que sur la collecte d'un humour naturellement créé par des locuteurs natifs. Il s'agit d'une distinction cruciale car l'humour est profondément lié à la culture ; une blague qui repose sur un événement historique spécifique ou une coutume locale ne peut pas simplement être traduite pour fonctionner ailleurs. Les chercheurs ont constaté que seules quatre études évaluaient directement si l'humour généré était culturellement approprié, en utilisant des évaluateurs appartenant réellement à la communauté cible. Dans la plupart des autres cas, les chercheurs supposaient que si un locuteur natif trouvait cela drôle, c'était culturellement sûr, sans tester réellement les sensibilités culturelles ou les traditions spécifiques.

Lorsqu'il s'agit de juger si un ordinateur a réussi à raconter une blague, les méthodes utilisées sont souvent incohérentes et parfois trompeuses. Le standard d'excellence pour mesurer l'humour a toujours été le jugement humain, et l'enquête a confirmé que l'évaluation humaine reste la méthode la plus courante, utilisée dans quatre-vingt-quatre pour cent des études. Cependant, la façon dont ces évaluations sont menées varie énormement. Certaines études utilisent un petit groupe d'étudiants, tandis que d'autres font appel à des humoristes professionnels ou à de grands groupes de travailleurs en ligne. Moins de quarante pour cent des études ont fait état de l'utilisation de tests statistiques pour s'assurer que leurs résultats n'étaient pas de simples coups de chance, et beaucoup n'ont pas expliqué comment elles décidaient si une blague était drôle ou non. Dans un effort pour accélérer les choses, certains chercheurs ont commencé à utiliser d'autres modèles informatiques pour agir comme juges, mais l'enquête a révélé que ces juges automatisés sont souvent en désaccord avec les humains. Ils peuvent juger une réponse drôle parce qu'elle est nouvelle ou surprenante, même si un humain la trouverait déroutante ou offensante. Cela crée un risque que les systèmes soient optimisés pour plaire à d'autres ordinateurs plutôt que pour amuser de vraies personnes.

Les chercheurs ont conclu que le principal obstacle dans le domaine n'est plus le manque de données, mais plutôt la difficulté de trouver, de réutiliser et de vérifier les données qui existent déjà. Le passage à des modèles puissants et polyvalents n'a pas supprimé le besoin de ressources de haute qualité et bien documentées ; il a rendu ces ressources encore plus importantes. Pour progresser, le domaine doit adopter de meilleures pratiques de partage de données, incluant des licences claires, des liens permanents et des descriptions détaillées de la manière dont les données ont été collectées et annotées. Plus important encore, les chercheurs doivent s'assurer que leurs évaluations correspondent aux affirmations qu'ils font. Si un système est censé être drôle pour un groupe culturel spécifique, il doit être testé par des personnes de ce groupe, en utilisant des critères qui reflètent leurs valeurs et leurs traditions. Tant que ces fondations ne seront pas renforcées, les progrès de la capacité des ordinateurs à raconter des blagues resteront incertains, avec des gains qui pourraient refléter les particularités des méthodes de test plutôt qu'une véritable compréhension de l'humour humain.