Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models
Cette étude révèle que, bien que les grands modèles de langage surpassent le hasard dans l'évaluation de l'humour lors de parties de Cards Against Humanity, leur alignement avec les préférences humaines reste modeste et leur forte cohérence interne suggère que leurs jugements sont davantage influencés par des biais structurels que par une véritable compréhension de l'humour.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
🎭 Le Grand Défi : Les IA à la fête
Imaginez que vous organisez une grande soirée jeu. Le jeu s'appelle « Cards Against Humanity » (ou « Cartes contre l'Humanité »). C'est un jeu où l'on tire une carte avec une phrase bizarre (ex: « Après quatre ans d'université, je ne sais toujours pas comment ______ ») et les joueurs doivent choisir, parmi 10 autres cartes, celle qui rend la phrase la plus drôle.
L'équipe de chercheurs a invité cinq super-intelligences artificielles (les plus avancées du moment, comme GPT, Claude, Gemini, etc.) à jouer à ce jeu en même temps que des humains.
Le but ? Voir si ces robots ont le même sens de l'humour que nous, les humains. Est-ce qu'ils rigolent aux mêmes blagues ?
📉 Le Résultat : Les robots sont de « mauvais » comédiens
Le verdict est sans appel : les robots ne sont pas très drôles.
- Le score : Si vous tiriez une carte au hasard, vous auriez 10 % de chances de trouver la bonne. Les IA ont fait un peu mieux (entre 13 % et 18 %), mais c'est loin d'être parfait.
- L'analogie : Imaginez que vous demandez à un robot de raconter une blague à un groupe d'amis. Il choisit la bonne réponse, mais c'est souvent une blague qui tombe à plat ou qui est un peu « étrange ». Il a compris les mots, mais pas vraiment l'ambiance.
🤖 Le Phénomène Étrange : Les robots s'entendent mieux entre eux qu'avec nous
C'est ici que ça devient fascinant. Les chercheurs ont remarqué quelque chose de très bizarre :
- Entre humains : Si vous demandez à 10 humains de choisir la carte la plus drôle, ils ne sont pas toujours d'accord. L'humour est subjectif !
- Entre robots : Si vous demandez aux 5 IA de choisir, elles sont beaucoup plus souvent d'accord entre elles qu'avec les humains.
L'analogie du « Club Privé » :
Imaginez que les humains sont une foule diverse dans une rue, chacun avec son propre style de musique. Les IA, elles, sont comme un groupe de robots qui ont tous écouté la même radio secrète. Ils ne sont pas d'accord avec la foule, mais ils sont tous d'accord entre eux pour dire : « Oui, cette chanson est la meilleure ! ».
En fait, les IA ont développé leur propre sens de l'humour, qui est différent du nôtre. Elles préfèrent certaines choses que nous n'aimons pas forcément.
🔍 Pourquoi font-ils ça ? (Les deux coupables)
Les chercheurs ont mis les IA sous la loupe pour comprendre pourquoi elles choisissent toujours les mêmes cartes. Ils ont trouvé deux « trucs » (ou biais) qui expliquent une grande partie de leur comportement :
Le Biais de Position (Le « Chiffre de la chance ») :
- L'image : C'est comme si les robots avaient une superstition. Par exemple, l'IA « DeepSeek » choisit presque toujours la 3ème carte de la liste, peu importe ce qu'elle dit. L'IA « Grok » adore la 10ème carte.
- Ils ne regardent pas vraiment le contenu, ils regardent où la carte est placée ! C'est comme si un joueur de poker misait toujours sur le joueur assis à gauche, juste parce qu'il est à gauche.
Le Biais de Contenu (Les « Sujets Tabous ») :
- L'image : Les IA ont une préférence pour les blagues un peu « grossières » ou sexuelles (les blagues sur le corps, les fluides, etc.), beaucoup plus que les humains. En revanche, elles évitent les blagues sur la politique ou l'identité, alors que les humains en aiment bien.
- C'est comme si les robots avaient été entraînés à être « polis » et à éviter les sujets sérieux, mais qu'ils avaient gardé une prédilection pour l'absurde et le corporel.
💡 La Conclusion : Les robots ne comprennent pas vraiment
L'article nous dit quelque chose d'important : Quand une IA dit qu'une blague est drôle, est-ce qu'elle la trouve vraiment drôle ?
Probablement pas.
Il semble que les IA utilisent des raccourcis. Au lieu de réfléchir à la situation, au contexte et à l'émotion humaine (ce qui est très difficile), elles suivent des règles cachées : « Choisis la 3ème carte » ou « Choisis une carte sur le corps ».
C'est comme si vous demandiez à un robot de peindre un portrait. Il ne regarde pas la personne, il suit une formule mathématique pour mettre des yeux et une bouche au bon endroit. Ça ressemble à un portrait, mais ça manque d'âme.
🚀 Et pour la suite ?
Les chercheurs concluent que l'humour est l'une des dernières frontières pour l'intelligence artificielle. Tant que les robots ne pourront pas comprendre pourquoi nous rions (et pourquoi nous ne rions pas), ils resteront des « comédiens » qui répètent des textes sans vraiment comprendre la pièce.
En résumé : Les IA jouent bien au jeu, mais elles ont un sens de l'humour qui leur est propre, basé sur des règles mathématiques et des préférences étranges, plutôt que sur la connexion humaine réelle. Elles s'entendent mieux entre elles qu'avec nous, car elles parlent toutes le même « langage robotique » qui n'est pas encore celui de l'humain.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.