Resources and Evaluation in Computational Humour Generation: A Systematic Survey across Languages and Cultures

コンピュータにジョークを言わせることは、人工知能において、見た目以上に困難な作業の一つです。それは単に文法のルールに従って言葉を組み立てるだけではなく、人間が持つ文化、タイミング、そして期待という、微妙で、しばしば目に見えないルールを理解することを必要とします。ある都市では成立するジョークが、別の都市では全くウケなかったり、あるいは不快感を与えたりすることさえあります。また、ある人にとって面白いと感じるものが、別の人にとっては混乱を招くものに見えることもあります。長年、研究者たちはユーモアを生成できるシステムの構築を試みてきました。単に言葉を入れ替えるだけの単純なルールベースのプログラムから、膨大なテキストから学習する複雑で現代的なシステムへと進化してきました。しかし、これらのシステムがより強力になるにつれ、新たな問題が浮上してきました。コンピュータはジョークを書くことが上手くなっていますが、その根底にある基盤が見えにくくなっているのです。彼らが学習したデータが、本当に彼らが笑わせようとしている人々を代表しているのか、あるいは彼らを判断するために使われているテストが、実際に私たちが考えていることを測定しているのかどうか、私たちは分かっていないのです。

キングモンクット王立理工科大学の研究者による最近の系統的な調査は、この隠れた基盤を厳しく検証しています。研究チームは、コンピュータがユーモアを生み出す方法が劇的に変化した時期である2020年から2026年までの間に発表された74の研究を精査しました。彼らは単に機械が生成したジョークを見ただけではありません。モデルの学習に使用された生のデータから、ジョークが本当に面白いかどうかを判断するために用いられた手法に至るまで、研究のライフサイクル全体を辿りました。彼らの目的は、科学者が利用できるリソースが本当に他者に公開されているのか、データが多様な人間の文化をカバーしているのか、そしてこれらのシステムをテストする方法が信頼できるものであるかどうかを明らかにすることでした。彼らが発見したのは、技術がそれを支えるために必要な透明性と厳密さを追い越してしまった、急速な変遷期にある分野の姿でした。

ユーモア生成の風景は、わずか数年で劇的に変化しました。かつて、研究者は特定の、手作業で作られたルールや、駄洒落や見出しのような単一のタイプのジョークのために設計された小さなデータセットに依存していました。今日、この分野は、インターネット上の膨大なテキストで学習した巨大なコンピュータプログラムである大規模言語モデルによって支配されています。これらのモデルは多くの言語やスタイルでテキストを生成することができ、レビューされた研究の73パーセントに登場しました。特定のジョークを語るためのプログラムを書く代わりに、現在の研究者は多くの場合、これらのモデルに対して「面白くなって」という単純な指示、すなわちプロンプトを与えるだけです。この柔軟性により、実験の急増が可能となり、研究の数は2023年以降に急激に増加しました。しかし、この変化は新しい種類の不透明性を生み出しました。ユーモアの知識は、モデルの内部設定、与えられた指示、そして生成中に取得されるデータの中に分散しているため、ユーモアが正確にどこから来ているのか、あるいはどのような特定の文化的文脈を引き出しているのかを特定することは、しばしば不可能となっています。

調査における最も衝撃的な発見の一つは、データの豊富さにもかかわらず、それを見つけ、再利用し、あるいは検証することが極めて困難であるということです。研究者たちは、これら74の研究で作成されたデータセットとリソースの可用性を確認しましたが、他者が使用できる形で公開されているものはわずか28パーセントでした。さらに懸察すべきことに、データの使用方法を規定する法的ライセンスを明示的に記載していた研究は、わずか1件でした。科学研究の世界において、これはレシピを公開しながら、その材料や料理の共有に関するルールを提示することを拒否しているようなものです。研究者が公開した数少ないリソースを調べたところ、それらのうち、インターネット上の永続的で変更不可能なアドレス、すなわち永続的識別子を持つものは一つもありませんでした。これは、データのリンクが切れる可能性があり、一度リンクが切れると、そのデータは事実上失われることを意味します。明確なライセンスと安定した場所がなければ、他の科学者は結果を再現したり、その成果の上に積み上げたりすることができず、それは進歩を遅らせ、システムが真に効果的なのか、それとも単に運が良かっただけなのかを判断することを困難にします。

また、調査では、システムが対象とする人々が話す言語と、それらを構築するために使用される言語との間に、重大な隔たりがあることも明らかになりました。研究者は自分たちのシステムが異なる文化圏でも機能すると主張していますが、研究の半分以上が英語のみに焦向していました。中国語、スペイン語、日本語、その他の言語を含む研究もありましたが、その多くは、ネイティブスピーカーによって自然に生み出されたユーモアを集めるのではなく、英語のジョークを翻訳することに依存していました。これは極めて重要な違いです。なぜなら、ユーモアは文化に深く結びついており、特定の歴史的事象や地元の慣習に依存するジョークは、単に翻訳しただけでは他所では成立しないからです。研究者たちは、生成されたユーモアが文化的に適切であるかどうかを、実際にそのコミュニティに属する評価者を用いて直接評価した研究が、わずか4件しかないことを発見しました。他のほとんどのケースでは、ネイティブスピーカーが面白いと感じれば、それは文化的に安全であると研究者たちは想定していました。特定の文化的感受性や伝統について、実際にテストすることはありませんでした。

コンピュータがジョークをうまく言えたかどうかを判断する場合、その手法はしばしば一貫性を欠き、時には誤解を招くものです。ユーモアを測定するためのゴールドスタンダード（標準）は常に人間の判断であり、調査によれば、人間による評価は依然として最も一般的な手法であり、研究の84パーセントで使用されています。しかし、これらの評価が行われる方法は、極めて多様です。小規模な学生グループを使用する研究もあれば、プロのコメディアンや大規模なオンラインワーカーを使用する研究もあります。結果が単なる偶然ではないことを保証するための統計的テストを用いた研究は40パーセント未満であり、多くの研究では、何をもってジョークが面白いと判断したのかという説明が欠けていました。スピードアップを図るために、他のコンピュータモデルを「判定役」として使う研究者も現れていますが、調査によると、これらの自動判定モデルは人間と意見が食い違うことが多いことが分かりました。人間が混乱したり不快に感じたりする内容であっても、モデルはそれが斬新であったり意外であったりするという理由で、面白いと評価してしまうことがあります。これは、システムが現実の人々を笑わせるためではなく、他のコンピュータを喜ばせるために最適化されてしまうリスクを生んでいます。

研究者たちは、この分野における主な障害は、もはやデータの不足ではなく、既存のデータを見つけ、再利用し、検証することの難しさであると結論付けました。強力で汎用的なモデルへの移行は、高品質で詳細に文書化されたリソースの必要性をなくしたのではなく、むしろそれらのリソースをより重要なものにしました。前進するためには、明確なライセンス、永続的なリンク、そしてデータがどのように収集され注釈付けされたかについての詳細な記述を含む、データの共有に関するより優れた慣行を採用する必要があります。最も重要なことは、研究者が自らの主張に見合った評価を行うことです。もしシステムが特定の文化グループに向けて面白いものであるべきならば、そのグループの人々によって、彼らの価値観や伝統を反映した基準を用いてテストされなければなりません。これらの基盤が強化されない限り、コンピュータにジョークを言わせるという進歩は不確実なままであり、その成果は人間が持つユーモアへの真の理解ではなく、テスト手法の癖を反映したものになってしまう可能性があります。