SwanNLP at SemEval-2026 Task 5: An LLM-based Framework for Plausibility Scoring in Narrative Word Sense Disambiguation
本論文は、SemEval-2026 タスク 5 に参加し、構造化推論メカニズムを用いた LLM ベースのフレームワークを提案することで、物語内の同音異義語の妥当性を人間に近い形で評価し、特に大規模モデルにおける動的なファウショットプロンプトとモデルアンサンブルの効果が人間の合意パターンをよりよく再現することを示したものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
スワンシー大学の「物語の読み手」AI：SemEval-2026 での挑戦
この論文は、ウェールズのスワンシー大学の研究チーム（SwanNLP）が、2026 年に開催された AI 評価コンペ「SemEval-2026」の第 5 タスクに参加し、「物語の中の言葉の意味を、人間がどう感じるか」を AI に判定させるという挑戦について報告したものです。
難しい専門用語を抜きにして、日常の例え話を使って解説します。
1. 何が問題だったのか？（「銀行」の謎）
まず、言葉には「多義性（同じ言葉に複数の意味があること）」という悩みがあります。
例えば、「銀行」という言葉。
- 「川辺の銀行（土手）」
- 「お金の銀行」
これらは文脈によって意味が変わります。これまでの AI は「短い文」だけで判断するのが得意でしたが、**「物語全体の流れ」**の中で、人間が「あ、これは『土手』の意味だな」と感じるかどうかを判断するのは、まだ苦手でした。
今回のコンペは、短い物語（前文＋曖昧な文＋結び）を読み、**「この言葉の意味は、物語として『あり得る（妥当）』か？」**を 1 点から 5 点で評価するタスクでした。
2. 彼らが使った 3 つの「魔法の杖」
チームは、この難題を解決するために、大きく分けて 3 つのアプローチ（魔法の杖）を用意しました。
① 小さな AI に「思考のトレーニング」をさせる（微調整）
まず、比較的小型の AI モデル（Qwen や Gemma など）を、人間がつけた正解データで「勉強」させました。
- 普通の勉強: 「答えを暗記する」。
- 新しい勉強法: 「なぜそう思ったのか」を論理的に説明するように教えました。
- 例: 「この物語の結末は『川』の話だから、ここでの『銀行』は『土手』の意味で、妥当性は高い（4 点）」と、理由をつけて答えるように訓練しました。
- さらに、「この物語は人間にとって『簡単』か『難しい』か」を最初に判断させ、その難易度に合わせて答え方を変えるようにもしました。
② 巨大な AI に「参考書」を見せる（動的なFew-shot 学習）
次に、より賢い巨大な AI（GPT-4o など）を使いました。
- ゼロショット（参考書なし）: 問題文だけ見て即答させる。
- 動的な参考書（RAG）: 問題文を見て、**「似たような過去の物語」**をデータベースから 1〜3 件引っ張ってきて、「こういう時はこう判断されたよ」というヒントを見せながら答える方法です。
- 例え: 試験中に、先生が「前のテストで似たような問題があったね、その時の答えはこうだったよ」と教えてくれるようなものです。これにより、AI は人間に近い判断ができるようになりました。
③ 「5 人の審査員」をシミュレートする（アンサンブル）
人間は 5 人で評価すると、意見が分かれることもあります（全員が「5 点」ではなく、「4 点、5 点、3 点」など）。
- 単一の AI が答えるのではなく、5 つの異なる AI にそれぞれに「審査員」として答えさせ、その結果をまとめました。
- 単純に多数決をとったり、成績の良い AI の意見を重視したり、AI 同士で「最終的な点数」を計算し合ったりする工夫をしました。
- 例え: 料理のコンテストで、1 人の審査員ではなく、5 人の審査員に試食させ、その平均点や傾向を分析して「最終評価」を決めるようなものです。
3. 結果はどうだった？
- 小さな AI は「理由」を言うと強くなった: 単に答えを言うだけでなく、「なぜそう思ったか」を論理的に説明するよう訓練すると、人間の判断に近づきました。
- 巨大な AI は「参考書」が効いた: 巨大な AI に、過去の類似事例（参考書）を見せると、特に「曖昧で難しい物語」でも、人間に近い評価ができるようになりました。
- 5 人の審査員シミュレーションが最強: 1 人の AI が答えるよりも、5 人の AI に答えてもらい、その結果をうまくまとめる（アンサンブル）方法が、最も人間の評価パターン（バラつきや合意）を再現できました。
4. 結論と今後の課題
このチームは、コンペで10 位という素晴らしい成績を収めました。
彼らが証明したのは、**「AI に『答え』だけでなく、『思考のプロセス』や『過去の事例』、そして『複数の視点』を持たせること」**が、人間らしい判断をさせる近道だということです。
でも、まだ完璧ではありません。
AI は「簡単」な物語では人間とよく似ていますが、**「どっちつかずの曖昧な物語」**になると、まだ人間のような「微妙なニュアンス」や「一貫性」を完全に再現するのは難しいようです。
まとめ
この研究は、AI が単に「正解」を探す機械から、**「物語の文脈を読み解き、人間のように『あり得るかどうか』を想像する存在」**へと進化するための重要な一歩を示しました。まるで、AI に「読書感想文」を書かせるのではなく、「物語の深層心理」を理解させるような挑戦だったのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。