NCL-UoR at SemEval-2026 Task 5: Embedding-Based Methods, Fine-Tuning, and LLMs for Word Sense Plausibility Rating

SemEval-2026 タスク 5 における NCL-UoR チームの論文は、埋め込みベース手法や微調整モデルと比較し、構造化されたプロンプトと明確な判断ルールを組み合わせた大規模言語モデル（LLM）のアプローチが、曖昧な同音異義語を含む物語の文脈における語義の妥当性評価において最も優れていることを示しています。

要約

この論文は、2026 年の「SemEval（言語処理のオリンピックのような大会）」の 5 番目の課題に参加したチーム「NCL-UoR」の報告書です。

彼らが挑んだのは、**「ある言葉が、物語の中で『どれくらい自然に聞こえるか』を 1 から 5 の点数で評価する」**という難しい仕事です。

これを一般の方にもわかりやすく、料理や探偵の物語に例えて解説しますね。

---

🕵️‍♂️ 課題：言葉の「意味」を当てて、点数をつけろ！

物語の中に「あいまいな言葉（多義語）」が一つ隠されています。
例えば、**「リング（ring）」**という言葉。

• 意味 A：指輪（ジュエリー）
• 意味 B：鳴り響く音

物語はこう続きます。

「彼は貯金を見てニヤリとした。記念日に彼女に『リング』を贈ると言った。彼女は特別なジュエリーを喜んで受け取った。」

この物語で「リング」が「鳴り響く音」だとしたら、**「ありえない（1 点）」ですよね。でも、「指輪」なら「大正解（5 点）」**です。

このチームは、AI にこの「ありえる度合い」を 1〜5 点で正確に当てさせる方法を 3 つ試しました。

---

🛠️ 試した 3 つの方法

1. 「辞書と計算機」を使う方法（埋め込みベース）

【イメージ：辞書を引いて、似ているか計算する】

• やり方: 物語全体と「言葉の意味」を、AI が理解できる「数字のリスト（ベクトル）」に変換します。そして、その数字同士がどれだけ似ているか（距離が近いか）を計算して、点数を推測します。
• 結果: 失敗しました。
• 理由: 辞書で「似ているか」を調べるだけでは、物語の「流れ」や「文脈」が理解できません。まるで、レシピの材料リストだけを見て「この料理が美味しいか」を判断しようとしているようなもので、全体の味はわからないのです。

2. 「勉強させて、テストさせる」方法（ファインチューニング）

【イメージ：優秀な学生に教科書を与えて、試験勉強させる】

• やり方: 既存の高性能な AI（ELECTRA や DeBERTa など）に、大量の物語と正解の点数を「教科書」として与え、AI 自身を「特化型」に改造（ファインチューニング）します。
• 工夫: 人間の評価者同士で意見が割れる場合（「これは 3 点か 4 点か？」と迷う場合）を考慮して、AI に「迷っている場合は減点しない」というルールも教えました。
• 結果: そこそこ成功しました。
• 理由: 物語の流れをある程度理解できるようになりましたが、新しい物語や複雑な話になると、少し混乱して点数が外れてしまうことがありました。

3. 「探偵に指示書を与える」方法（LLM プロンプト）

【イメージ：名探偵に「事件の解き方」をマニュアルで教える】

• やり方: 巨大な AI（GPT-4o など）に、ただ「当てて」と言うのではなく、**「探偵としての思考手順（プロンプト）」**を詳しく指示しました。
  • ステップ 1: 物語の「導入部分」は、この意味を支持しているか？
  • ステップ 2: 問題の「言葉がある文」は、その意味を裏付けているか？
  • ステップ 3: 物語の「結末」は、その意味を確定させているか？（これが一番重要！）
  • ルール: 「結末が矛盾していれば、どんなに導入が良くても 1 点か 2 点にしなさい」といった明確な判断基準を与えました。
• 結果: 大成功！優勝しました！
• 理由: 単に「似ている」だけでなく、**「物語の構成要素を分解して、論理的に判断する」**という人間に近い思考プロセスを AI に強制できたからです。

---

🏆 何がわかったのか？（結論）

この研究で一番面白い発見は以下の 2 点です。

1. 「AI の大きさ」より「指示の仕方」が重要

   • 最新の巨大な AI（GPT-5 など）を使っても、ただ「当てて」と言うだけでは負けます。
   • 一方で、少し前のモデル（GPT-4o）でも、「探偵のようにステップバイステップで考え、矛盾があれば減点する」という指示書（プロンプト）を与えれば、最強の成績を収めました。
   • つまり、「AI に何をさせるか（指示書）」の方が、「AI がどれくらい大きいか（モデルサイズ）」よりも重要だということがわかりました。

2. 物語の「結末」が全てを決める

   • 物語の前半（導入）がどんなにその意味を暗示していても、最後の「結末」で矛盾していれば、それは「ありえない（1 点）」になります。この「結末の重要性」を AI に理解させるのが、成功の鍵でした。

📝 まとめ

このチームは、**「AI にただ計算させるのではなく、人間のように『物語の構成』を分解して、明確なルールで判断させる」**という方法を編み出し、世界最高峰の成績を収めました。

これは、AI を使うときに「機械を大きくする」ことよりも、「人間がどう考えさせるか（指示の設計）」を工夫することが、より重要だということを教えてくれる素晴らしい研究です。

技術概要

SemEval-2026 タスク 5 参加報告：NCL-UoR チームによる単語意味の妥当性評価に関する技術サマリー

本論文は、SemEval-2026 タスク 5「単語意味の妥当性評価（Word Sense Plausibility Rating）」への参加報告であり、曖昧な同音異義語を含む短い物語文脈において、特定の単語の意味が人間にとってどの程度妥当かを 1〜5 のスケールで予測するタスクに取り組んだものです。NCL-UoR チーム（Newcastle University と University of Reading の共同研究）は、埋め込みベース手法、ファインチューニング、大規模言語モデル（LLM）のプーミングという 3 つのアプローチを体系的に比較し、構造化されたプロンプト戦略が最も優れた性能を示したことを報告しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

• タスク内容: 5 文からなる物語（前文、ターゲット文、結末）と、その中の曖昧な同音異義語、そして候補となる単語の意味が与えられます。システムは、その意味が文脈において人間にとってどの程度「妥当（plausible）」かを 1（非常に不自然）から 5（非常に自然）のスケールで予測する必要があります。
• データセット: AmbiStory データセット（2,280 訓練、588 開発、930 テスト）を使用。各サンプルは少なくとも 5 人のアノテーターによって評価され、ゴールドラベルは平均評価値です。
• 従来の WSD との違い: 従来の単語意味曖昧性解消（WSD）が「唯一の正解」を選ぶタスクであったのに対し、本タスクは文脈によって複数の意味が異なる程度で妥当となり得る「段階的（graded）」な評価を求めます。

2. 提案手法（3 つのアプローチ）

本研究では、以下の 3 つの異なるモデル化アプローチを比較検討しました。

2.1 埋め込みベース手法 (Embedding-Based Methods)

文脈と単語の意味の類似性を数値特徴量として抽出し、古典的な回帰モデルに適用する手法です。

• MPNet + Ridge 回帰: 文脈と意味を Sentence-BERT でエンコードし、コサイン類似度、ユークリッド距離、ドット積などの 8 種類の特徴量を Ridge 回帰に入力。
• RoBERTa + XGBoost: 特徴量を 23 種類に拡張（重なり度合い、構造的特徴など）し、XGBoost 回帰器を使用。
• 結果: 物語全体の文脈推論を捉えることができず、性能は低かった（後述）。

2.2 トランスフォーマーのファインチューニング (Transformer Fine-Tuning)

事前学習済みモデルを LoRA（Low-Rank Adaptation）を用いて効率的にファインチューニングし、回帰タスクとして学習させます。

• モデル: ELECTRA (base/large), DeBERTa-large。
• 損失関数の工夫:
  • RankNet (Pairwise Loss): Spearman 相関を最適化するため、妥当性の高いサンプルと低いサンプルの順序付けを正しく行うようペアごとの損失を追加。
  • 不確実性対応損失 (Uncertainty-aware Loss): アノテーター間の不一致（標準偏差）を許容マージンとして扱い、不一致が大きいサンプルの誤差ペナルティを軽減する損失関数を導入。
• 結果: 埋め込み手法よりは優れましたが、テストセットでの汎化性能に課題が残りました。

2.3 LLM による構造化プーミング (LLM Prompting)

ファインチューニングを行わず、大規模言語モデルに対して構造化された指示と明確な判断ルールを与える手法です。

• P1 (Few-Shot): 従来の数 shot 学習（各評価レベルの例を提示）。
• P2 (構造化プーミング + 判断ルール): 例示を廃し、以下の構造化された評価基準とルールをプロンプトに組み込みました。
  1. コンポーネント別評価: 前文、ターゲット文、結末の 3 つの要素を個別に評価。
  2. 明確な判断ルール:
     • 「結末が意味と明確に矛盾すれば、評価は 1 または 2 にしなければならない」
     • 「証拠が曖昧な場合は、低い妥当性評価を選ぶ」
     • 「評価 5 には結末での明確な裏付けが必要」
  3. 公平な立場: 提示されたテキストのみに基づき判断するよう指示。

3. 実験結果

開発セットおよびテストセットにおける主要な指標（Spearman 相関 $\rho$ と、アノテーター平均の 1 標準偏差以内の予測精度 Acc.）は以下の通りです。

アプローチ	システム	テストセット $\rho$	テストセット Acc.
埋め込み	MPNet + Ridge	0.109	0.513
ファインチューニング	DeBERTa-large + LoRA	0.492	0.676
LLM (Few-Shot)	GPT-5.2 (P1)	0.635	0.713
LLM (構造化)	GPT-4o (P2)	0.731	0.794

• 最優秀システム: 構造化プロンプト（P2）を用いた GPT-4o が、$\rho = 0.731$、Acc. = $0.794$ を記録し、他を大きく上回りました。
• モデル規模 vs プロンプト設計: GPT-4o（P2）は、より新しい・大きなモデルである GPT-5.2（P2）よりも高い性能を示しました。これは、このタスクにおいては「モデルの規模」よりも「プロンプトの設計（構造化と判断ルールの明示）」が重要であることを示唆しています。
• ファインチューニングの限界: ファインチューニングモデルは開発セットでは良好でしたが、テストセット（未見の同音異義語や物語パターン）での性能低下が見られました。

4. 誤差分析と知見

• アノテーターの不一致: アノテーター間の不一致（標準偏差）が大きいサンプルほど予測誤差が大きくなりました。
• 中間評価の難易度: 評価が 1 や 5（極端な場合）よりも、3〜4 付近（曖昧な場合）の予測が最も難しかったです。
• 文脈の矛盾: 前文が一つの意味を強く誘導し、結末が別の意味を裏付けるような「誤解を招く前文」を持つケースで、モデルは特定の要素に過剰に依存し、誤った予測（カストロフィックエラー）を行う傾向がありました。
• 構造化プロンプトの効果: 判断ルール（例：「矛盾すれば 1-2」）は、特に曖昧な場合の評価を補正し、予測の安定性を高めるのに寄与しました。

5. 結論と意義

本論文の主な貢献と意義は以下の通りです。

1. 構造化プーミングの優位性: 単語意味の妥当性評価という複雑な推論タスクにおいて、単なる例示（Few-Shot）やファインチューニングよりも、構造化された評価基準と明示的な判断ルールを組み込んだプロンプト設計が最も効果的であることを実証しました。
2. モデル規模より設計: 最新の巨大モデルであっても、適切なプロンプト設計がなされなければ、より小さなモデル（GPT-4o）の方が優れた性能を発揮することを示し、タスク固有の推論フレームワークの重要性を強調しました。
3. 埋め込み手法の限界: 文脈と意味の静的な類似性特徴量だけでは、物語全体の文脈推論（構成論理的な推論）を捉えられないことを示し、この種のタスクにはより高度な推論能力が必要であることを浮き彫りにしました。
4. 将来の展望: ファインチューニングモデルと LLM プーミングを組み合わせたアンサンブル手法や、文脈の矛盾をより適切に処理するプロンプトの改良が今後の課題として挙げられています。

総じて、この研究は、生成 AI を活用した言語理解タスクにおいて、単にモデルを大きくするだけでなく、**「どのように推論させるか（プロンプトエンジニアリングと判断ルールの設計）」**が成否を分ける重要な要素であることを示す重要な知見を提供しています。