💬 NLP

Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation

本論文は、意味が同等な語彙的・構文的な変異が LLM の性能評価やモデルの順位に大きな影響を与えることを示し、モデルが抽象的な言語能力よりも表面的な語彙パターンに依存している可能性を指摘するとともに、評価プロセスに堅牢性テストの導入を提言しています。

原著者： Bogdan Kostić, Conor Fallon, Julian Risch, Alexander Löser

公開日 2026-02-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bogdan Kostić, Conor Fallon, Julian Risch, Alexander Löser

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI（大規模言語モデル）は、実はとても『言葉の表面』に敏感で、少しの言い換えや文法の入れ替えで、成績がガクンと変わってしまう」**という驚くべき発見を報告したものです。

まるで**「優秀に見える生徒が、試験問題の言い回しを少し変えただけで、全く違う答えを出してしまう」**ような状態です。

以下に、専門用語を排して、身近な例え話を使って解説します。

🧐 研究の目的：AI は本当に「賢い」のか？

最近、AI の性能を測るために「テスト（ベンチマーク）」が作られ、その点数で AI のランキングが決まっています。
「この AI は 90 点、あの AI は 85 点だから、90 点の方が優秀だ」と判断されがちです。

しかし、研究者たちは疑問を持ちました。
「もし、同じ意味の質問を、少しだけ言い換えたり、語順を変えたりしたら、AI は同じ答えを出せるだろうか？」

例えば、

元の質問： 「アブラハム・マズローは、生存に不可欠な動機が他より重要だと提案した。」
言い換え： 「アブラハム・マズローは、存在にとって重要な動機が他より重要だと概念を提案した。」

意味は全く同じですが、AI はこの違いにどう反応するのでしょうか？

🔍 実験方法：2 つの「いたずら」

研究者たちは、23 種類の最新の AI に、3 つの異なるテスト（一般常識、文章からの情報抜き取り、医療ガイドラインの遵守）を受けさせました。そして、以下の 2 つの「いたずら」を仕掛けました。

言葉の入れ替え（レキシカル・パータベーション）
- 意味を変えずに、単語を同義語に置き換えます。
- 例：「動機」→「モチベーション」、「生存」→「存在」。
- イメージ： 料理のレシピで「塩」を「ソルト」、「炒める」を「ソテーする」と言い換えたようなもの。
文法の入れ替え（構文・パータベーション）
- 単語は変えずに、文の構造（主語と目的語の順序など）を変えます。
- 例：「私が彼を助けた」→「彼を私が助けた」。
- イメージ： 料理の手順を「まず卵を割り、次に牛乳を入れる」から「牛乳を入れてから卵を割る」に変えるようなもの（ただし、文法的には正しい形）。

📉 驚きの結果：3 つの発見

実験結果は、AI の「賢さ」に対する常識を覆すものでした。

1. AI は「単語」に弱く、「文法」には強い（？）

言葉の入れ替えをすると、AI の正解率は大幅に低下しました。
- 例え： 料理のレシピで「塩」を「ソルト」と書いただけで、AI は「これは何だ？塩じゃないのか？」と混乱し、料理を失敗してしまうようです。
文法の入れ替えでは、影響は小さかったり、逆に成績が上がったりもしました。
- 例え： 手順の順序を変えただけでは、AI は「まあ、どっちでもいいか」と平気な顔をして正解を出せることが多いようです。
結論： AI は「文脈や文法を理解している」のではなく、**「特定の単語の組み合わせ（パターン）を暗記している」**だけかもしれません。

2. ランキングは「ガラス細工」のように脆い

元のテストでは「1 位」だった AI が、少し言い換えただけのテストでは「10 位」に転落することがありました。
例え： 現在の AI ランキングは、「特定の教科書（テスト問題）を丸暗記した生徒」の順位に過ぎません。問題文を少し変えるだけで、実力とは無関係に順位が入れ替わってしまうため、現在のランキングは**「ガラス細工」**のように壊れやすい（brittle）ものです。

3. 「大きい＝強い」は嘘だった

「パラメータ数（脳の大きさ）が大きい AI は、どんなことにも強いはず」と思われていますが、それは間違いでした。
問題の種類によって、大きい AI の強さはバラバラです。
- あるテストでは、大きい AI ほど言葉の変化に弱く、成績が落ちました。
- 別のテストでは、大きい AI ほど強かったです。
例え： **「背が高いからといって、必ずしもバスケットボールが上手いとは限らない」**のと同じです。AI の「大きさ」と「強さ（頑丈さ）」には、単純な関係がないことがわかりました。

💡 私たちへのメッセージ

この研究は、私たちに重要な警鐘を鳴らしています。

AI の「本当の力」はまだわからない： 現在のテストは、AI が「言葉の表面のパターン」に依存していることを隠している可能性があります。
実社会でのリスク： もし医療や法律などの重要な場面で、AI が「少しの言い換え」で判断を誤ったら、大変なことになります。
新しい評価基準が必要： 単に「テストの点数」を見るだけでなく、**「どんな言い方をしても、同じように正しく答えられるか（頑丈さ）」**を測るテストを、AI 評価の標準にすべきです。

🎯 まとめ

この論文は、**「AI は、言葉の『形』や『単語』に敏感すぎて、少しの風で倒れてしまうガラス細工のようなもの」**だと教えてくれました。

私たちは、AI を選ぶ際に「テストの点数」だけでなく、「言葉が変わってもブレないか」という**「頑丈さ」**を重視する必要があるのです。まるで、地震に強い家を選ぶように、AI にも「揺れ（言葉の変化）に強い」かどうかを確認する必要がある、ということです。

論文要約：Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation

（同じ意味、異なるスコア：LLM 評価における語彙的・構文学的感受性）

本論文は、大規模言語モデル（LLM）の評価ベンチマークが、入力プロンプトの表面的な変化（意味は変わらないが、単語や文法構造が異なる変化）に対していかに脆弱であるかを検証した研究です。23 の最先端 LLM を対象に、意味を保ったままの語彙的・構文学的な摂動（perturbation）を加え、モデルの性能とランキングの安定性を分析しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

LLM の比較には標準化された評価ベンチマーク（MMLU や SQuAD など）が広く用いられていますが、その信頼性への懸念が高まっています。

表面的な変化への感受性: 文脈の無関係な追加、選択肢の順序入れ替え、記号の変更など、意味を変えない浅い変化でもモデルの性能が大幅に低下することが知られています。
未解決の問い: これまでの研究は「変化」一般に焦点を当てており、「語彙的な変化（単語の置き換え）」と「構文学的な変化（文構造の書き換え）」のどちらがモデルの性能変動をより引き起こすのか、またそれがランキングにどう影響するかは明確ではありませんでした。
評価の脆さ: 静的なリーダーボード（順位表）が、モデルの真の汎化能力や信頼性を過大評価している可能性が指摘されています。

2. 手法 (Methodology)

本研究では、意味条件（truth-conditional）を等しく保ちながら、意図的に摂動を加えたデータセットを作成し、23 種類の LLM を評価しました。

対象データセットとモデル

データセット: 3 つの多様なベンチマークを選択。
- MMLU: 多肢選択式 QA（人文・社会科学・STEM など）。
- SQuAD: 抽出型 QA（Wikipedia 記事からの回答抽出）。
- AMEGA: 臨床ガイドライン遵守評価（医療分野の自由記述 QA）。
モデル: 0.3B から 235B パラメータまでの 23 種類の SOTA LLM（GPT シリーズ、Llama、Gemini、Mistral、Qwen など）。ゼロショット設定で評価。

摂動生成パイプライン

意味を保つ 2 つの言語学的に原則的なパイプラインを開発しました。

語彙的摂動 (Lexical Variation):
- LLM（Llama-3.3-70B）を用いた同義語置換ガイド付き書き換え。
- 文脈に適した同義語を選択し、ドメイン固有の用語や SQuAD の回答部分の文字列は変更しないよう制約を設けました。
構文的摂動 (Syntactic Variation):
- 依存関係解析（spaCy）を用いて文の構成要素（主語、目的語など）を特定。
- 文法規則に基づき、能動受動変換、外挿（extraposition）、Wh-移動、与格交替などの文法変換を適用し、文構造を変更しつつ意味を保持させます。

評価指標

絶対スコアの変化: 元のデータと摂動データでのスコア差（精度、F1 スコア、SAS、ガイドライン遵守スコア）。
統計的有意性: マクネマー検定（モデル内）、ウィルコクソンの符号付き順位和検定（モデル間分布）、ケンドールの順位相関（ $\tau$ ）によるランキングの安定性評価。

3. 主要な貢献 (Key Contributions)

LLM は抽象的な構文構造よりも表面的な語彙的手がかりに依存している:
- モデルは語彙的な変化に対して構文変化よりもはるかに敏感であることが判明しました。
ベンチマークのリーダーボードは脆い（Brittle）:
- 意味を保つ僅かな変更だけで、モデルの相対的な順位が劇的に変化し、静的なリーダーボードがモデル選定の信頼できる指標ではないことを示しました。
モデルの規模増大は堅牢性の向上を必ずしも保証しない:
- 「大きいモデルほど堅牢」という仮説は否定されました。モデルサイズと堅牢性の関係はタスク依存であり、単調ではありません。

4. 結果 (Results)

発見 1: 語彙的変化への高い感受性

語彙的摂動: ほぼすべてのモデルとタスクで、統計的に有意な大幅な性能低下を引き起こしました。
- MMLU: 平均 7.72% の精度低下。
- SQuAD: 平均 3.38% の F1 スコア低下。
構文的摂動: 影響は不均一で、場合によっては性能が向上することもありました。
- MMLU: 平均 1.64% の低下（語彙的変化に比べて小さい）。
- 多くのモデルで語彙的変化への感受性が構文変化よりも顕著でした。
解釈: モデルは文脈の抽象的な意味理解よりも、表面的な単語のパターンに強く依存している可能性が高いです。

発見 2: リーダーボードの不安定性

MMLU: 語彙的・構文的摂動ともにランキングは比較的安定（ $\tau > 0.9$ ）。
SQuAD と AMEGA: 摂動によりランキングが大きく変動しました。
- 例：SQuAD における語彙的摂動で、GPT-4.1-Nano は 8 位から 12 位に転落しました。
- 構文的摂動でも同様に順位が入れ替わり、複雑なタスクではリーダーボードが不安定であることが示されました。

発見 3: サイズと堅牢性の非線形な関係

MMLU: モデルサイズが大きいほど、摂動による精度低下が大きくなる正の相関（ $r=0.84$ ）。つまり、大きなモデルほどこのタスクでは脆弱でした。
SQuAD と AMEGA: モデルサイズが大きいほど堅牢になる負の相関（SQuAD: $r=-0.47$ , AMEGA: $r=-0.67$ ）。
結論: 「モデルが大きいほど良い」という一般論は、堅牢性（robustness）の観点では誤りであり、タスクの性質によって結果が逆転します。

5. 意義と結論 (Significance & Conclusion)

評価パラダイムの変革の必要性: 静的なスコアだけでなく、**「堅牢性テスト（Robustness Testing）」**を LLM 評価の標準的なコンポーネントとして統合するべきです。
実用的なリスク: 高リスクなアプリケーション（医療など）において、語彙のわずかな選択の違いでモデルの判断が揺らぐことは重大な脆弱性です。
今後の展望: モデルが表面的なパターンを暗記しているのか、抽象的な推論を行っているのかを解明するメカニズムの解明、および摂動データを用いたデータ拡張や整合性損失（consistency loss）による堅牢なモデルの構築が求められます。

本研究は、LLM の真の汎化能力を評価するためには、意味を保った多様な言語的変異に対する耐性を測定することが不可欠であることを実証的に示しました。また、コードと摂動済みデータセットは GitHub で公開され、再現性と後続の研究を支援しています。