💬 NLP

GSM-SEM: Benchmark and Framework for Generating Semantically Variant Augmentations

本論文は、LLM 評価における暗記バイアスを軽減するために意味的に多様かつ事実が変更されたベンチマーク変種を生成する確率的フレームワークである GSM-SEM を紹介し、これらの動的に再生成されたデータセットでテストされた最先端モデルにおいて顕著な性能低下が明らかになったことを示している。

原著者： Jyotika Singh, Fang Tu, Aziza Mirzadova, Amit Agarwal, Hitesh Laxmichand Patel, Sandip Ghoshal, Miguel Ballesteros, Yassine Benajiba, Weiyi Sun, Graham Horwood, Sujith Ravi, Dan Roth

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jyotika Singh, Fang Tu, Aziza Mirzadova, Amit Agarwal, Hitesh Laxmichand Patel, Sandip Ghoshal, Miguel Ballesteros, Yassine Benajiba, Weiyi Sun, Graham Horwood, Sujith Ravi, Dan Roth

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

数学の得意な生徒をテストしようとしていると想像してください。有名なGSM8K（小学校レベルの数学の文章問題のコレクション）のような標準的なテストを与えます。もし満点を取れば、「わあ、この生徒は数学の天才だ！」と思うかもしれません。

しかし、もしその生徒が実際に数学を学んでいなかったらどうでしょう？もし彼らがこの特定のテストの答えを、過去に千回も見たことがあるからといって単に暗記していただけだったらどうでしょうか？彼らは正解を出せるかもしれませんが、話を少し変えれば——例えば「りんご」を「みかん」に置き換えたり、数字を変えたりすれば——混乱して失敗するかもしれません。

これが、論文GSM-SEMが解決しようとしている問題です。

問題：「カンニングペーパー」効果

現在の AI モデル（チャットボットを動かしているものなど）は、ベンチマークテストにおいて驚くほど高い成績を収めています。しかし、著者たちは、これらの高いスコアの多くは蜃気楼ではないかと疑っています。モデルが必ずしも推論能力を向上させているわけではなく、単に学習データセットに含まれる特定の問題と答えを暗記しているだけなのです。

これを修正する既存の方法には「摂動（パターテーション）」があり、テストに小さな変更を加えるようなものです：

言い換え： 文を異なる言葉で書き直す。
名前変更： 「ジョン」を「ジェーン」に変える。
数字の入れ替え： 5 を 6 に変える。

この論文は、これらの変更があまりにも表面的であると主張しています。これらはカンニングペーパーのフォントを変えるようなもので、生徒は依然としてカンニングできます。なぜなら、 underlying な事実と論理は全く同じままだからです。

解決策：GSM-SEM（「物語の書き換え師」）

著者たちは、数学の問題に対するクリエイティブなライティングコーチのような役割を果たす新しいフレームワークGSM-SEMを導入しました。単に言葉を置き換えるのではなく、数学的な答えを全く同じに保ちながら、物語全体を書き換えます。

ここには創造的な比喩があります：
数学の問題を、10 切れのケーキを作るレシピだと想像してください。

旧来の方法（言い換え）： レシピのタイトルを「チョコレートケーキ」から「ダークココアクッキー」に変え、「小麦粉」を「全粒粉」に置き換えます。レシピの仕組みは同じままなので、モデルはパターンを認識するだけです。
GSM-SEM の方法： 物語を完全に書き換えます。ケーキを焼く代わりに、問題は絵の具を混ぜることやロケットの燃料を計算することに関するものになります。物語は全く異なり、対象物も異なり、文脈も新しいものです。しかし、それを解くために必要な数学（数字と最終的な答え）は同一のままです。

モデルはもう「ケーキのレシピ」を暗記することに頼ることはできません。正解を出すためには、新しい物語の論理を実際に理解しなければなりません。

どのように構築されたか

チームは以下のシステムを構築しました：

数学の問題とその正解を入力します。
AI モデルに、その同じ答えに至る新しい物語を創作させます（例：「答えが 15 なら、パン屋、宇宙船、またはビデオゲームについて、結果が 15 になる物語を書いてください」）。
新しい物語が元のものと実際に異なる（単なる言い換えではない）ことを確認し、かつ解けることを保証するために結果をフィルタリングします。
人間の評価者が新しい問題が意味をなすかを確認するために検証を行います。

彼らはこれを 3 つの異なるベンチマークセットに適用し、GSM8K-SEM、GSM-Symbolic-SEM、GSM-Plus-SEMという新しいバージョンを作成しました。

彼らが発見したこと

彼らは、これらの新しい「物語書き換え」テストで、利用可能な最も賢い AI モデル 14 種類（OpenAI、Google、Meta のモデルを含む）をテストしました。

結果：

「天才」モデルがつまずいた： モデルがこれらの新しい、意味的に異なる物語に直面したとき、そのパフォーマンスは大幅に低下しました。平均して、意味的な変更が他の厳しい変形と組み合わされた場合、正解した問題数は約28% 減少しました。
暗記の暴露： モデルが新しい物語でこれほどひどく失敗したという事実は、以前の高いスコアが真の推論ではなく、主に暗記によるものであることを証明しました。
「二重の苦難」効果： モデルが最も苦労したのは、物語が変更されたかつ他の要素（数字や論理構造など）も調整された場合でした。これは、現在の AI は非常に脆いことを示唆しています。一つの種類の変更には対応できても、それらの組み合わせには対応できないのです。

結論

この論文は、AI が実際に「考えている」のか、それとも単に「暗唱している」のかを検証するより良い方法としてGSM-SEMを結論付けています。同じ数学を必要とする新鮮でユニークな物語を絶えず生成することで、暗記によるカンニングを防ぎます。

著者たちはまた、この手法が数学だけでなく他の種類の論理パズルでも機能することを示し、この「物語の書き換え」アプローチが、AI が本当に堅牢なのか、それともパターンマッチングが得意なだけなのかを確認するための強力なツールであることを証明しました。

要約すると： AI が賢いかどうかを知りたいなら、以前に聞いたのと同じ質問をしてはいけません。同じ答えに至る新しい物語を語らせてみてください。もしそれができなければ、それは推論ではなく、単なる記憶なのです。

技術的概要：GSM-SEM

問題提起

大規模言語モデル（LLM）の数学的推論を評価する現在のベンチマーク（GSM8K など）は、頑健性と汎化性の面で重大な限界に直面している。高いリーダーボードスコアは、真の推論能力ではなく、静的なテストセットの暗記や、データセット固有のアーティファクトの悪用を反映していることが多い。既存の頑健性バリエーション（言い換え、実体名の書き換え、数値の置換など）は、問題の背後にある事実的骨格と関係構造を維持したまま、表面レベルの摂動を主に適用する。その結果、これらのバリエーションは、意味的に異なる条件への適応性ではなく、表面形式に対する不変性をテストする傾向がある。さらに、静的なベンチマークのリリースは時間とともに暗記の対象となり、新鮮で比較可能な摂動を生成するには、真の答え（ground-truth answers）の再注釈に高コストを要する。

手法：GSM-SEM フレームワーク

著者は、元の真の答えと計算ロジックを維持しつつ、意味的に多様なベンチマークバリエーションを生成するための再利用可能な確率的フレームワーク「GSM-SEM」を導入する。このフレームワークは、二重のキュレーションと検証パイプラインを通じて動作する。

意味的バリエーション生成: フレームワークは、元のサンプル $(q, a)$ から新しい質問バリエーション ( $\tilde{q}$ ) を生成するために、2 つの相補的な拡張戦略を採用する。
- 答え条件付き生成: LLM に、答え $a$ が示唆する数値計算を維持しつつ、表面形式と文脈的事実を大幅に変更する（例：「細菌が感染する」を「ウイルスが広がる」に変更する）新しい質問を逆設計するよう指示する。
- 質問条件付き生成: LLM に、すべての数値を固定したまま、シナリオやテーマを変更する（例：「ペストが感染する」を「噂が広がる」に変更する）よう指示し、必要な算術を変更せずに意味的多様性を高める。
- ルールベースの検証器が、生成された質問内のすべての数値が元のものと一致することを確認する。
自動化された品質検証: 70 個のサンプリングされたバリエーションの人間によるレビューを通じて調整されたジャッジ LLM が、論理的整合性と品質を評価する。
類似性に基づく冗長性の剪定: 生成されたバリエーションは、用語頻度ベクトルに基づくコサイン類似度を用いてフィルタリングされる。ベースサンプルまたは既存の保持されたバリエーションとの類似度 $s(x, \tilde{x}) > 0.85$ を持つ候補は、意味的な乖離を確保するために破棄される。
厳格さフィルタリング: 難易度を制御し、些細なバリエーションを回避するため、厳格さフィルタが保持された参照モデルのセット ( $M_{hold}$ ) を用いて候補を評価する。モデルが一貫して正解を示すバリエーションは、容易すぎるか、十分に摂動されていないとみなされる。これらは、意味的類似度の受入ウィンドウ $[\alpha, \beta]$ に基づいてさらに剪定される。これにより、さまざまなレベルの課題を持つサブセットの作成が可能になる（例：「max」厳格さフィルタは、一貫して正解するすべてのサンプルを除外する）。
人間による検証: 最終的なデータセットは、論理的整合性と答えの整合性を確保するための厳格な 2 段階の人間レビュープロセスを経て、完全に人間によって検証されたデータセットとなる。

主要な貢献

GSM-SEM フレームワーク: 元の計算と答えを維持しつつ、意味的に多様なベンチマークバリエーションを生成するための確率的で再利用可能なパイプライン。再注釈なしに再実行可能な評価を可能にする。
人間検証済みデータセット: 3 つの完全に検証されたデータセットの公開：GSM8K-SEM、GSM-Symbolic-SEM、およびGSM-Plus-SEM。これらのデータセットは、先行するアプローチ（GSM-Symbolic、GSM-Plus、および言い換え版）よりも高い意味分散を示す。
包括的な評価: モデルファミリー全体にわたる 14 の最先端（SOTA）LLM の評価。オリジナルのベンチマークと比較して、SEM バリエーションにおいて一貫した性能低下が明らかになった。
クロスドメイン適用性: BigBench-Hard、LogicBench、NLR-BIRDを含む、GSM 以外のデータセットにおけるフレームワークの有効性の実証。

結果

性能の低下: 14 の SOTA モデル全体において、GSM-SEM バリエーションはベースラインベンチマークに対して一貫して低い性能を示した。「med」厳格さ設定において、最も挑戦的な構成である GSM-Plus-SEM の平均性能低下率（PDR）は約**28%**であった。
累積された摂動: 意味的摂動（GSM-SEM）を既存の記号的または「プラス」変種（GSM-Symbolic-SEM、GSM-Plus-SEM）と組み合わせることで、性能低下が増幅される。例えば、GSM-Plus-SEM はモデル全体で平均**13.53%**の精度低下を示し、GSM-Plus 単独よりも著しく高かった。
意味感受性: 分析により、モデルの精度は元のデータセットとの意味的類似度が高くなるほど一般的に向上することが明らかになった。計算が変更されない場合でも、大幅な意味的シフトはより大きな性能低下をもたらす。これは、現在のモデルが記号的操作だけでなく、意味的文脈にも敏感であることを示している。
失敗モード: 手動分析により、SEM バリエーションにおける主要な失敗モードが特定された。
- 追加された間接性による認知的負荷の増大。
- 単位/通貨の手がかりによるスケール誤りの誘発（例：セントとドルの誤解）。
- 参照スタイルの書き換えにおける状態追跡の不安定化。
- 軽微な意味的シフト下でのテンプレートの誤った検索。
ドメイン外転送: フレームワークは、数学的でないデータセットのバリエーション生成に成功した。古いデータセット（BigBench-Hard、2022 年）では暗記に起因する性能低下が観察されたが、新しいデータセット（NLR-BIRD、2025 年）では最小限の低下しか見られなかった。これは、フレームワークが暗記から推論能力を効果的に分離していることを示唆している。

意義と主張

本論文は、GSM-SEM が、表面レベルの頑健性テストと真の意味的適応性の間の重要なギャップを埋めるものであると主張している。各実行時に真の答えを維持しつつ、新鮮で意味的に多様なバリエーションを生成することで、このフレームワークは静的な公開ベンチマークへの依存を減らし、暗記に起因する評価バイアスを低減する。

著者は、現在の SOTA モデルが高度な推論能力を有しているにもかかわらず、問題の物語的文脈を変更する意味的シフトに対して依然として敏感であると主張している。これは、背後にある数学が同一であっても、高いベンチマークスコアが頑健な汎化を完全に捉えているわけではないことを示唆している。このフレームワークは、GSM 風の数学的問題を超えてさまざまなデータセットに適応可能な、より厳格で再実行可能な評価のメカニズムを提供し、LLM の推論のより信頼性の高い評価への道を開く。