技術要約：書表紙で判断するな：論理的難読化下におけるLLMの堅牢性テスト

問題提起

算術方程式の解決、真理値表の評価、三段論法の完成といった標準的な推論タスクにおいて、大規模言語モデル（LLM）は目覚ましい能力を示している。しかし、これらのモデルは、論理的に等価な問題であっても、その提示形式が難読化されている場合には、著しい脆弱性を示す。現在のベンチマーク（例：MMLU、BIG-bench Hard）は、多くの場合、最終的な回答のみをスコア化するため、モデルが表面的なパターンマッチングや記憶に基づいた想起によって成功することを許容してしまっている。これにより、モデルは真の論理的推論と、訓練データのパターンの想起とを区別できていない。

本研究が扱う核心的な問題は、問題の表面的な形態が変化しても、その根底にある論理構造が不変である場合に、最先端のLLMが推論の一貫性を維持できないことである。研究者や批評家（例：Smolinski, 2024; Vafa et al., 2024）が指摘するように、モデルは印象的な出力を生成する一方で、基礎となる世界モデルを復元できておらず、単純な迂回や言い換えが導入されると崩壊してしまう可能性がある。本論文では、LLMが真に推論しているのか、それとも単に記憶されたパターンを利用しているだけなのかを、論理的難読化に対する堅牢性を体系的にテストすることで調査する。

手法

Logifusフレームワーク

この脆弱性を研究するために、著者らは構造保存型の論理的難読化フレームワークであるLogifusを導入する。Logifusは、元の質問の集合を$Q$、論理的に等価だが構文的に多様な（難読化された）対応物の集合を$Q'$とする写像 $f: Q \to Q'$ として機能する。核となる原理は、表面レベルの言語的または構造的な表現は変更されるものの、正しい解は不変であることである。これにより、モデルは表面的な想起に頼るのではなく、より深い推論に従事することを強制される。

本フレームワークは、異なる推論ドメインに合わせて調整された特定の変換戦略を通じて、難読化されたバリアントを生成する：

1. 論理的等価性： 一階述語論理（FOL）の前提に対して、ド・モルガンの法則や二重否定除去などの規則を適用する。
2. 関係の連鎖： 直接的な親族関係の記述を、間接的で多段階の記述へと書き換える（例：「AはBの兄弟である」を「AはBの義理の姉の夫である」へと変換）。
3. 記号的置換： 数列内の数値を、決定論的ではあるが不明瞭なトークン（惑星の名前、それらの名前のASCII合計値、またはMD5ハッシュなど）に置き換える。
4. 空間的迂回： ナビゲーション経路の中に、正味の変位を変えることなく複雑さを増す自己相殺的なベクトルペア（例：北へ進んだ後に南へ進む）を挿入する。

LogiQAteベンチマーク

Logifusを活用し、著者らは4つの推論タスクにわたる1,108問の質問で構成される診断ベンチマークLogiQAteを提示する：

1. Obfus FOL： 等価性を保持する書き換えの下での一階述理論的含意を評価する272問。
2. Obfus Blood Relation： 間接的な関係の連鎖（レベル1およびレベル2の複雑性）の下での家族グラフ推論をテストする300問。
3. Obfus Number Series： 記号的置換（惑星名、ASCII合計、MD5ハッシュのタイプ）の下での帰納的パターン検出を要求する284問。
4. Obfus Direction Sense： 方向および参照フレームが変更された条件下でのナビゲーション推論を評価する252問。

検証： 完全性を保証するため、すべての基本問題とその難読化バージョンは、2人の人間のアノテーターによる厳格な検証プロセス、およびFOLタスクについては自動定理証明器Prover9による検証を経ている。これにより、論理的等価性と結論の保存に関するニアパーフェクトな一致（コーヘンの$\kappa > 0.88$）が確保された。

評価設定

ベンチマークは、汎用モデル（GPT-4o、Claude 3.7 Sonnet）および推論特化型モデル（GPT-5、o4-mini、Qwen QwQ-32B、Gemini 2.5 Pro）を含む、9つの最先端モデル（オープンソースおよびクローズドソースの両方）を用いて評価された。評価は、ゼロショット、フューショット、およびChain-of-Thought（CoT）プロンプティングの設定で行われ、温度パラメータは0.0とした。性能はExact Match（EM）精度を用いて測定された。

主な結果

パフォーマンスの低下

すべてのタスクとモデルにおいて、論理的難読化はゼロショット性能を著しく低下させる。

• 平均低下率： すべてのタスクと設定における平均パフォーマンス低下は**28.8%**であった。
• モデル別の詳細：
  • GPT-4o： 平均で**47%**低下した。
  • GPT-5： 平均で**27%**低下した。
  • o4-mini： **22%**低下した。
  • 推論モデル： 推論に特化して最適化されたモデル（例：GPT-5）であっても、大幅な低下が見られた（例：Obfus FOLのゼロショットにおいて98%から56%へ低下）。
  • 汎用モデル： より劇的な低下を経験し、一部のタスクでは最大**87%**の低下が見られた（例：Obfus Number SeriesにおけるGPT-4o）。

タスクレベルの脆弱性

• Obfus Blood Relation： 複雑性がレベル1からレベル2へと増加するにつれて、着実な低下を示した。例えば、Claude 3.7 (CoT) は、基本問題の59%から、レベル2の難読化では24%へと低下した。
• Obfus Number Series： 汎用モデルにとって特に過酷な課題となり、数字が惑星名やMD5ハッシュに置き換えられると、パターンを特定することに苦戦した。
• Obfus Direction Sense： 状態追跡の弱点を浮き彫りにした。モデルは自己相殺的な迂回をフィルタリングすることに失敗した。

プロンプティング戦略

Few-shotやChain-of-Thought（CoT）のような高度なプロンプティング戦略は、部分的な緩和をもたらしたが、堅牢性は提供しなかった。CoTはGPT-5の低下を27%から18.7%に軽減したが、その効果はモデル間で一貫していなかった。注目すべきことに、より小さなモデル（例：GPT-4o-mini、Llama-4-Maverick）は、さらに大きな脆性を示し、難読化の下で精度が著しく崩壊した。

メカニスティック分析

失敗モードを理解するために、著者らはLLaMA 3.1 8Bに対して内在的な分析を行った：

1. 記憶への感受性： Min-K%++ メンバーシップ推論を用い、難読化された質問が記憶されたパターンへの依存度を高めることを発見した。予測AUROCスコアは、Obfus FOLで12–15%、Obfus Blood Relationで20–25%上昇しており、これは表面形態が不明瞭になると、モデルが訓練データのパターンにより強く依存することを示している。
2. 層ごとの確信度： 次のトークンの対数確率の分析により、難読化された質問を処理する際、トランスフォーマーの後半の層（28–31層）において、基本問題と比較して50–80%の確信度の崩壊が明らかになった。これは、難読化が、真の推論に必要な深い層での意味的統合を妨げていることを示唆している。

重要性と貢献

本論文の主な貢献は以下の3点である：

1. Logifus： 表面的な構文を変更しながら論理的等価性を維持する、構造保存型の論理的難読化問題を生成する新しいアルゴリズム。
2. LogiQAte： 4つの推論タスクにわたる1,108問の質問で構成される、初となる診断ベンチマーク。これは、論理的難読化に対するLLMの堅牢性を厳密に評価するために設計されている。
3. 実証的証拠： 現在のLLM（最先端の推論モデルを含む）が、深い理解なしに問題を解析していることを示す包括的な分析。これらの知見は、パターンマッチングと堅実な推論との間の決定的なギャップを浮き彫りにしており、問題の「表紙」が変わると、たとえ「内容」（論理）が同じであっても、モデルが失敗することを示している。

著者らは、観察された低下は、モデルが単に訓練データから学習したパターンを記憶し一致させるのではなく、表面的な形態を超えて意味を真に理解し、保持するモデルを構築することの緊急性を強調していると結論付けている。

限界

著者らは、LogiQAteが現在は英語に限定されていることを述べている。今後の課題として、多言語データ（特に低リソース言語）を含めることや、座席配置や常識的推論といった追加の推論カテゴリへフレームワークを拡張することを目指している。