💻 computer science

When Specifications Conflict: A Symmetry-Based Framework for Measuring LLM Preferences

本論文は、大規模言語モデルが競合する仕様間の葛藤をどのように解決するかを体系的に測定するための対称性に基づいた実験的枠組みを導入し、多様な領域において、純粋な自然言語や入出力例よりも、形式言語および自然化された形式言語が優先されるという一貫した優先順位階層を明らかにしている。

原著者： Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

公開日 2026-07-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、博識な友人に、難しいパズルについて助けを求めている場面を想像してみてください。しかし、ここには一つ仕掛けがあります。その友人は、同じパズルに関する2つの異なる説明書を与えられているのです。片方は「赤いノブを左に回せ」と言い、もう片方は「赤いノブを右に回せ」と主張しています。人工知能（AI）の世界において、この「友人」とは、大規模言語モデル（LLM）のことです。これらはインターネット上のほぼすべてのテキストを学習した巨大なコンピュータプログラムです。それらは物語を書いたり、数学の問題を解いたり、コードを書いたりすることに長けていますが、受け取った情報が乱雑だったり矛盾していたりすると、しばしば混乱してしまいます。

この論文は、AI科学の特定の領域、すなわち**コンフリクト解消（衝突解決）**について掘り下げています。それはシンプルかつ深遠な問いを投げかけます。AIが2つの矛盾する指示を受け取ったとき、果たしてどちらに従うのか？ AIは厳格な数学的公式を好むのか？自然な英語による平易な文章を好むのか？例示のリストを好むのか？それとも形式的なコードスニペットを好むのか？ AIを、プログラミングコードの作成、医療診断、法的判断といった重要なタスクに使用し始めるにあたり、AIが「硬いルール」に従っているのか、それとも単に言葉の響きに基づいて推測しているのかを知ることは極めて重要です。AIがどちらの指示を優先するのかが分からなければ、その回答を信頼することはできません。

指示の頂上決戦

ユニバーシティ・カレッジ・ロンドンの研究者たちは、この問題を科学実験のように扱うことにしました。単にAIにランデร้องな質問をするのではなく、AIに2つの特定の、矛盾するルールを選択させるように強制できる制御されたアリーナを構築しました。彼らはこれを「対称性ベースのフレームワーク」と呼びました。これは、ルールの内容自体を変えるのではなく、ルールがどのように書かれているかだけを変えるように、ゲームを完璧に設定したことを意味する、少し凝った言い方です。

そのために、彼らは550種類の異なるコンフリクト・シナリオを含む大規模な「数学バトル・アリーナ」を作成しました。各シナリオにおいて、AIは数学の問題（数列の計算やグラフ上の経路探索など）を解かなければなりませんが、その解法について2つの異なる方法で説明を与えられました。彼らは4つの異なる「言語」の指示をテストしました：

純粋な自然言語： 単なる通常の英語の文章（例：「数字を足し合わせてください。」）。
形式言語： 厳格な数学記号と方程式（例： $f(x) = x + 1$ ）。
自然化された形式言語： 数学記号を使用しているが、英語の文章に包まれた混合形式（例：「関数は $f(x) = x + 1$ として定義されます。」）。
入出力例： 入力と結果を示す例のリスト（例：「2が入ると3が出てくる。5が入ると6が出てくる。」）。

AIは、特定のテスト問題を解くために、これらの記述のうちの1つを選ぶ必要がありました。研究者たちは、AIがどの記述を十分に「信頼」して従うのかを見守りました。

結果：信頼の階層構造

結果は驚くほど一貫していました。AIは単にランダムに選んでいたわけではありません。そこには明確な「お気に入り」がありました。結局のところ、AIは構造を愛し、曖昧さを嫌うのです。

研究者たちは、明確な「優先順位」を発見しました：

トップティア（最上位）： 形式的および自然化された形式的言語が明確な勝者でした。AIが平易な英語や例示と対峙したとき、これらに従う割合は**87%から93%**に達しました。AIにとって、きれいな数学的公式が見えると、それを「法」として扱うようです。
ミドルティア（中位）： 純粋な自然言語が2番目でした。これは例示よりは信頼できますが、数学よりは信頼性が低いものでした。AIは、例示と競合した場合、これらの指示を**78%**の割合で遵守しました。
ボトムティア（下位）： 入出力例が最も信頼されませんでした。AIが例示のリストと明確なルールの間で選択を迫られたとき、AIはほとんどの場合、例示を無視しました。

このように考えてみてください。もしあなたがロボットに、「私が昼食を食べた時間のリストです：12:00、12:15、12:30」と言ったら、ロボットはあなたが12:45に食べるのではないかと推測するかもしれません。しかし、もしあなたが「私は毎日午後12:00に昼食を食べます」と言えば、ロボットは12:00を厳守するでしょう。AIは、推測しなければならないパターンよりも、明示的なルールを好むのです。

数学だけではない：実世界でのテスト

チームは数学の枠にとどまりませんでした。彼らは、この「信頼の階層構造」が、より複雑な実世界の状況でも通用するかどうかを確認したいと考えました。彼らは以下の3つの領域でAIをテストしました。

ブール代数（論理ゲート）： コンパクトな数学的公式と、巨大な「真理値表」（あらゆる可能な結果を網羅した膨大なリスト）を対決させました。真理値表は網羅的で間違いようのないものでしたが、AIは依然としてコンパクトな公式を**88%**の割合で好みました。AIは「総当たり」のリストよりも「スマートな」ショートカットを好むようです。
コード生成： コンピュータプログラムが何をすべきかという記述文と、自動テスト（プログラムが正しく動作するかを確認するコード）の間のコンフリクトをAIに与えました。ここでは、結果はAIの「脳の力」に依存しました。規模の小さい、能力の低いモデルは記述文に従う傾向がありましたが、最も強力なモデルは自動テストを強く好み、**97%**の割合でそれに従いました。これは、AIが賢くなるにつれて、人間による記述よりもコードテストという「硬い証拠」を信頼することを学習していることを示唆しています。
臨床ルール（医学的助言）： 薬の投与量に関する実際の医学的ルールを用いてAIをテストしました。興味深いことに、AIはフォーマット（英語か例示か）をそれほど気にせず、内容を重視していました。この領域において、AIは形式に関わらず、より「寛容な」ルールよりも、一貫して**「厳格な」**ルール（「これをしてはいけない」と述べているもの）を選択しました。これは、高リスクの分野において、AIに安全性を優先するバイアスが組み込まれていることを示唆しています。

これが私たちにとって意味すること

本論文は、AIは単なるランダムな推測者ではなく、どの指示に従うかを決定するための体系的な方法を持っていると結論付けています。AIは一般的に、例示のような「暗示的なパターン」よりも、明示的で構造化されたルール（数学的公式など）を好みます。

しかし、研究者たちは、これが完璧で不変の法則ではないことも発見しました。AIの好みは、モデルの賢さや実行するタスクの種類によって変化する可能性があります。例えば、医学的テストでは、AIはフォーマットを無視して、単に「より安全な」答えを探しました。

この研究は、AIがどのように考えるかを測定するための新しいツールを私たちに与えてくれます。AIには「お気に入り」の指示タイプがあることを理解することで、より優れたシステムを設計できます。もし私たちがAIに特定のルールに従わせたいのであれば、例示のリストから推測させることを期待するのではなく、明確で形式的な記述として書くべきでしょう。これは、AIが賢くなっているとはいえ、指示が矛盾しているときには、私たちが明確に言葉を伝える必要があることを思い出させてくれます。

技術要約：相反する仕様下におけるLLMの好みを測定するための対称性に基づくフレームワーク

問題提起

大規模言語モデル（LLM）は、複数の文脈的仕様が単一のタスクを定義する環境において、ますます複雑な運用を強いられている。これらの仕様は、自然言語による指示、形式的な制約、実行可能なテスト、あるいは入出力例など、多様な形態をとる場合があり、それらは互いに矛盾したり、直接的に衝突したりすることがある。先行研究では、情報源間の衝突（RAGやファクトチェックなど）をモデルがいかに検知・調整するかについては調査されているが、互いに相容れない振る舞いを支持する場合に、モデルが「異なる形式のタスク仕様」をどのように優先順位付けするかを、制御可能かつ帰属可能な方法で系統的に分析する手法は不足している。具体的には、LLMが特定の表現形式（例：形式言語 vs 自然言語）に対して系統的な好みを持ち、その好みがモデルやタスク領域によってどのように変化するかは明らかになっていない。

メソドロジー

著者らは、競合する実行可能なマッピング間の選択プロセスとして問題を捉えることで、モデルの好みを測定するための対称性に基づく実験フレームワークを提案している。

コアフレームワーク

実行可能なマッピング（Executable Mappings）: タスクは写像 $f: X \to Y$ として定義される。衝突する仕様は、識別的なクエリ $q^\star$ に対して異なる、かつ属性特定可能な出力をもたらす一対のマッピング ( $f_1, f_2$ ) として構築される（ここで $f_1(q^\star) \neq f_2(q^\star)$ ）。
属性特定（Attribution）: 各仕様が具体的な出力を誘導するため、モデルの応答は、一方のマッピング、他方、あるいはそのどちらでもないものへと直接的に属性特定が可能となる。これにより、暗黙的な決定が観測可能な変数へと変換される。
対称性に基づくカウンターバランス（Symmetry-Based Counterbalancing）: 表現形式の好みを、混乱要因（提示順序や特定のコンテンツ・バイアスなど）から分離するため、本フレームワークは対称性を完備した構成を採用している。表現形式 $A$ $A$ と $B$ $B$ の比較を行う場合、各衝突インスタンスに対して以下の4つの試行が生成される：
- $(A(f_1), B(f_2))$ , $(B(f_1), A(f_2))$ , $(A(f_2), B(f_1))$ , $(B(f_2), A(f_1))$
  この設計により、表現形式の割り当てと提示順序の両方がカウンターバランスされ、非ターゲット要因を周辺化することによる集計を通じた好みの推定が可能となる。

実験セットアップ

本フレームワークは、以下の3つのドメインに適用された：

数学的ベンチマーク: 11の関数ファミリー（代数、グラフ、行列演算など）にわたる550の衝突インスタンスからなる制御されたデータセット。ここでは4つの表現形式が比較された：純粋な自然言語（NL）、形式言語（Form）、自然言語化された形式言語（NatF）、および入出力例（Ex）。
ブール代: 記号的な論理式と真理値表の間の衝突。
コード生成: 自然言語によるドキュメントと、実行可能なユニットテスト（MBPPデータセットから派生）の間の衝突。
臨床ルール: 腎機能に基づく投与量閾値や小児年齢指標を含む、openFDAラベルから派生した衝突。これらは、真正なルールと、スキーマを維持したまま加えられた摂動との間の衝突をテストする。

主要な結果

1. 系統的な表現の好み（数学的ベンチマーク）

DeepSeek、GPT、Llamaファミリーを含む複数のモデルにおいて、数学的衝突を解決するための一貫した優先順位が特定された：
$\text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input–Output Examples}$

形式言語 vs 自然言語: モデルは、純粋な自然言語よりも形式的な仕様を約87%の割合で選択した。
形式言語 vs 例: 形式的な仕様に対する例の劣後性はさらに強く、約93%に達した。
自然言語化された形式言語: 自然言語で表現されているにもかかわらず、自然言語化された形式的仕様は純粋な形式的仕様と同様の挙動を示した。これは、表面的な構文ではなく、明示的な数学的構造の存在が支配的な要因であることを示唆している。
モデル間の差異: 全体的な階層構造は維持されていたが、好みの強弱には差異があった。例えば、形式言語と自然言語化された形式言語の間の優先順位は一様ではなく、あるモデル（例：GPT-5-nano）は自然言語化された形式言語を好んだ一方で、別のモデル（例：DeepSeek-V4-Flash）は純粋な形式言語を好んだ。

2. 入出力例の役割

入出力例の競争力は、モデルの能力とタスクの構造に強く依存することが判明した：

能力への依存性: 高性能なモデルのバリアントは、低性能なバリアントよりも、例によって支持されるマッピングを選択する頻度が高かった。
タスクへの依存性: 例は、純粋な自然言語に対しては競争力を持っていた（一部のモデルで選択率が最大〜55%に達する）が、形式的または自然言語化された形式的仕様に対しては著しく競争力が低かった（選択率はしばしば10%未満）。
構造への感受性: 有限のデモンストレーションでは、形式的な表記による明示的な制約と比較して、ルールを復元するには不十分であったため、例は数学的構造が露出している場合には苦戦した。

3. ドメインによる多様な知見

ブール代: モデルは、網羅的な真理値表よりも、コンパクトで構成的な記号表現（論理式やゲート・ネットリスト）を強く好む傾向があった。しかし、論理式とゲート・ネットリストの間の優先順位はモデルに依存しており、構造的に類似した表現間に普遍的な階層は存在しないことが示唆された。
コード生成: モデルの能力に基づき、鋭い分岐が見られた。低スコアのモデルは一般に自然言語によるドキュメントを好んだが、高スコアのモデルは実行可能なテストを強く支持した（トップモデルでは最大97%の選択率）。
臨床ルール: 臨床設定においては、表現の階層構造はそのまま転移しなかった。代わりに、ドメイン固有のバイアスが出現した。モデルは、それが「真正な」ラベルであるか、あるいは摂動によるものであるかにかかわらず、一貫してより制限的なルールを選択した（52%〜87%の選択率）。これは、高リスクなドメインにおいては、安全性や制限性のバイアスが表現の好みを上書きすることを示している。

4. 頑健性と棄権

提示順序: 二次的効果ではあるものの、提示順序が（形式言語と自然言語化された形式言語のように）仕様の強さが拮抗している場合を除き、表現形式に比べれば影響は最小限であった。
棄権（Abstention）: 「確信がない」と明示的に回答することを許可した場合、モデル（特にGPT-5-nano）は衝突処理戦略として棄権を利用した。その割合は、表現のペアによって大きく異なった（例：GPT-5-nanoにおける形式言語 vs 自然言語化された形式言語の衝突では、約64%の棄眠率）。

意義と主張

本論文は、LLMにおける衝突解決を、制御可能で実行可能、かつ対称性によってカウンターバランスされた測定問題として確立したと主張している。

属性特定可能な測定: 実行可能なグラウンドトゥルースと対称性に基づくカウンターバランスを用いることで、本フレームワークは、モデルの出力を特定の仕様に直接帰属させることを可能にし、「ハルシネーション」や「調整」といった定性的な分析を超えたものとしている。
構造化されているが文脈依存的: 結果は、LLMの衝突解決がランダムなノイズではなく、構造化された選択プロセスであることを特徴づけている。しかし、この構造は文脈依存的である。数学的タスクにおいては明示的な構造への一般的な好みが存在する一方で、ドメイン固有の要因（臨床ルールにおける制限性や、コード生成におけるテストの精度など）が、これらの好みを再形成したり上書きしたりすることがある。
統一されたフレームワーク: 本研究は、モデルがどのように異なる形式の仕様を優先するかを分析するための統一的な実験的アプローチを提供しており、これらの好みが普遍的なものではなく、モデル、タスクファミリー、およびドメインによって系統的に変化することを実証している。

著者らは、衝突において「勝者」となるものは、表現の形式、モデルの能力、およびドメイン固有の制約の複雑な相互作用によって決定されるため、これらの暗黙的な階層を理解することが信頼性の高いLLMベースのシステムを設計する上で不可欠であると結論付けている。