📈 economics

Model Selection as Policy Choice: Open-Weight LLMs Converge on Institutions but Diverge on Economic Policy

本研究は、オープンウェイトの大型言語モデルは政策分析において互換性のあるツールではなく、サンプリング温度よりもモデルの選択が、制度や環境に関する合意を維持しつつ経済政策の選好における安定的かつ構造的な相違をもたらす要因となるため、モデルの選択が極めて重要なガバナンス上の決定事項であることを示している。

原著者： Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：すべてのAIシェフが同じ料理を作るわけではない

あなたが政府の役人として、新しい経済政策を決定しようとしている場面を想像してください。あなたはAIに助言を求めます。多くの人は、もし5つの異なるAIモデルに同じ質問をすれば、5つの異なるバージョンではあっても、内容は「同じ」答え（例えば、5人に同じ詩を朗読してもらうようなもの）が返ってくるだろうと想定しています。

この論文は、その想定は間違っていると主張しています。

AIモデルは単なる交換可能なツールではなく、**それぞれ異なる個性や政治的哲学を持った「異なるシェフ」**のようなものであると、著者らは指摘しています。もし経済について同じ質問をしたとしても、彼らは単に言葉を変えるだけでなく、自分たちの内に秘めた「好み」に基づいて、全く異なるレシピを選択することがあるのです。

実験：AIによる味覚テスト

研究者たちは、大規模な味覚テストを実施しました。

パントリー（食材置き場）： 彼らは40種類の異なる「オープンウェイト」AIモデルを集めました（これらは、ビッグテック企業が所有する秘密のモデルとは異なり、誰でも自分のコンピュータにダウンロードして実行できるモデルです）。
メニュー： すべてのモデルに対して、全く同じアンケートを実施しました。質問内容は、インフレ、失業、住宅、国際関係といった困難なトピックを網羅しています。
ルール： 各質問に対し、モデルは4つの異なる選択肢（A、B、C、またはD）を0から100のスケールで評価しなければなりません。
反復： 結果が単なるランダムなエラーではないことを確認するため、各モデルに対して同じ質問をそれぞれ100回ずつ行いました。

明らかになったこと

1. 「個性」はランダムではなく実在する

コイン投げの結果はランダムです。AIに質問したときも、ある程度のランダム性があるだろうと予想されるかもしれません。しかし、研究者たちは、ランダム性（ノイズ）は実際には非常に小さかったことを発見しました。

比喩： 合唱団を想像してください。もし歌手たちがただランダムな音を出しているだけなら、音はめちゃくちゃになるでしょう。しかし、ここでの研究では、各歌手（各AIモデル）の声は非常に独特で安定していることが分かりました。
結果： 回答の差異の約57%は、「どのモデルが答えたか」に起因していました。「温度（AIをよりランダムにするか、あるいは保守的にするかを決める設定）」を変更しても、回答への影響はほとんどありませんでした（2%未満）。これは、設定を微調整したところで消えることのない、モデルに組み込まれた安定したバイアスが存在することを意味しています。

2. 「誰が主導権を握るか」には同意するが、「お金をどう使うか」で争う

研究者たちは、モデルがどこに位置しているかを見るために、統計的なマップ（アイデアのGPSのようなもの）を使用しました。彼らは、モデルが意見を分ける2つの主要な「断層線」を発見しました。

「制度への信頼」ライン（ほぼ合意している点）： ほとんどのモデルは、国際機関、規則、および公式な制度が重要であるという点で一致していました。彼らは総じて、ルールに従い、専門家を信頼するという考えを好みました。
「経済哲学」ライン（対立している点）： ここでモデルは分裂します。
- グループA（市場愛好家）： これらのモデルは、自由市場に決定を任せ、規制を削減し、成長を優先することを好みます。
- グループ B（介入主義者）： これらのモデルは、たとえ成長が鈍化したとしても、格差を是正し、価格を制御し、環境を保護するために政府が介入することを好みます。

「スタグフレーション」テスト：
研究者たちは、古典的な難問を投げかけました。「国で高いインフレと高い失業率が同時に起きている。どうすべきか？」

あるモデルは、「たとえ人々が職を失うとしても、インフレを叩き潰すべきだ」と言いました。
他のモデルは、「価格が上がったとしても、雇用を守るべきだ」と言いました。
また別のモデルは、「両方に対して厳格なルールを作るべきだ」と言いました。
さらに別のモデルは、「奇妙で実験的なコントロールを組み合わせるべきだ」と言いました。
衝撃的な事実： これら4つの回答のすべてが、少なくともいくつかのモデルにとっては「トップの選択肢」でした。単一の「AIとしての正解」は存在しなかったのです。

3. 「自信」の罠

最も興味深い発見の一つは、**自信（コンフィデンス）**に関するものでした。

いくつかのモデルは非常に内気で、「よくわかりません」と言います（低い自信スコア）。
他のモデルは非常に声が大きく、「答えを知っています！」と言います（高い自信スコア）。
逆転の事実： モデルの自信は、質問の難易度には依存しませんでした。それは完全に、どのモデルであるかに依存していました。
比喩： それは、常にC判定を取るけれど「私は100%正しい」と言う学生と、A判定を取るけれど「私は50%しか自信がない」と言う学生のようなものです。もしあなたが政策立案者であれば、たとえそのモデルが静かなモデルと同じくらい偏っていたとしても、声の大きい自信満々なモデルを信じてしまうという罠に陥る可能性があります。

4. サイズは「優れた政治観」を意味しない

より大きな、より賢いAI（より多くの「脳の力」を持つもの）は、よりバランスの取れた、あるいは「正しい」政治的見解を持つだろうと思うかもしれません。

発見： 大きなモデルはわずかに一貫性がありました（ノイズが少なかった）が、小さなモデルとは異なる政治的意見を持っているわけではありませんでした。
比喩： 巨大で超スマートなロボットも、小さくて単純なロボットも、どちらも「市場愛好家」であったり、あるいはどちらも「介入主義者」であったりします。モデルのサイズやブランド名から、そのモデルの政治的バイアスを推測することはできません。

結論：モデルを選ぶことは政治的な選択である

この論文は、どのAIを使うかを選択することは、技術的な詳細ではなく、政策的な決定であると結論付けています。

メタファー： もしあなたが経済に関するレポートを書くためにコンサルタントを雇うなら、あなたは特定の価値観を持つ人物を雇っていることになります。もしあなたがAIモデルXを雇うなら、あなたは「市場保守派」を雇っているのです。もしあなたがAIモデルYを雇うなら、あなたは「政府介入派」を雇っているのです。
危険性： これを知らないと、AIが中立的で客観的な事実を与えてくれていると誤解してしまうかもしれません。しかし実際には、AIは自らの隠れた価値観を、あなたの政策決定の中に密かに注入しているのです。

テイクアウェイ（教訓）：
政府の意思決定を支援するためにAIを使用する前に、私たちはそれを人間の専門家と同じように扱う必要があります。彼らの背景を確認し、彼らのバイアスを知り、単独の意見を鵜呑みにしないこと。 私たちは、一つの「デフォルト」のモデルに私たちの未来を決めさせるのではなく、複数の異なるAIに問いかけ、それらの回答を比較することで、全体像を把握する必要があります。

技術的要約：政策選択としてのモデル選択

問題提起
大規模言語モデル（LLM）は、政策分析、戦略計画、および意思決定支援への統合が進んでいる。しかし、実務においては、個々のモデルを互換性のある道具として扱うことが多く、その仮定が経験的に検証されることは稀である。本論文は、この仮定には欠陥があると主張する。すなわち、タスクやプロンプトが一定であっても、LLMは経済的・制度的なジレンマの捉え方において系統的な差異を示す可能性がある。これらの差異は単なるデコーディングのノイズではなく、学習データ、アーキテクチャ、およびアライメント目標に組み込まれた安定した指向性を反映している。したがって、政策コンテキストにおける特定のモデルの選択は、単なる中立的な技術的詳細ではなく、政策提案におけるナラティブ、規範的な強調点、およびトレードオフに影響を与える実質的なガバナンス上の決定である。

手法
本研究では、Ollamaを介してローカルで実行された40種類のオープンウェイトLLMの行動的規則性をマッピングするために、制御された再現可能な実験デザインを採用している。

データ生成: 固定された多肢選択式質問票をすべてのモデルに実施した。この調査票は、マクロ財政のトレードオフ、規制上のジレンマ、国際機関、公人の認識、および政治経済的な解釈フレームワークを網羅している。
実験プロトコル:
- 複製: 各モデルに対し、デコーディングのノイズと安定した指向性を区別するため、2つのサンプリング温度（ $T=0.2$ および $T=0.8$ ）において、全質問票への回答を100回ずつ実行させた。
- スコアリング: 各項目について、モデルは4つの定義済みの回答フレーム（A〜D）に対してスコア（0–100）を割り当てた。
- 正規化: レベル効果を除去し、相対的な好みの順序に焦点を当てるため、回答を質問内の平均値に対して中心化させた。
分析パイプライン:
1. 分散分解: オプション支持の全分散を、モデル間の分散、温度の効果、および複製ノイズに分解した。
2. 次元削減: 結合されたモデル別レスポンスプロファイルに対して加重主成分分析（PCA）を適用し、潜在的な変動軸を特定した。
3. クラスタリング: モデルをPCAスコア空間（最初の16成分を使用）内でクラスタリングし、モデルの「タイプ」の離散的な類型論を導出した。
4. 検証: データ駆動型のPCA軸を、独立して手作業でコーディングされたイデオロギー軸（例：制度への信頼、経済における国家と市場）と照合して、構成概念妥当性を検証した。
5. トピック別分解: モデルの「偏り」がどのトピック領域に集中しているかを特定するために、特定のトピック領域におけるモデルの「傾向」を比較した。

主な結果

シグナルとノイズ: モデルのアイデンティティはオプション支持の変動の**57%を説明したが、サンプリング温度による説明は2%**未満であった。残りの分散は複製ノイズであり、これはモデルによって大きく異なる（3%から79%の範囲）。モデル内のレスポンスプロファイルは温度によらず非常に安定しており（中央値の相関 $r=0.99$ ）、差異がデコーディングのアーティファクトではなく、安定した指向性であることを裏付けている。
潜在的次元: PCAにより、解釈可能な2つの主要な軸が回収された：
1. 制度的信頼の次元 (PC1): 制度的、協調的、かつテクノクラート的なフレーミング（正の極）と、主権第一主義、エグゼクティブ中心、またはアドホックな交渉によるフレーミング（負の極）を対比させる。この軸は、手作業でコーディングされた制度への信頼と強い相関（ $r=0.92$ ）を示した。
2. 経済・環境の次元 (PC2): 市場成長・効率優先のフレーミングと、規制されたグリーン／再分配的な持続可能性重視のフレーミングを対比させる。この軸は、経済における国家と市場の軸（ $r=0.48$ ）および気候変動への野心（ $|r|=0.60$ ）と相関している。
類型論: クラスタリングにより、「リテラリスト的予測」、「実務的介入主義」、「リスクおよび主権重視」、「極端な国家志向」など、8つの明確なモデルタイプが得られた。
トピック別の異質性:
- コンセンサス: モデルは、制度的信頼、開放性、および気候変動のフレーミングに関してほぼ一致している（例：気候変動への野心と制度的信頼に対して98%が傾斜）。
- 分岐: モデルは経済に関する問題で鋭く分かれる。あるスタグフレーションの項目では、4つの政策フレームのすべてが一部のモデルにとってのトップの選択肢となった。経済における国家と市場の軸において、「市場」側に傾いているモデルはわずか5分の1程度であり、残りは「国家」側に傾いている。
- 安定性: 経済的指向は固定されたグローバルな特性ではない。ある経済的質問に対するモデルのスタンスは、別の経済的質問に対するスタンスを弱く予測する（クロンバックの $\alpha = 0.58$ ）。
確信度とスケール: 自己申告された確信度は、質問の難易度や論争性の反映ではなく、主にモデルの固定された特性（分散の55%）である。モデルの規模が大きいほど一貫性（低いノイズ）が高まるが、特定の政治的指向や政策的選好を予測するものではない。

主要な貢献

非互換性の実証的証拠: 本研究は、政策コンテキストにおいてオープンウェイトLLMが互換性のあるものではないという強力な証拠を提供している。それらの差異は構造化され、安定しており、政策提言やその正当化を変化させるほど重要である。
メソドロジーの枠組み: モデルの行動を監査し、永続的な指向性とサンプリングノイズを分離し、モデルを解釈可能なイデオロギー次元にマッピングするための、再現可能なパイプラインを導入する。
モデル行動の類型論: レスポンスプロファイルに基づいた8つのコンパクトなモデル「タイプ」を確立し、性能ベンチマークだけでなく、基礎となる政策ロジックによってモデルを分類する方法を提示する。
モデル選択の再定義: モデル選択はガバナンスに関連する設計上の決定であると論じる。本研究は、モデルに埋め込まれた「価値観」が測定可能であり、議論の対象となり得ることを示し、モデルを中立的な情報検索システムと見なす概念に挑戦する。

意義と主張
本論文は、モデル選択の社会的利害は、モデルの技術的比較の中心にあると主張している。モデルが制度的およびコスモポリタン的なフレーミングには収束する一方で、経済的および分配的な問題については分岐することを実証することで、著者らはモデルの選択が、推奨される政策フレームとその正当化の両方を規定すると論じている。

その意義は、視点を「正しいモデルを見つけること」から「モデルの指向性を可視化すること」へとシフトさせる点にある。著者らは、モデル選択を技術的な詳細として扱うことは、政策の自動化に内在する価値判断を隠蔽することになると主張する。代わりに、以下のことを提案する：

モデル選択は、実証経済学における頑健性チェックと同様に、ガバナンス上の決定として扱うべきである。
潜在的なフレーミングの傾向に対する結論の感度を明らかにするために、マルチモデルによるストレス・テストが必要である。
モデルに埋め込まれた価値を可視化し、議論の対象とすることは、それらを政策業務において責任を持って使用するための前提条件である。

本研究は、モデルは中立ではないものの、その具体的な指向性は恣意的なものではなく、構造化され、測定可能であり、かつ結果をもたらすものであると結論づけている。したがって、選択される道具は、社会がこれらのシステムによって静かに形作られるのではなく、社会がこれらのシステムを形作ることを確実にするために、意図的かつ説明責任のある行為であり続けなければならない。