📈 economics

Model Selection as Policy Choice: Open-Weight LLMs Converge on Institutions but Diverge on Economic Policy

这项研究表明，开源权重的大型语言模型并非可互换的政策分析工具，因为模型选择——而非采样温度——驱动了经济政策偏好上稳定且结构化的分歧，同时在制度和环境问题上保持共识，从而使模型选择成为一项关键的治理决策。

原作者： Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：并非所有 AI 厨师都做同样的菜

想象一下，你是一位正在决定一项新经济政策的政府官员。你向 AI 请教建议。大多数人认为，如果他们向五个不同的 AI 模型询问同一个问题，会得到五个略有不同但本质相同的答案，就像请五个人背诵同一首诗一样。

这篇论文指出：这种假设是错误的。

作者认为，AI 模型并非可以互换的工具，而是像拥有不同个性与政治哲学的不同厨师。如果你问他们关于经济的问题，他们不仅仅是措辞不同，他们往往会根据自己隐藏的“口味”，选择完全不同的食谱。

实验过程：AI 味觉测试

研究人员进行了一场大规模的味觉测试。

食材库： 他们收集了 40 个不同的“开源权重”AI 模型（这些是任何人都可以下载并在自己的电脑上运行的模型，不像大科技公司拥有的那些秘密模型）。
菜单： 他们给每一个模型发了完全相同的调查问卷。问题涵盖了通货膨胀、失业、住房和国际关系等难题。
规则： 对于每个问题，模型必须在 0 到 100 的分值范围内对四个不同的可能答案（A、B、C 或 D）进行评分。
重复性： 为了确保结果不是随机的故障，他们让每个模型对同样的问题各回答了 100 次。

他们的发现

1. “个性”是真实的，而非随机的

当你抛硬币时，结果是随机的。当你问 AI 一个问题时，你可能会预期也会有一些随机性。研究人员发现，随机性（噪声）实际上非常小。

类比： 想象一个合唱团。如果歌手们只是在发出随机的噪音，那声音会是一团乱麻。但在这里，研究人员发现每个歌手（每个 AI 模型）的“声音”是非常鲜明且稳定的。
结果： 约 57% 的差异来自于“谁”在回答问题。改变“温度”（一个让 AI 变得更随机或更确定性的设置）几乎不会改变答案（变化不到 2%）。这意味着模型拥有稳定的、内置的偏见，仅仅通过调整设置是无法消除这些偏见的。

2. 他们在“谁说了算”上达成一致，但在“如何花钱”上发生争执

研究人员使用了一个统计地图（类似于思想的 GPS）来观察模型的立场。他们发现了两个主要的“断层线”，即模型产生分歧的地方：

“对机构的信任”线（他们基本达成一致）： 几乎所有的模型都同意国际组织、规则和正式机构是重要的。他们普遍喜欢遵循规则并信任专家。
“经济哲学”线（他们发生争执）： 这是模型产生分歧的地方。
- A 组（市场爱好者）： 这些模型倾向于让自由市场决定，削减监管，并优先考虑增长。
- B 组（干预主义者）： 这些模型倾向于让政府介入以解决不平等、控制价格并保护环境，即使这会减缓增长。

“滞胀”测试：
研究人员提出了一个经典的难题：“国家同时面临高通胀和高失业。我们该怎么办？”

有些模型说：“即便人们失去工作，也要抑制通胀。”
其他模型说：“即便物价上涨，也要保住工作。”
还有的模型说：“对两者都实施严格的管控。”
另一些模型则说：“使用一系列奇特的、实验性的管控手段。”
令人震惊的是： 这四种答案中的每一种，都至少成为了某些模型的“首选”。并不存在一个统一的“AI 答案”。

3. “自信心”陷阱

关于自信心，研究人员有一个非常有趣的发现。

有些模型很害羞，会说“我不确定”（低置信度得分）。
而有些模型则很大声地宣布：“我知道答案！”（高置信度得分）。
反转： 一个模型的自信程度并不取决于问题的难度，而是完全取决于它是哪个模型。
类比： 这就像一个学生总是考 C，却坚称“我百分之百确定我是对的”；而另一个学生考了 A，却说“我只有 50% 的把握”。如果你是一位政策制定者，你可能会被那个大声、自信的模型所误导，即便它和那个沉默的模型一样带有偏见。

4. 体量并不意味着“更好”的政治观点

你可能会认为，一个更大、更聪明（拥有更多“脑力”）的 AI 会拥有更平衡或更“正确”的政治观点。

发现： 更大的模型虽然稍微更具一致性（噪声更小），但它们并没有表现出与较小模型不同的政治观点。
类比： 一个巨大的、超级聪明的机器人和一个小巧简单的机器人，可能既都是“市场爱好者”，也可能都是“干预主义者”。你无法仅通过观察模型的规模或品牌名称来猜测其政治偏见。

结论：选择模型本身就是一个政治决策

论文得出结论：选择使用哪种 AI 不仅仅是一个技术细节，它是一个政策决定。

隐喻： 如果你雇佣一名顾问来撰写一份关于经济的报告，你是在雇佣一个拥有特定世界观的人。如果你雇佣 AI 模型 X，你是在雇佣一位“市场保守派”。如果你雇佣 AI 模型 Y，你是在雇佣一位“政府干预主义者”。
危险之处： 如果你不知道这一点，你可能会认为 AI 提供的是中立、客观的事实。但实际上，AI 正悄悄地将其隐藏的价值观注入到你的政策决策中。

总结：
在利用 AI 辅助政府决策之前，我们需要像对待人类专家一样对待它：检查他们的背景，了解他们的偏见，并且不要仅仅信任一个人的意见。 我们需要询问多个不同的 AI 并对比它们的答案，以观察全貌，而不是让一个“默认”模型来决定我们的未来。

技术摘要：模型选择即政策抉择

问题陈述
大语言模型（LLMs）正日益融入政策分析、战略规划和决策支持领域。然而，应用实践中经常将不同的模型视为可互换的工具，这一假设极少得到实证检验。本文认为该假设存在缺陷：当任务和提示词保持不变时，LLMs 在构建经济与制度困境的方式上仍可能存在系统性差异。这些差异并非仅仅是解码过程中的噪声，而是反映了嵌入在训练数据、架构和对齐目标中的稳定取向。因此，在政策语境下选择特定模型并非一个中性的技术细节，而是一个实质性的治理决策，它会影响政策提案中的叙事方式、规范性重点以及权衡取舍。

研究方法
本研究采用受控且可重复的实验设计，旨在绘制通过 Ollama 在本地执行的 40 个开源权重 LLMs 的行为规律。

数据生成： 所有模型均需完成一份固定的多项选择问卷。该工具涵盖了宏观财政权衡、监管困境、国际机构、公众人物感知以及政治经济解释框架。
实验方案：
- 复制： 每个模型在两种采样温度（ $T=0.2$ 和 $T=0.8$ ）下各完整回答 100 次问卷，以区分稳定取向与随机噪声。
- 评分： 对于每个条目，模型会对四个预定义的答案框架（A–D）分配分数（0–100）。
- 归一化： 模型响应相对于问题内的均值进行中心化处理，以消除水平效应，专注于相对偏好排序。
分析流程：
1. 方差分解： 将选项支持度的总方差分解为模型间方差、温度效应和复制噪声。
2. 降维： 对按模型汇总的响应剖面应用加权主成分分析（PCA），以识别潜在的变化轴。
3. 聚类： 在 PCA 得分空间内对模型进行聚类（使用前 16 个成分），以推导出离散的模型“类型”分类法。
4. 验证： 将数据驱动的 PCA 轴与独立的人工编码分类法（如制度信任、经济国家—市场等）进行对比验证，以确保构念效度。
5. 主题分解： 通过比较模型在特定主题领域的“倾向”，定位异质性集中的领域。

核心结果

信号与噪声： 模型身份解释了选项支持度 57% 的变异，而采样温度解释的变异不足 2%。剩余的方差为复制噪声，其随模型不同而显著变化（范围从 3% 到 79%）。模型内部的响应剖面在不同温度下高度稳定（中位数相关系数 $r=0.99$ ），证实了差异是稳定的取向而非解码伪影。
潜在维度： PCA 恢复了两个主要的、具有解释性的轴：
1. 制度信任维度 (PC1)： 将制度化、协调化和技术官僚式框架（正极）与主权优先、行政中心或临时磋商式框架（负极）进行对比。该轴与人工编码的制度信任度强相关（ $r=0.92$ ）。
2. 经济—环境维度 (PC2)： 将市场增长/效率优先框架与受规制/绿色/再分配可持续性框架进行对比。该轴与经济国家—市场轴相关（ $r=0.48$ ）以及气候雄心相关（ $|r|=0.60$ ）。
类型学： 聚类产生了 八种截然不同的模型类型，涵盖了从“字面量化预测”和“务实干预主义”到“风险与主权显著型”以及“极化且倾向国家型”等。
主题特异性异质性：
- 共识： 模型在制度信任、开放性和气候框架方面近乎一致（例如，98% 的模型倾向于气候雄心和制度信任）。
- 分歧： 模型在经济问题上存在剧烈分歧。针对单一的滞胀问题，所有四个政策框架都成为了某些子集的模型中的首选。在经济国家—市场轴上，仅约五分之一的模型表现出“市场”倾向，其余则倾向于“国家”。
- 稳定性： 经济取向并非固定的全局特征；一个模型在某一经济问题上的立场对其在另一经济问题上的立场预测能力较弱（Cronbeck's $\alpha = 0.58$ ）。
置信度与规模： 自我报告的置信度主要是模型的固定属性（解释了 55% 的方差），而非反映问题难度或争议性。较大的模型规模预示着更高的连贯性（较低的噪声），但并不预示特定的政治取向或政策偏好。

核心贡献

不可互换性的实证证据： 本研究提供了有力证据，证明开源权重 LLMs 在政策语境下并非互换的。它们的差异是结构化的、稳定的，且足以改变政策建议及其论证逻辑。
方法论框架： 引入了一个可重复的审计模型行为的流程，能够将持久的取向与采样噪声分离，并将模型映射到可解释的意识形态维度上。
模型行为类型学： 基于响应剖面建立了紧凑的八种模型“类型”分类法，提供了一种基于底层政策逻辑而非仅基于性能基准来对模型进行分类的方法。
重构模型选择： 本文认为模型选择是一个涉及治理层面的设计决策。研究表明，嵌入在模型中的“价值观”是可衡量的且具有争议性，这挑战了将模型视为中立信息检索系统的观点。

意义与主张
本文声称，模型选择的社会代价是模型技术比较的核心。通过证明模型在制度和世界主义框架上趋同，但在经济和分配问题上分歧，作者认为 模型选择决定了所推荐的政策框架及其合理性基础。

其意义在于将视角从“寻找正确的模型”转向“使模型的取向可见”。作者主张：

模型选择应被视为一种 治理决策，类似于经济学实证研究中的稳健性检验。
多模型压力测试 对于揭示结论对潜在框架倾向的敏感性是必要的。
使嵌入在模型中的价值观变得透明且可讨论，是其在政策工作中负责任使用的前提条件。

研究结论指出，虽然模型并非中立，但其特定的取向并非随机的；它们是结构化的、可衡量的且具有后果性的。因此，必须将工具的选择作为一个审慎且负责的行为，以确保社会是在塑造这些系统，而不是被动地被这些系统所塑造。