Large Language Models are Algorithmically Blind
该论文通过因果发现任务评估了八种前沿大语言模型，发现它们在算法推理上存在系统性失败，表现出“算法盲”现象，即模型虽具备算法的陈述性知识，却无法进行准确校准的程序性预测。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文讲了一个有点让人“背脊发凉”的发现：虽然现在的超级人工智能（大语言模型）看起来无所不知，但在预测“算法到底好不好用”这件事上，它们其实是个“瞎子”。
为了让你更容易理解，我们可以把这篇论文的研究过程想象成一场**“超级预言家”的考试**。
1. 考试背景：预言家 vs. 实干家
想象一下，你是一位工程师，手里有一堆复杂的数学工具（算法），比如用来找因果关系的“侦探工具”。你想选一个最好的工具来用，但你不想花几天几夜去亲自测试每一个工具（因为太费钱了）。
于是，你去找了 8 位世界上最聪明的“超级预言家”（也就是目前最先进的大语言模型，如 GPT-5、Claude 等）。你问它们：
“如果我用‘工具 A'去处理‘数据 B'，它的准确率大概是多少？请给我一个范围，比如 60% 到 80%。”
如果这些预言家真的懂行，它们应该能根据数据的特征，给出一个既准确又靠谱的预测范围。
2. 考试过程：真刀真枪的测试
研究人员并没有只听预言家“嘴上说”，而是做了两件事：
- 让预言家猜：让这 8 个模型对 13 种不同的数据集和 4 种不同的算法进行预测，给出它们认为的“成绩范围”。
- 让机器跑：研究人员自己用这 4 种算法，在同样的数据上跑了5200 次（就像让运动员在操场上真跑 5200 圈），算出了真实的成绩。
3. 考试成绩：令人震惊的“瞎”
结果出来，大家傻眼了：
- 命中率极低：预言家们给出的范围，只有 15.9% 的时候包含了真实成绩。换句话说，84% 的时候它们都猜错了。
- 不如瞎蒙：有 7 个模型的表现，甚至还不如闭着眼睛随机猜（比如随便画个范围）。
- 范围太宽，还是错的：最离谱的是，这些模型给出的范围比真实情况宽了 8 到 27 倍！
- 比喻：就像你问“明天气温多少度？”，真实温度是 25 度。
- 一个靠谱的专家会说："24 到 26 度”。
- 这些 AI 会说："0 度到 100 度都有可能”。
- 虽然它们把范围拉得这么大，居然还是没把真实的 25 度包进去！这说明它们不是“保守”，而是真的“心里没底”。
4. 核心发现：它们是“背书机器”，不是“思考者”
研究人员发现，这些 AI 之所以表现这么差，是因为它们没有真正理解算法是如何工作的，它们只是在**“背书”**。
- 背得熟的地方：对于那些在教科书、论文里经常出现的经典数据集（比如“亚洲数据集”），AI 们因为背过很多相关数据，所以猜得稍微准一点点。
- 没背过的地方：一旦遇到研究人员专门生成的、AI 没见过的“新数据”（合成数据），或者稍微复杂一点的算法，AI 的表现就断崖式下跌，甚至直接归零。
- 比喻：这就像是一个学生，死记硬背了课本上的例题答案。考试时，如果题目和课本一模一样，他能答对；但如果题目稍微变个数字，或者换个场景，他就完全不会了，开始胡编乱造。
5. 结论：别把算法选择交给 AI
这篇论文给所有想用 AI 来辅助做技术决策的人敲了一记警钟：
目前的 AI 虽然能写出漂亮的代码，能解释复杂的概念，但它们缺乏“程序性的直觉”。
- 它们知道“这个算法叫 PC 算法”，也知道“它通常用于因果发现”。
- 但它们不知道“在这个具体的数据规模下，PC 算法到底能跑多快、多准”。
一句话总结：
如果你让 AI 帮你选算法，它就像是一个只会背字典的图书管理员，而不是一个经验丰富的老工程师。在需要精准预测“工具好不好用”的时候，千万别盲目相信 AI 的“直觉”，还是得靠实际测试（跑代码）来验证。
这就是论文所说的**“算法盲目”（Algorithmic Blindness）**：AI 在算法的世界里，其实是个睁眼瞎。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。