Uncovering the Representation Geometry of Minimal Cores in Overcomplete Reasoning Traces
本文引入“最小核心”概念，以证明语言模型的推理轨迹存在显著冗余，揭示出仅一小部分步骤即可保持预测准确性，同时为底层推理过程提供更简洁、低维的几何表征。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你请一位非常聪明但有点话痨的朋友来解决一道数学题或回答一个棘手的问题。他们不会只给你一个答案，而是会写出一段冗长、详细的“故事”，讲述他们是如何得出这个答案的。他们可能会重述问题、三次检查自己的推导过程、提供替代解法，并添加一些关于为何选择特定路径的小注脚。
这篇论文提出了一个简单的问题：为了得到正确答案，那段冗长的“故事”中究竟有多少是真正必要的？
作者将这些冗长的“故事”称为“过度完整的推理轨迹”。他们发现，平均而言，这些“故事”中近一半的步骤实际上只是“废话”——冗余的检查、额外的解释，或是模型为了保持最终答案正确而并不需要的替代路径。
以下是他们研究结果的一些日常类比说明：
1. “核心”与“废话”
将推理轨迹想象成一段漫长而曲折的公路旅行，目的地是某个地方。
- 完整轨迹：这是整个驾驶过程，包括每一次风景优美的绕行、每一次停下来查看地图、每一次走错路后纠正，以及每一次向乘客解释为何选择那条路线。
- 最小核心：作者开发了一种方法，可以剔除这些绕行，找到最短、最直接的公路，依然能把你送到完全相同的目的地。
他们发现，对于许多问题，你可以移除大约46% 的步骤（那些风景绕行和查地图的动作），而模型仍然会给出完全相同的答案。
2. “明星球员”
如果你观察一支运动队，可能会认为场上的每位球员都同样重要。但这篇论文指出，在推理轨迹中，只有少数步骤承担了绝大部分的关键工作。
- 他们发现，推理链中的前 3 个步骤承担了约65% 的“必要性”。
- 想象电影中的一个场景：英雄力挽狂澜。剧本可能有 10 句台词，但只有 3 句才是真正的“拯救”时刻。其余 7 句只是在铺垫场景或营造紧张气氛。模型的“答案”在很大程度上依赖于那几句关键的台词。
3. 清理“杂乱的房间”
作者审视了这些思维的“几何结构”，这是一种对数据形状和结构的 fancy 说法。
- 完整轨迹：把它们想象成一个杂乱的房间。里面什么都有：有用的工具、垃圾、装饰品和家具。因为重要物品与噪音混杂在一起，很难找到关键内容。
- 最小核心：当他们提取最小核心时，就像清理房间。你扔掉垃圾和装饰品，只留下必要的工具。
- 结果：“清理后”的房间（即最小核心）不仅更小，而且更清晰。作者发现，当他们审视这些清理后的轨迹时，更容易区分“正确”的思维过程和“错误”的思维过程。杂乱的房间让人难以看清真相；而整洁的房间让真相脱颖而出。
4. “通用翻译器”
最酷的发现之一是，这些“最小核心”在不同的人工智能模型之间是通用的。
- 想象你有一张由模型 A绘制的地图。通常，如果你把这张地图交给模型 B，它可能会感到困惑，因为风格不同。
- 但是，当你把模型 A 的地图精简到仅包含必要的“最小核心”（即那条直接的高速公路）时，模型 B 可以完美地使用它。
- 这表明，“核心”并非仅特定于某个模型的风格；它以其他模型也能理解的方式捕捉了问题的实际逻辑，即使这些模型的训练方式不同。
他们做了什么（方法）
为了找到这些核心，他们并非凭空猜测，而是采用了一种“贪婪逆向消除”策略。
- 想象你有一长串回形针，用来挂住一个重物。
- 他们从末端开始，问自己：“如果移除这个特定的回形针，重物会掉下来吗？”
- 如果重物依然悬着，他们就剪掉它。
- 他们一步步重复这个过程，直到达到这样一个点：再移除任何更多的回形针都会导致重物掉落。
- 剩下的就是最小核心：挂住重物所需的绝对最短链条。
结论
该论文总结道，当人工智能模型“大声思考”时，它们往往话太多。它们生成了冗长、啰嗦的解释，其中包含大量可移除的冗余。
通过找到最小核心，我们可以：
- 压缩思维（减少 46% 的字数）。
- 澄清逻辑（更容易看清什么才是真正重要的）。
- 验证思维（更好地区分正确答案和错误答案）。
作者谨慎地指出，这并非为了寻找“人类”的解释或答案的“真实”原因。这纯粹是为了找到保持模型答案不变的最小步骤集合。这是一种去除噪音以看清信号的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。