🤖 AI

Human-Like Coarse Object Representations in Vision Models

该研究发现，通过调节视觉模型的训练时长、规模或剪枝程度，使其处于“中间粒度”状态时，模型能涌现出与人类直觉物理预测相符的粗糙物体表征，表明这种表征源于资源约束而非特定设计偏差。

原作者： Andrey Gizdov, Andrea Procopio, Yichen Li, Daniel Harari, Tomer Ullman

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrey Gizdov, Andrea Procopio, Yichen Li, Daniel Harari, Tomer Ullman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：电脑看世界的方式，和人类看世界的方式，在什么时候最像？

为了让你轻松理解，我们可以把这篇论文的研究过程想象成在教一个机器人玩“猜碰撞”的游戏。

1. 核心故事：人类大脑的“偷懒”智慧

想象一下，你正在玩一个游戏，两个物体（比如一个杯子和一个球）正朝彼此飞来。你需要在它们相撞的那一瞬间按下按钮。

人类的直觉：人类的大脑其实很“懒”，也很聪明。当我们判断物体何时相撞时，我们不会去计算物体边缘每一个微小的凹凸不平（比如杯子把手的弯曲处）。相反，我们的大脑会自动把那些凹进去的地方**“填平”**，把物体想象成一个光滑的、粗线条的“大块头”（就像把杯子看作一个圆柱体）。
- 比喻：就像你画速写时，不会去描每一根头发丝，而是画出一个大概的轮廓。这种“填平”凹处的做法，让我们能更快、更准确地预测碰撞，因为我们在乎的是“它会不会撞到我”，而不是“它长得有多精致”。
电脑的现状：现在的 AI 视觉模型（分割模型）通常被训练得太较真了。它们被要求画出像素级精确的轮廓，连物体边缘的一点点波浪线都要完美复刻。
- 问题：这种“较真”在识别物体（比如区分这是杯子还是瓶子）时很有用，但在预测物理碰撞时，反而成了累赘。因为太关注细节，AI 可能会因为边缘的微小抖动而算错碰撞时间，就像一个人因为盯着杯子把手的纹路看，反而忘了杯子要撞过来了。

2. 实验：寻找“刚刚好”的机器人

研究团队想知道：有没有一种状态，让 AI 也能像人类一样，学会这种“填平凹处”的粗线条思维？

他们像调音师一样，调整了 AI 的三个“旋钮”：

训练时间：让 AI 学多久？（刚起步 vs 学成大师）
模型大小：用多大的大脑？（小脑瓜 vs 超级大脑）
剪枝（Pruning）：给大脑“减肥”，关掉一部分神经元。

3. 惊人的发现：倒 U 型曲线（“金发姑娘”原则）

实验结果非常有趣，他们发现 AI 的表现遵循一个**“倒 U 型曲线”**，就像童话《金发姑娘和三只熊》里找“刚刚好”的粥：

太“笨”或学得太少（U 型左边）：
- AI 还没学会怎么分清楚物体，它们把物体看成模糊的一团（像一团没揉好的面团）。这时候，它们虽然也“填平”了凹处，但因为太粗糙，根本分不清物体在哪，预测完全不准。
- 比喻：就像刚学画画的小孩子，画个杯子就是个圆圈，根本看不出把手在哪。
太“聪明”或学得太久（U 型右边）：
- AI 学得太好了，它开始死抠细节。它把物体边缘的每一丝波浪、每一个凹坑都画得清清楚楚。结果，它反而失去了人类那种“填平凹处”的直觉，预测碰撞时变得犹豫不决，甚至出错。
- 比喻：就像一位强迫症画家，非要画出杯子把手上每一道划痕，结果反而忘了杯子整体是个圆柱体，算不准它什么时候会撞上来。
“刚刚好”的状态（U 型中间）：
- 这就是奇迹发生的时刻！ 当 AI 训练到中途，或者模型大小适中，或者被适度“减肥”（剪掉一部分神经元）时，它们的表现最像人类。
- 在这个阶段，AI 自动学会了**“抓大放小”**：它保留了物体的大体形状，但自动忽略了那些无关紧要的凹进去的细节，把它们“填平”了。
- 比喻：这时候的 AI 就像一个经验丰富的老司机，开车时只看大概的车距和路线，不会去盯着路边树叶的纹理，所以反应最快、最准。

4. 这意味着什么？

这篇论文告诉我们一个深刻的道理：

人类的“不完美”其实是进化的智慧：我们大脑里那种“粗线条”的物体表示，并不是因为我们要偷懒，而是为了在有限的脑力和时间下，最高效地处理物理世界。这是一种“资源理性”的妥协。
AI 不需要“完美”才能像人：我们不需要把 AI 训练成像素级的完美画家，才能让它理解物理。相反，适度的限制（比如限制训练时间、限制模型大小、或者剪枝）反而能激发出 AI 身上那种“像人类一样思考”的直觉。
未来的应用：如果我们想制造能像人一样安全互动的机器人（比如自动驾驶汽车），我们不应该只追求看得更清晰，而应该学会**“适度模糊”**。通过简单的调整（比如用训练中途的模型，或者稍微剪枝），就能让机器获得这种物理直觉。

总结

这就好比做饭：

太生（训练不足）：食材没熟，没法吃（AI 太模糊）。
太焦（训练过度）：食材糊了，全是细节但没法吃（AI 太较真，失去直觉）。
刚刚好（中间状态）：火候适中，既保留了营养（物理结构），又去掉了多余的杂质（无关细节），味道最像人类妈妈做的菜。

这篇论文就是告诉我们：有时候，为了像人一样聪明，AI 不需要变得“完美”，只需要变得“适度粗糙”一点。

这是一份关于论文《Human-Like Coarse Object Representations in Vision Models》（视觉模型中类人的粗略物体表征）的详细技术总结。

1. 研究背景与问题 (Problem)

人类直觉物理的表征机制：人类在进行直觉物理推理（如预测碰撞、物体运动）时，并不依赖像素级精确的物体形状，而是使用粗略的、体积化的“身体”（bodies）表征。这种表征会“填充”物体的凹面（concavities），牺牲精细的视觉细节以换取高效的物理预测。
现有视觉模型的偏差：现代分割模型（Segmentation Models）通常被训练以生成像素级精确的掩码（masks），旨在捕捉物体的精细边界。这种“过度细化”的表征可能与人类用于物理推理的粗略表征不匹配。
核心问题：
1. 用于分割的视觉模型是否会形成类似人类的粗略物体表征？
2. 在什么条件下（如模型大小、训练时间、容量限制）会出现这种类人的表征？
3. 这种相似性是源于特定的归纳偏置，还是资源约束下的自然涌现？

2. 方法论 (Methodology)

研究团队构建了一个完整的评估管道，将视觉模型的输出与人类行为数据进行定量对比。

2.1 人类行为数据基准

任务：基于 Li et al. [25] 的碰撞时间（Time-To-Collision, TTC） 实验。
设置：参与者观看两个物体相互靠近的视频，并在预测碰撞发生时按下按钮。
关键现象：人类对凹面（concave）和凸面（convex）物体的碰撞时间判断存在系统性偏差。当凹面朝向碰撞方向时，人类倾向于“填充”凹陷区域，从而更早预测碰撞（即认为凹面物体比实际更早接触）。
数据：来自 226 名参与者的 96 个视频片段。

2.2 视觉模型设置

模型架构：使用了 6 种不同规模的 SegFormer 模型（基于 Transformer 的编码器 - 解码器架构，参数量从 ~3.8M 到 ~84.7M，记为 B0-B5）。
微调策略：
- 由于预训练模型无法直接分割实验中的多边形刺激，研究者在合成数据集上对模型进行了微调。
- 合成数据包含具有不同凹面数量（0-3 个）和几何多样性的多边形，确保训练数据与人类实验数据在统计特性上相似但无重叠。
TTC 预测模拟：
1. 模型接收静态初始帧，输出两个物体的分割掩码（Mask）。
2. 利用掩码和已知的物体真实速度向量，在图像平面上模拟物体运动。
3. 计算两个移动掩码首次重叠的时间点，作为模型预测的 TTC。

2.3 评估指标：凹面效应差异 (Concavity Effect Metric)

为了衡量模型是否像人类一样“填充”凹面，研究定义了以下指标：

人类凹面效应 ( $\Delta_{human}$ )：凹面朝向时的平均 TTC 减去凸面朝向时的平均 TTC（通常为负值，表示人类预测更早）。
模型凹面效应 ( $\Delta_{model}$ )：同上，基于模型掩码计算。
对齐误差 ( $E$ $E$ )： $|\Delta_{model} - \Delta_{human}|$ $∣ Δ_{m o d e l} - Δ_{h u man} ∣$ 。
- $E$ 越小，说明模型对凹面和凸面的处理差异越接近人类行为。

2.4 变量控制

研究系统性地改变了三个关键因素来调节模型的有效容量（Effective Capacity）：

训练时间：检查不同训练步数（Checkpoints）下的表现。
模型大小：对比不同参数量的 SegFormer 变体（B0-B5）。
神经元剪枝：对训练好的模型进行非结构化剪枝（Magnitude-based pruning），移除不同比例的权重。

3. 关键贡献 (Key Contributions)

提出了通用的对比管道：建立了一套将分割模型输出映射到物理推理任务（TTC）的框架，并引入了统一的评估指标，实现了模型预测与人类行为的直接定量比较。
发现了“倒 U 型”关系：揭示了分割细节与人类行为误差之间存在非单调的倒 U 型曲线关系。
- 欠分割（Under-segmentation）：模型太小、训练不足或剪枝过强时，物体被简化为过于粗糙的“ blobs”，无法捕捉凹面效应。
- 过分割（Over-segmentation）：模型太大、训练充分时，模型追求像素级精确边界，保留了过多的几何细节（如边界抖动），导致与人类行为偏离。
- 理想粒度（Ideal Granularity）：在中间状态（中等训练时间、中等模型大小、适度剪枝），模型表现出最佳的类人“粗略身体”表征，误差最小。
资源约束解释：证明了类人的粗略表征并非源于特定的生物偏置，而是**资源约束（Resource Constraints）**下的自然涌现。当计算资源（带宽、时间、容量）有限但非极端时，模型倾向于生成对物理推理高效的简化表征。
实践指导：提出了通过“早期检查点”、“适度架构”和“轻度剪枝”等简单手段，从标准视觉模型中提取出更符合物理直觉的表征。

4. 实验结果 (Results)

训练时间的影响：
- 训练初期：模型对物体范围掌握粗糙，误差大。
- 训练中期：模型开始“填充”凹面，误差降至最低，最接近人类。
- 训练后期：模型收敛到像素级精确，过度关注边界细节，凹面填充效应减弱，误差再次上升。
- 注：较大模型（如 B4-B5）比小模型更快达到这一“人类-like"状态。
模型大小的影响：
- 小模型（B0）：欠分割，无法区分凹面细节。
- 大模型（B4-B5）：过分割，边界过于精细。
- 中等模型（B1-B2）：在固定训练步数下，表现出最佳的类人凹面效应。
剪枝的影响：
- 无剪枝：掩码过于破碎和精细。
- 强剪枝：模型退化为粗糙块状。
- 适度剪枝：在中等剪枝比例下，模型表现出与人类最一致的凹面填充行为。
可视化证据：
- 概率图（Probability Maps）显示，在中等训练阶段，模型在凹面区域的激活会向外扩散（即“填充”），而在凸面区域保持锐利。这与人类心理表征中的“填充凹面”现象高度一致。

5. 意义与结论 (Significance)

理论意义：
- 支持了**资源理性（Resource-Rational）**的认知理论：人类和机器在资源受限（代谢成本、计算带宽、时间压力）的情况下，都会演化出一种在“识别细节”和“物理效用”之间取得平衡的表征策略。
- 解释了为什么人类在直觉物理中会简化几何结构：这是一种在有限资源下优化预测效率的机制，而非感知缺陷。
实践意义：
- 人机交互安全：理解模型何时形成类人表征，有助于设计更安全、可预测的 AI 系统，使其行为更符合人类直觉（例如在自动驾驶或机器人避障中）。
- 模型优化策略：无需重新设计复杂的损失函数，仅通过调整训练时间、模型规模或剪枝程度，即可引导标准分割模型生成对物理推理更友好的表征。
局限性：目前研究主要基于 2D 多边形和特定架构，未来需扩展到 3D 场景、更多样化的物理任务以及更广泛的模型架构。

总结：该论文通过严谨的实验证明，视觉模型在特定的资源约束条件下（非极端精细也非极端粗糙），会自发地形成类似人类的“粗略物体身体”表征。这种表征通过“填充”凹面来优化物理预测效率，揭示了生物智能与人工智能在物理推理底层逻辑上的深刻共性。