🤖 machine learning

Learning Patterns and Abstractions from Perceptual Sequences

本论文提出，组块化（chunking）与抽象化（abstraction）是人类与模型能够通过将感知序列分解为可重用的层级原语，从而高效地学习、泛化并预测结构化模式的基本计算原理。

原作者： Shuchen Wu

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuchen Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于舒晨（Shuchen Wu）的博士论文《从狄俄尼索斯到阿波罗：从感知序列中学习模式与抽象》（"From Dionysius Emerges Apollo: Learning Patterns and Abstractions from Perceptual Sequences"）的解释，已将其转化为通俗易懂的日常语言，并使用了创意类比。

大局观：从混沌到秩序

想象一下，你的大脑就像一个在混乱、嘈杂的城市中穿行的人。这里有闪烁的灯光、鸣笛的汽车、食物的味道和拥挤的人群。这是一堆杂乱无章的原始数据。然而，你看到的并不是一片模糊，而是“红绿灯”、“热狗摊”和“一辆红车”。你会瞬间将这些混沌整理成有用的、具名的物体。

这篇论文探讨的是：大脑是如何做到这一点的？ 我们是如何将无穷无尽的噪声流转化为一个我们可以理解、记忆和预测的有结构的世界的？

作者认为，其中的秘密武器是组块化（Chunking）。

第一部分：“组块化”的艺术（分组）

类比：拉链的神奇魔力
想象一下，如果你试图拉上一件拥有 100 个细小、独立的牙齿的夹克拉链，那会非常慢。但如果你把这些牙齿分成 10 个较大的“组块”，你就能在几秒钟内拉好。

论文指出，我们的大脑对序列（如一首歌、一个句子或一系列按键动作）也进行同样的操作。

实验： 参与者玩了一个游戏，需要根据灯光的信号按下按键。有时灯光遵循某种隐藏的模式（例如 A-B-C-A-B-C）。
发现： 人类非常擅长发现这些模式。当他们意识到“哦，A-B-C 是一个组”时，他们不再一个接一个地按键，而是将整个组作为一个整体同时按下。
权衡： 论文发现，人类在如何分组方面非常聪明。如果你要求他们快，他们会将事物分组为更大的组块（即使会犯一些错误）；如果你要求他们完美，他们会将事物分组为更小、更安全的组块。这是速度与准确性之间的一种理性平衡。

核心要点： 我们不仅仅是在记忆列表；我们将项目捆绑成“动作原语”（就像舞蹈中的一个单一动作），以节省精神能量。

第二部分：用砖块筑造城堡（组合）

类比：乐高积木
一旦你学会了一些组块（比如单词“黑”和单词“森林”），你就可以将它们拼接在一起，组成一个更大的组块（“黑森林”）。接着，你可以将“黑森林”和“蛋糕”拼接在一起，组成“黑森林蛋糕”。

该论文提出了一个名为 HCM（层级组块模型） 的计算机模型，它正是这样运作的。

运作方式： 它首先在数据流中寻找微小的、重复出现的模式。一旦找到，它就将这些模式视为单个乐高砖块。然后，它寻找这些砖块共同出现的模式，并将它们拼接成更大的砖块。
结果： 这使得模型能够通过分解为更小的、熟悉的嵌套层级，来理解复杂的结构（如整本书或一部长电影）。
意义： 这解释了我们如何利用有限的构建模块来理解无限的新事物。这也是为什么我们能理解从未听过的句子，因为我们识别出了其中熟悉的“砖块”（词汇和短语）。

第三部分：抽象的飞跃（看到模式，而非油漆）

类比：乐谱
想象你听到一首曲子由钢琴演奏，然后是同样的曲子由吉他演奏，接着是长笛。音符（具体的细节数据）是不同的，但旋律（抽象的模式）是相同的。

论文探讨了人类如何忽略具体细节（乐器），并学习潜在的规则（旋律）。

实验： 人们被要求记忆长串的颜色序列。有些序列具有隐藏规则，比如“红、蓝、红、蓝”（模式），或者“红、[任何颜色]、红、[任何颜色]”（变量规则）。
发现： 人类不仅仅是记住了特定的颜色；他们学习了其结构。他们可以将这种结构应用到一套全新的、从未见过的颜色组合中。
“变量”概念： 大脑学会了说：“这个位置始终是一个‘名词’，即使这个名词在变化。”它将特定项目视为代表整个类别的占位符（变量）。

第四部分：“变量”模型（终极抽象）

类比：填词游戏（Mad Libs）
在论文的最后一部分，作者构建了一个名为 HVM（层级变量模型） 的模型。可以把它想象成一个超级聪明的“填词游戏”生成器。

运作方式： 该模型不仅仅学习“蓝色”后面跟着“红色”。它学习的是“一种颜色”后面跟着“另一种颜色”。它用代表类别的符号（变量）替换了具体的项目。
威力： 这使得模型能够实现海量的信息压缩。与其记住 1,000 个具体的句子，它只记住一条规则：“主语 + 谓语 + 宾语”。
对比： 作者将其与大型语言模型（如你正在与之交谈的 AI）进行了对比。论文声称，虽然大型 AI 模型擅长模仿人类语言，但它们往往难以像人类那样进行真正的“抽象”。它们倾向于记忆具体的词汇，而不是学习那些允许向新情境进行真正泛化的底层变量规则。

总结：从狄俄尼索斯到阿波罗的旅程

标题引用了希腊神话：狄俄尼索斯代表混沌、美酒和原始情感，而阿波罗代表秩序、逻辑和结构。

该论文认为，我们的大脑不断地将感官输入的狄俄尼索斯式混沌转化为阿波罗式的秩序。我们通过以下方式实现这一点：

组块化： 将原始数据分组为可处理的碎片。
组合： 将这些碎片堆叠成复杂的结构。
抽象： 用通用的规则（变量）替换特定部件，从而在更深层次上理解世界。

这一过程让我们能够从仅仅对噪声做出反应，转变为理解宇宙隐藏的规律，一次掌握一个模式。

技术摘要：从狄俄尼索斯到阿波罗——感知序列中的学习模式与抽象

1. 问题陈述

本论文解决的核心问题是人类与机器在“从混沌的感官流中涌现出结构化实体”这一过程中的认知差距。人类能够毫不费力地将连续、高维的感官数据解析为离散、可重用且具有层级性的实体（例如，识别“交通信号灯”或对视觉部分进行分组），而当前的联结主义人工智能系统（如大语言模型和深度神经网络）在缺乏显式监督或人类定义先验的情况下，难以学习结构化符号并实现数据的因子分解。

本论文认为，组块化（Chunking）——即通过将序列分割为重复且凝聚的单元来处理信息的倾向——是弥合这一差距的基础计算原则。本研究探讨了组块化如何促进从具体的感知序列向抽象表示的转变，从而实现高效的记忆压缩、泛化以及利用简单原语递归构建复杂知识的过程。

2. 研究方法

本研究采用了一种结合行为实验、规范计算建模和算法分析的多维度方法。研究方法由四个主要项目构成：

A. 行为实验

序列反应时 (SRT) 任务： 参与者执行需要根据视觉线索按下按键的任务。研究操纵了序列的底层统计结构（例如，改变组块长度如 AB 或 ABC），以观察人类如何调整其反应时间和错误率。
指令操纵： 实验通过改变指令，使参与者优先考虑速度或准确性，以测试组块行为中的权衡关系。
序列记忆与回忆： 参与者记忆颜色或抽象符号的序列。研究引入了两种类型的抽象基元（Motifs）：
- 投影基元 (Projectional Motifs)： 模式中表层内容被映射到一个共享的抽象空间（例如，$GGGE $和$ FFFD $都映射为$ XXXY$）。
- 变量基元 (Variable Motifs)： 包含不变部分和一个变量槽位的模式（例如，$GGGX $，其中$ X$ 是变化的）。
- 迁移测试旨在测试学习这些基元是否能促进对共享相同抽象结构的序列的回忆。

B. 计算建模

论文开发了一系列规范模型，将组块化视为智能体的一种理性策略，而非仅仅是一种启发式方法：

理性组块模型 (Rational Chunking Model)： 该模型通过优化一个权衡速度与准确性的效用函数来学习组块。它基于序列统计数据和任务需求推断组块边界。
层级组块模型 (Hierarchical Chunking Model, HCM)： 一个生成式与逆向识别模型，用于学习嵌套的层级结构。它将序列解析为原子单元，学习这些单元之间的关联统计特性，并将相关的组块递归地合并为更大的复合体。它利用一个学习到的组块“词典”来对高维概率分布进行因子分解。
层级变量模型 (Hierarchical Variable Model, HVM)： HCM 的扩展版本，集成了抽象功能。它将学习到的组块组织在 Trie 树结构中以实现高效检索，并提出符号变量 (Symbolic Variables) 来代表具有相似交互属性的组块类别。这使得模型能够发现不变模式，并通过使用抽象变量替换特定实例，从而泛化到新的序列。

C. 算法评估

模型针对以下对象进行了评估：

人类行为数据（反应时、回忆准确率）。
基准模型（例如，标准的循环神经网络 RNN、没有组块机制的贝叶斯理想观察者）。
大语言模型 (LLM) 在序列记忆任务上的表现，以比较其抽象能力。
在现实世界数据（包括《饥饿游戏》文本和静息态 fMRI 数据）上的无监督模式发现。

3. 主要贡献

1. 组块化的规范性辩护

本研究为组块化提供了一个规范性解释，证明了它是序列学习中速度-准确性权衡的一种理性解决方案。模型显示，当速度被优先考虑时，人类会自适应地学习更长的组块；而当精度要求较高时，则学习更短、更准确的组块，从而优化处理效率与错误率之间的平衡。

2. 层级表示学习 (HCM)

论文引入了 HCM，这是一个从底层开始学习嵌套层级结构的模型。

组合性 (Compositionality)： HCM 展示了简单的组块如何递归地组合成复杂的实体，通过从数据中学习原语而非预设原语，有效地解决了“符号涌现”问题。
因子分解 (Factorization)： 通过将序列单元归组为组块，模型将高维序列分布（例如， $P(x_1, x_2, \dots, x_n)$ ）分解为独立的子分布（例如， $P(x_1, x_2)P(x_3, x_4)\dots$ ），降低了计算复杂度。
数据效率： 在处理带有嵌入层级的序列时，HCM 比 RNN 能更快地调整其表示，对学习底层结构所需的数据量更少。

3. 抽象与变量学习 (HVM)

HVM 将组块化扩展到了抽象领域：

符号抽象： 学习用抽象变量（符号）替换反复出现的具体组块，这些变量代表了特定的类别。
记忆组织： 基于共同子部分将记忆词典组织在 Trie 树结构中，这减少了解析时的搜索步骤，并模拟了高效的人类记忆检索。
泛化： 证明了学习抽象基元（投影基元和变量基元）能显著提高对新序列的迁移性能，而标准的组块模型和 LLM（在测试语境下）无法有效复制这一能力。

4. 实证验证

人类一致性： 模型的负对数似然与人类序列回忆时间强相关，表现优于不具备组块或变量学习能力的模型。
神经科学应用： 模型被应用于 fMRI 数据，以识别大脑中的嵌套网络结构（例如，处理情感和视觉注意力的区域），表明神经活动呈现出层级组块特征。
文本分析： 应用于书籍文本时，该模型成功学习了词部分、常用短语和语法结构，镜像了人类的阅读过程。

4. 结果

行为发现： 人类会根据序列统计数据和任务指令动态调整组块策略。在记忆任务中，学习了抽象基元（投影基元和变量基元）的参与者比对照组表现出更优越的回忆和迁移性能，这表明抽象有助于压缩和泛化序列信息。
模型表现：
- 理性组块模型成功预测了速度-准确性权衡下的人类反应时模式。
- HCM 展示了比 RNN 更高的数据效率和可解释性，成功恢复了合成序列的生成层级。
- HVM 在需要识别变量结构的迁移任务中优于 LLM，凸显了当前 LLM 在从训练序列中形成显式、可重用抽象表示方面的局限性。
无监督发现： 模型成功识别了自然数据（文本和脑成像）中有意义的嵌套结构，验证了组块化是发现不变模式的一种通用机制。

5. 意义与主张

本论文主张，组块化与抽象是产生结构化知识获取的简单计算原则。通过学习关联相邻元素并随后将这些关联抽象为可重用的符号，智能体可以：

弥合 AI 与人类的差距： 为联结主义系统提供一种机制，使其能从连续数据中学习离散、可解释的实体，从而解决可解释性和泛化性问题。
实现递归构建： 允许通过重用和组合先前学习到的原语，从底层构建高度复杂的结构。
解释认知现象： 提供一个统一的框架来理解多种认知现象，包括记忆组织（短时记忆中的组块）、语法习得以及抽象概念的形成。

论文总结道，虽然所提出的模型依赖于特定的假设（例如，层级生成过程和贪婪解析策略），但它们为结构化表示如何从感知序列中涌现提供了一个合理的、计算高效的且具有认知基础的解释。本论文呼吁未来的研究探索这些原则的神经实现及其在更高维数据领域的应用。