Decoding silent reading from non-invasive EEG

人类的交流依赖于一个简单的物理动作：通过移动嘴巴、舌头和声带来将空气塑造成声音。当疾病或损伤破坏了这种能力时，一个人与外部世界的联系可能会随之消失。几十年来，科学家们一直试图寻找一种绕过受损身体、直接从大脑中读取思想的方法。迄今为止最成功的尝试都需要手术，即在颅骨深处植入电极，以监听单个神经元的电信号。虽然这些侵入性工具已经证明，大脑的语言中心可以用高精度进行解码，但它们带有手术风险，且无法被绝大多数需要的人群使用。一个伟大的悬而未决的问题是：非侵入式方法（特别是那些使用放置在头皮上的传感器的方法）是否能够足够灵敏，从而捕捉到这些转瞬即逝的思想。

无需手术读取思想的核心难点不仅在于信号微弱，更在于缺乏一张“地图”。要教会计算机识别一种思想，你需要知道在脑电信号发生的确切时刻，这个人正在思考什么。对于口语，这很容易：人说话，记录就开始。对于内心独白或“内语”（inner speech），则没有外部标记。一个人可能在脑中构思了一个句子，但他无法完美地报告其发生的时机；当他说出“我刚才在想香蕉”时，产生那个想法的大脑活动早已逝去。由于缺乏精确的时间戳，数据变成了一团模糊，以往解码内语的尝试都难以超越随机猜测。

nubrain 的一个研究小组决定通过使用一种不同的任务作为训练场，来绕过这个时间同步问题。他们没有要求参与者想象单词，而是要求他们阅读。阅读是一种在大脑中进行的语言处理过程，但它自带一个“内置时钟”：单词出现在屏幕上的那一刻。通过记录一个人阅读时的脑电活动，研究人员可以将电信号与正在看到的特定单词对齐，从而创建一个大规模且精确的数据集。他们的目标是观察计算机是否可以通过观察头皮上的电模式，学会识别特定单词的独特大脑特征，以及这种技能是否最终可以应用于更难的解码未说出口的思想的任务。

该研究涉及一名参与者，他花费了近 49 小时在电脑屏幕上连续阅读故事。文本以一种被称为“快速序列视觉呈现”的方法，一次呈现一个单词，并以快速连续的方式进行。为了确保计算机学习的是单词的含义而非其形状，研究人员改变了每个单词的字体、大小、颜色和间距。这意味着大脑必须处理语言本身，而不只是字母的视觉模式。参与者佩戴了一个带有 19 个干电极的帽子，这种设置旨在舒适且易于使用，能以高速记录大脑的电活动。

研究人员随后训练了一个计算机模型，将这些脑电信号与阅读的单词进行匹配。他们使用了一个复杂的系统，将电模式与源自大型语言模型的数字“语义”进行对比。计算机并不被要求从零开始猜测单词，而是从 51 选 1 的列表中挑选正确的单词。结果非常明确：系统可以可靠地识别正在阅读的单词，表现显著优于随机概率。即使是对于罕见和不常见的词汇，而不仅仅是频繁出现的常用词，这一成功同样成立。

至关重要的是，研究人员仔细区分了两种不同类型的成功。计算机可能会仅仅因为了解故事的大致主题而猜对答案——例如，因为故事关于农场而猜出“狗”——而没有真正识别出屏幕上的特定单词。为了排除这种情况，团队开发了一种方法，将特定单词的信号与故事语境的信号分离开来。他们发现，虽然系统确实利用了故事的语境来提供帮助，但其成功中的很大一部分来自于识别特定单词本身。他们还检查了另一种潜在的捷径：计算机是否可能根据单词在句子中的位置来猜测单词，而不是基于脑电信号。通过运行特定的测试，隐藏脑电数据仅保留位置信息，他们证实了计算机确实是在读取大脑活动，而非仅仅是位置。

研究还揭示了数据量比此前认为的更为重要。研究人员测试了系统在不同训练数据量下的表现，从总时长的极小部分到完整的 49 小时。他们发现，随着数据的增加，系统的准确率持续提高，且没有表现出达到极限的迹象。这表明，性能提升的障碍并非技术的根本缺陷，而仅仅是需要更多的记录时间。此外，当他们移除位于后脑部（处理视觉的区域）的电极时，系统仍然可以工作，尽管准确度略有下降。这表明，阅读单词的大脑信号不仅仅是视觉性的，还涉及更深层的大脑语言处理区域，而这些区域仍能从头皮处被检测到。

这些发现为非侵入式脑机接口提供了一条充满希望的路径。研究表明，只要有足够高质量的数据，仅通过头皮上的传感器解码特定单词是可能的。虽然目前的研究重点是阅读，但作者认为这种方法可以作为解码内语的基础。通过首先在具有可靠时间锁定的阅读数据上训练系统，然后将其知识转移到更难的沉默思考任务中，科学家们最终有望为那些失去声音的人恢复沟通能力。这项工作并不声称已经解决了瞬间读取思想的问题，但它确立了这样一个事实：信号就在那里，只需足够的耐心和数据，便能将其寻获。