Rapid parameter-efficient calibration for cross-session intracortical speech decoding across multiple datasets

对于那些因瘫痪或神经系统疾病而失去说话能力的人来说，沉默是一种孤立。脑机接口为打破这种沉默提供了一种途径，它能将大脑的电信号直接转化为文字或语音。想象一下，一个人在脑中构思一个句子，计算机便能读取这些想法并将其打字输出。这项技术已从科幻小说变为现实，现在的系统能够以惊人的速度和准确度，从植入电极中解码尝试进行的言语。然而，一个持久的挑战一直阻碍着这些系统成为无缝衔接的日常工具：大脑并非静止不变的。从大脑记录到的电信号会随时间发生变化，由于身体的细微变化、电极的位置移动或用户心境的状态，信号会在一天之内甚至一小时之内发生偏移。在一个模型上训练出的解码器在第二天往往难以理解同样的想法，这迫使使用者为了再次使用设备而不得不进行繁琐的重新训练过程。

一项新研究通过提出一个简单但困难的问题来应对这一问题：我们能否在不从头开始重建整个系统的情况下，修复一个用于新一天的语音解码器？来自拉杰沙希工程技术大学（Rajshahi University of Engineering and Technology）和孟加拉国工程技术大学（Bangladesh University of Engineering and Technology）的研究人员开发出一种方法，能够利用极小比例的数据和计算能力快速重新校准这些设备。他们在两个来自不同个体的、关于学习使用语音植入物的大型公开脑数据集中测试了他们的方法。研究人员并没有重新训练那个用于识别语音模式的复杂计算机模型，而是让那台“重型机械”保持冻结和锁定状态。他们仅调整了系统最开始的一个微小且特定的层，即一个在主解码器接收数据前对原始脑信号进行预处理的数学滤波器。通过使用极少量的新的示例——即四十次或八十次简短的尝试性言语尝试——来微调这个小小的滤波器，他们便能够使系统与用户当前的大脑状态重新对齐。

结果显示，这种轻量级的方法效果惊人，尽管其成功程度取决于特定的用户以及可用的数据量。在第一个数据集上（该数据集来自一位已经使用该系统一段时间的参与者），该方法非常有效。在仅调整了约六万五千个参数（这个数字如此之小，仅代表总模型的不到百分之一）后，系统正确识别语音音节的能力得到了显著提升。事实上，在未来的每一个测试阶段，准确率都有所提高。仅通过四十个言语尝试示例来引导调整，错误率就下降了超过百分之十一。当研究人员提供八十个示例时，改进幅度增长到了百分之十五以上。至关重要的是，这一切都在数秒内完成，整个调整过程在所使用的计算机硬件上耗时不到八秒。

当研究人员将完全相同的规则应用于第二个来自不同人的数据集时，情况变得略显复杂。在这里，系统的表现并不像之前那样一致地改善，且结果在不同日期之间波动较大。在使用较小的四十个示例时，改进效果有限，且在某些情况下，系统并未得到改善。然而，当他们使用较多的八十个示例时，改进变得更加显著，平均减少了约百分之十的错误。这种差异表明，虽然大脑的每日偏移通常可以通过简单的快速调整来纠正，但某些用户或某些特定日期需要更多的信息才能找到正确的设置。该研究明确排除了“单一、微小的调整可以修复所有用户的所有可能偏差”这一观点；相反，它表明一种小型且有针对性的修复是一个强大的工具，且在用户提供足够的、新的示例来引导时效果最佳。

这项发现之所以特别重要，是因为它改变了使用这些设备的实际应用现状。此前，适应新的一天可能需要数小时的重新训练，或者需要用户全身心投入的复杂校准。这种新方法将“学习语音特征”这一沉重的任务与“针对当前时刻进行快速调节”这一日常任务分离开来。研究人员证明，他们可以利用过去的数据训练好的系统，通过几次简单的尝试进行快速调整，从而立即恢复高性能。他们在两个具有不同脑信号特征的完全不同的人身上进行了测试，虽然成功的程度有所不同，但核心原则保持不变：一个庞大且复杂的脑模型不需要每天重新学习。只需要对其一小部分进行微调即可。

研究还仔细观察了系统在调整前后产生了哪些类型的错误。他们发现，校准有助于系统停止丢弃单词或单词部分的现象，这是一种被称为“缺失”（deletion）的常见错误。它也有助于系统停止将一种声音误换成另一种声音。在第一个数据集中，调整高效地修复了这两类错误。在第二个数据集中，较小的调整主要修复了丢喝单词的问题，但在某些情况下却加剧了声音替换类的错误，直到使用了包含八十个示例的较大数据集才同时修复了这两类问题。这种对错误的详细观察证实，该方法不仅仅是一个统计学上的技巧，它确实是在纠正系统解释脑信号的方式。

最终，这项研究为使脑机接口更加可靠和易用提供了清晰的路径。通过证明可以通过更新不到百分之一的设置来快速重新校准解码器，该研究表明，未来的设备几乎可以瞬间适应用户的每日波动。这项工作并不声称已经解决了所有人脑信号变异性的问题，但它展示了对于很大一部分挑战而言，存在一种简单且高效的解决方案。对于依赖语音植入物的人来说，这意味着设备是每天早上都能可靠工作，还是需要一个漫长且令人沮丧的设置流程。这种在几秒钟内、利用极少量新数据即可恢复性能的能力，使“无缝衔接、随时待命的通信工具”这一愿景离现实又近了一步。