AdaTF-HyperMIL: Adaptive Time–Frequency Fusion and Hyperbolic Multiple-Instance Learning for Subject-Independent EEG Emotion Recognition
该论文提出了 AdaTF-HyperMIL，这是一个将自适应时频融合与双曲多实例学习相结合的新型框架，通过动态建模时频交互并在无需目标数据的情况下对齐跨受试者表示，实现了最先进的受试者无关脑电（EEG）情绪识别。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人类大脑是一个广阔、嘈杂的电活动景观，不断发射着反映我们思想、运动和感受的信号。当科学家想要理解我们的感受时，他们经常观察这些被称为脑电图（EEG）的电信号，这些信号是从头皮记录下来的。它是通往心灵的直接窗口，但也是一个难以解读的窗口。这些信号非常微弱，容易受到肌肉运动的干扰，并且在不同人之间存在巨大的差异。一个人表现出快乐的清晰模式在另一个人身上可能看起来像是困惑。这种变异性为构建能够识别情绪的机器制造了重大障碍。现有的多数系统就像是那些只通过死记硬背来应对特定考试的学生；它们在训练过的特定人群身上表现良好，但在面对陌生人时则会完全失效。现代研究的目标是构建能够实现泛化能力的系统，即无论说话者是谁，都能识别出情绪的通用语言，而无需事先看到该人的数据。
一组研究人员开发了一种新方法来解决这个问题，创建了一个能够以高准确度识别未知个体情绪的系统。他们将这种方法称为 AdaTF-HyperMIL，这是一个旨在通过适应每个时刻和每个人的独特特征，来应对混乱的脑电信号现实的框架。该系统并没有强迫每个脑电信号都进入一个单一、僵化的模具，而是像一个灵活的观察者，学习如何权衡不同的证据。它明白脑电记录中的某些部分比其他部分更重要，不同时间尺度的活动对不同情绪的影响各不相同，且信号中时间与频率的关系非常复杂。通过将这些见解与一种在弯曲空间中组织信息的数学策略相结合，该系统成功找到了在不同人类之间持续存在的共同情感线索。
研究人员应对的核心挑战在于，情绪状态并非一个单一、静态的事件，而是一个随时间展开的过程。一个人感到快乐的记录不仅仅是一个快照，它是一系列短时间窗口的数据，其中一些是清晰的，而另一些则是嘈效或无关的。以往的方法通常平等地对待每一个数据窗口，假设如果一个人在某次实验中被标记为“快乐”，那么该次实验的每一秒都是快乐的。新系统拒绝了这一假设。它认识到在单次实验中，某些时刻承载着真实的情绪信号，而另一些时刻则仅仅是背景噪声。为了处理这个问题，该系统使用了一种技术，允许它选择最具信息量的窗口并忽略其余部分，从而有效地过滤掉静电杂讯，去聆听其中的音乐。
此外，研究人员意识到大脑的电活动在不同的速度下变化。有些情绪转变转瞬即逝，而有些则在较长的时间内缓慢积累。旧的模型试图使用固定的工具来捕捉这些变化，这些工具只能在一个速度下观察大脑，或者以僵化的方式组合它们。新系统引入了一种动态路由机制，它会为每一份数据决定哪种时间尺度最为有用。这就像系统拥有一套具有不同焦距的镜头，并根据它正在观察的具体场景选择合适的镜头。这使得它既能捕捉快速、转瞬即逝的变化，也能捕捉缓慢、持续的模式，根据大脑在特定时刻的实际活动来调整其焦点。
为了理解这些信号，系统还会观察时间和频率是如何相互作用的。脑电信号通常通过节奏（时间）和音高（频率）来描述，而这两个方面是紧密相连的。研究人员构建了一个机制，让这两个视角能够相互交流，通过交换信息来构建更丰富的图像。系统并没有简单地将这些视角堆叠在一起，而是使用了一个门控过程，来决定对于特定的输入，应该在多大程度上给予基于时间的信息与基于频率的信息权重。这确保了最终对情绪的理解是两种视角的平衡融合，并针对数据的特定需求进行了定制。
一旦系统从多次实验的各个窗口中收集并精炼了证据，它必须将其整合为一个单一的预测。在这里，研究人员采用了称为多示例学习（multiple-instance learning）的策略。想象一个装满弹珠的袋子，只有袋子有标签，而单个弹珠却没有。系统的任务是找出哪些弹珠对于确定袋子的标签最为重要。在这种情况下，“袋子”是整个情绪实验过程，而“弹珠”是短时间窗口的脑电活动。系统学习为那些包含最强情绪信号的窗口分配更高的重要性，而为那些充满噪声的窗口分配较低的重要性。这使得即使在数据不完美的情况下，它也能构建出一个可靠的实验表征。
最后一步涉及在一种方式下组织这些表征，使之更容易区分不同的情绪，甚至是在不同人之间进行区分。研究人员使用了一种被称为双曲空间（hyperbolic space）的弯曲数学空间来排列数据。在这个弯曲的空间中，系统可以比在平坦的标准空间中更有效地将相似的情绪归为一类，并将不同的情绪推开。这种几何方法有助于系统处理不同人的情绪数据可能发生偏移或扭曲的事实。通过学习在这一弯曲景观中航行，系统可以找到每种情绪类别的真实中心，从而更容易地正确分类新的、未见的数据。
这项工作的成果是令人鼓舞的。在三个科学界使用的标准数据集上进行测试时，该系统实现了高水平的准确度。对于一个涉及三种情绪类型的数据集，它在约 95% 的案例中正确识别了情绪。对于一个包含四种情绪类型的更复杂的数据集，它的成功率约为 82%。它在衡量情绪两个维度的数据集上也表现出色：即一个人感到兴奋或冷静的程度，以及感到积极或消极的程度。然而，研究人员指出，虽然该系统取得了比以往方法更高的总分，但在将个体受试者逐一与最强基准进行比较时，其改进在统计学上并不显著。这表明，虽然这种新方法是稳健且有效的，但“受试者无关的情绪识别”这一挑战尚未完全解决。所使用的数据集是在受控实验室环境下采集的，并使用了特定的刺激物，因此目前尚不清楚该系统在自然情绪和不同记录设备下的真实世界表现如何。研究还强调，系统选择重要窗口和适应其时间尺度的能力是其成功的关键因素，因为移除这些功能会导致性能下降。
最终，这项研究为实现能够真正理解人类情绪的机器提供了更清晰的路径。通过远离僵化的、一刀切的模型，并拥抱自适应的、基于证据的选择，该系统模仿了人类大脑本身的灵活性。它并不强迫数据去符合某种预设的情绪概念；相反，它学会了倾听数据，从噪声中提取有意义的信号。尽管在确保这些系统在每种现实场景中都能正常工作方面仍有大量工作要做，但这项研究证明，通过仔细设计我们提取和组织脑电信号的方式，我们可以构建出比以往更加敏感和可靠的工具。未来的道路在于继续完善这些自适应机制，让我们离一个技术能够真正连接我们内心情感生活的未来更近一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。