Multimodal Audiovisual Learning via Gated Spiking Cross-Attention
本文提出了 GSCANet，这是一个具有门控脉冲交叉注意力模块的多模态视听学习框架，该模块通过显式地调节信息流，证明了利用联合查询-值驱动信号对注意力输出进行门控处理，能显著提升该模型在情感识别数据集上相对于基准模型的性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
计算机在视觉和听觉方面已经变得非常出色，但它们往往难以像人类那样同时处理这两者。当一个人看电影时，大脑并不仅仅是将图像和声音作为独立的流进行处理；它将它们编织在一起，利用声音的语调来理解面部表情，或者利用风暴的景象来理解雷声的轰鸣。为了模仿这种效率，科学家们正转向一种受人类大脑启发的计算机模型，即脉冲神经网络。与不断进行数值计算的传统计算机不同，这些模型运作起来就像大脑中的神经元：它们在特定信号到达之前保持静默，一旦信号到达，就会发出一个短暂的电脉冲。这种“事件驱动”的方法具有极高的能效，为构建无需消耗大量电力的感知世界的机器提供了一条充满希望的路径。然而，尽管研究人员已成功教会这些类脑模型识别单一类型的数据，但教它们如何融合音频和视觉信息仍然是一个挑战。难点在于，如何确定在任何给定时刻，应该给予声音和图像多少权重，以及如何让一种感官影响另一种感官而不引起混乱。
河南大学的一个研究小组通过设计一种充当复杂信息交通控制器的系统解决了这一问题。他们创建了一个名为 GSCANet 的框架，该框架允许计算机同时处理声音和视频，并决定这两个流之间应如何进行交流。其创新的核心是一种被称为“门控脉冲交叉注意力”（gated spiking cross-attention）的机制。想象一下，计算机的注意力就像从一个通道流向另一个通道的水流；研究人员添加了一个可以根据当前所见所闻来开启或关闭的阀门。这个阀门并不只是让所有信息通过或完全阻断；相反，它会根据特定时刻的需求来微调流量。如果计算机试图理解一声尖叫，阀门可能会让更多的视觉信息通过，以便看清说话者的脸；如果它在听一首歌，它可能会调整以优先考虑节奏。通过将这个阀门放置在计算机处理流水线的不同位置，团队发现，阀门的位置与用于开启它的信号一样重要。
研究人员在四组不同的数据集上测试了他们的系统，范围从表现愤怒或喜悦等情绪的演员片段到配有图像的城市声音录音。他们测试了六个不同的“阀门”位置，测试它是最好在处理过程的早期起作用，是在过滤原始数据时起作用，还是在计算机做出决策前的最后一步调整结果时起作用。他们还实验了阀门使用什么信息来做出决策：是应该只关注计算机正在寻找的目标，还是关注它正在接收的信息，亦或是两者的结合。结果清晰且具体。当阀门被放置在信息混合过程的最后阶段，即计算机发出最终决策脉冲之前时，系统的表现最好。此外，当阀门由组合信号驱动，即利用计算机当前的疑问和它刚刚接收到的信息共同决定允许通过多少信息时，效果最为显著。在情绪识别数据集上，这种特定的配置比没有任何阀门的系统，其准确率提高了两个百分点以上，这在该领域是一个显著的提升。
研究还表明，这种方法并非适用于所有情况的万能方案。当研究人员在声音和图像在时间上并非完美同步、而仅仅是类别匹配的数据集上测试该系统时，阀门带来的益处要小得多。在这些情况下，系统的表现有时就像阀门卡在一个固定位置一样，这表明动态调节在计算机需要处理复杂的、具有时间敏感性的交互（如人说话）时才最具价值。团队发现，当其中一个传感器失效（例如音频中断）时，他们的方法并不能自动提高系统的鲁力性；在某些情况下，性能反而略有下降。这表明，该系统旨在优化正在工作的传感器的融合，而非从损坏的传感器中恢复。通过精确绘制出这些控制机制在何处以及如何发挥作用，研究人员为构建能够通过视觉和听觉真正理解世界的、高效的类脑机器提供了更清晰的蓝图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。