BrainBench: Benchmarking Large Language Models for Comprehensive EEG Understanding
本文介绍了 BrainBench，这是一个综合性的基准测试，旨在通过在不同数据集和执行范式中整合信号处理、定量证据和科学解释，来评估大语言模型执行指令驱动的脑电图（EEG）分析的能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你的大脑是一座繁忙的城市，不断地发出微小的电信号来维持一切运转。有时，这些信息就像一阵微风，平缓而安静；有时，它们又像是一场混乱的交通堵塞。为了了解这座城市内部正在发生什么，科学家们使用了一种特殊的工具，叫做脑电图（EEG）。你可以把 EEG 想象成放置在你头皮上的一支超灵敏的麦克风，它每秒钟记录下大脑数千次的电信号“喋喋不休”。几十年来，科学家一直利用这些数据来回答简单的问题，比如“这个人是在睡觉吗？”或者“他们是在看一张开心的图片吗？”这就像是要求一名保安仅仅根据一段监控画面就大喊“有入侵者！”或“一切正常！”。
但现实生活比简单的喊叫要复杂得多。医生或研究人员不仅仅想要一个标签；他们想要一个完整的故事。他们想知道大脑为什么会那样运作，大脑的不同部分是如何相互交流的，以及这些数据对一个人的健康或精神状态究竟意味着什么。这正是人工智能，特别是大语言模型（LLMs）发挥作用的地方。你知道 LLM 是那些可以写故事、解数学题并回答你问题的聪明聊天机器人。科学家们正在提出的重大问题是：这些聊天机器人能否做得比仅仅猜测一个标签更多？它们能否真正理解大脑那些杂乱、复杂的电信号，像人类专家一样进行推理，并写出一份有意义的科学报告？
这正是新论文 BrainBench 试图探究的内容。研究人员意识到，虽然我们有很多测试方法可以观察 AI 是否能猜出睡眠阶段或情绪，但我们缺乏一种好的方法来测试 AI 是否能处理整个脑电分析的工作。因此，他们构建了一个巨大的、综合性的游乐场，叫做 BrainBench。把它想象成一个庞大的、多层级的 AI 障碍赛跑场。他们不再只是要求 AI “猜出答案”，而是给它一段真实的脑电记录和一段自然语言指令，例如：“分析这个人的睡眠情况，并告诉我他是否有呼吸问题，”或者“比较这两个人的脑电活动，并解释谁更疲劳。”
AI 必须完成繁重的体力活：它必须读取原始数据、处理信号、运行计算，然后写出一份具有科学依据的报告。为了测试它们的表现，研究人员测试了 13 种不同的顶级 AI 模型。他们给了这些模型两种不同的工作方式：一种是 AI 必须从头开始编写并运行自己的计算机代码（就像一名独立的程序员）；另一种是 AI 使用一个由专业工具组成的结构化团队来完成任务（就像一名指挥团队的项项目经理）。
结果非常引人入胜，也让人感到有些谦逊。论文发现，虽然这些 AI 模型在脑电分析方面已经变得相当出色，但它们还并不完美。它们可以很好地处理简单的任务，但当工作变得复杂——需要他们在较长时间内连接许多不同的证据片段时——它们就会开始踉跄。研究还发现，AI 的工作方式非常重要。使用结构化“工具团队”方式（称为 BrainAgent）的模型通常比那些必须从头编写代码的模型更可靠、更一致，尤其是在处理困难任务时。然而，即使是最优秀的模型也没有得到满分；最高水平的表现仍然留下了很大的提升空间。
简而言之，BrainBench 向我们展示了，虽然 AI 正成为理解大脑的强大伙伴，但它目前还不是我们所期望的那种完全独立的专家。它表明，为了充分利用这些模型，我们需要给它们结构和清晰的工作流，而不是任由它们自由漫步。这篇论文提供了一种新的、严谨的衡量标准，以确保随着 AI 变得越来越聪明，我们可以信任其脑电分析结果能像人类专家的分析一样准确且可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。