iPhoneme: Brain-to-Text Communication for ALS Using ConformerXL Decoding

1. 研究背景与问题定义 (Problem)

• 目标人群与需求：全球约有 17.3 万至 23.25 万 ALS 患者因构音障碍无法通过自然语言交流。尽管认知功能完好，但运动神经元退化导致他们失去说话能力。
• 现有挑战：
  1. 解码精度不足：现有的语音 BCI 系统（如基于 ECoG 的系统）在单词或音素层面的准确率仍有提升空间。即使是最先进的系统（如 Card et al., 2025），音素准确率约为 89%，这意味着每 10 个音素就有 1 个错误，累积导致单词级错误频繁，破坏交流流畅性。
  2. 交互界面缺陷：目前低成本的替代方案（如眼动追踪键盘）存在“米达斯触碰”问题（Midas touch problem），即眼睛作为感知器官和指向设备的双重角色导致误触。现有的解决方案通常依赖“停留时间”（dwell-time，通常 500-1000ms）来确认选择，这严重限制了通信速度（仅 5-10 词/分钟）并增加用户疲劳。
  3. 数据与泛化：现有研究样本量极小（全球仅 22-31 例植入者），且神经信号具有非平稳性（随时间漂移），导致模型难以泛化。

2. 方法论 (Methodology)

该系统名为 iPhoneme，由两个核心部分组成：基于改进 Conformer 架构的高精度解码器，以及一种创新的“和弦式”（chorded）多模态交互界面。

A. 数据与预处理 (T15 Dataset)

• 数据集：使用 Card et al. (2025) 发布的 T15 数据集，包含 1 名参与者在 45 个会话中收集的 256 通道颅内脑电图（iEEG）。
• 特征工程：
  • 输入特征：512 维向量，包含 4 个语言运动皮层区域（6v, M1, 55b）的两种信号：阈值穿越（Threshold crossings，离散放电事件）和 尖峰带功率（Spike-band power，300-1000Hz 连续信号）。
  • 预处理流程：
    1. 带通滤波：0.3-300 Hz，去除直流漂移和高频噪声。
    2. 共平均参考 (CAR)：去除电极间的共模噪声。
    3. 时间分箱：从 30kHz 下采样至 50Hz（20ms 窗口），压缩 600 倍。
    4. Z-score 归一化：针对每个会话和通道进行标准化，以应对电极阻抗随时间的漂移。

B. 模型架构：ConformerXL

这是一个包含 1.929 亿参数的声学模型，专为 iEEG 信号设计，主要改进包括：

1. 时序预网络 (Temporal Prenet)：
   • 引入多尺度空洞卷积（Dilated Convolutions, d=1 和 d=2）捕捉不同时间尺度的神经特征（快速尖峰事件 vs 持续发音姿态）。
   • 结合双向 GRU (BiGRU) 进行神经时序抖动校正（Jitter Correction），解决神经信号在不同试验间 10-50ms 的延迟变化问题。
2. 8 倍时序下采样：
   • 使用 3 层步长为 2 的 Conv1D 层配合 GELU 激活函数，将输入序列压缩 8 倍。
   • 目的：优化 CTC（Connectionist Temporal Classification）训练，使输入帧数与目标音素序列长度比例更合理（从 7-15:1 降至 2-4:1），提高训练稳定性。
3. Conformer 编码器：
   • 包含 12 个 Conformer 块，采用 Pre-RMSNorm（替代 LayerNorm）以解决训练过程中的数值不稳定问题。
   • 结构：FFN -> MHSA -> Conv -> FFN（Macaron 风格），其中 FFN 使用 0.5 的残差权重。
4. 解码流水线：
   • CTC 损失：用于对齐未知的神经活动与音素序列。
   • 语言模型 (LM)：基于 3.1M 序列训练的 6-gram 音素语言模型（数据来自 CMU 词典、LibriSpeech 和 T15 数据），采用 Kneser-Ney 平滑和递归回退机制。
   • WFST 束搜索 (Beam Search)：使用加权有限状态转换器（WFST）进行全局搜索，束宽（Beam size）为 128，结合声学模型和语言模型得分，显著提升解码准确率。

C. 交互界面：iPhoneme (Chorded Input)

• 核心理念：将“指向”（Pointing）与“选择”（Selection）分离。
  • 指向：由眼动追踪完成。
  • 选择：由 iEEG 检测到的无声语音音素（Silent Speech Phoneme）作为确认信号。
• 解决米达斯触碰：用户必须同时执行“注视目标”和“默念特定触发音素”才能触发选择。单纯的注视不会触发操作，从而消除了误触，且无需停留时间延迟。
• 触发音素选择：通过平衡检测精度（Precision/Recall）和自然语言频率（Frequency）来筛选触发音素。最佳候选包括 DH, HH, Y, W, TH 等稀有且易区分的音素。
• 扩展交互：支持“注视 - 音素滑动”（Gaze-phoneme swipe）进行页面滚动，以及“注视 - 音素拖拽”（Text drag）进行文本选择。

3. 关键贡献 (Key Contributions)

1. ConformerXL 架构创新：首次将 Conformer 架构深度适配于 iEEG 信号，提出了包含多尺度卷积、BiGRU 时序校正和 Pre-RMSNorm 的专用预网络和编码器，解决了神经信号的非平稳性和多尺度特性。
2. WFST 音素级解码：在 BCI 领域首次将 WFST 束搜索与 6-gram 音素语言模型结合，利用音素层面的音位学约束（Phonotactic constraints）显著提升了从神经信号到文本的解码准确率。
3. 多模态和弦交互范式：提出了“iPhoneme"界面，利用 BCI 本身的音素检测能力作为眼动交互的确认通道，彻底解决了眼动追踪中的米达斯触碰问题，同时消除了停留时间的延迟，大幅提升了交互带宽。
4. 性能突破：在 T15 数据集上实现了 92.14% 的音素准确率（PER 7.86%）和 73.39% 的单词准确率（WER 26.61%），比之前的最先进方法（SOTA）提高了约 3%。

4. 实验结果 (Results)

• 解码性能：
  • 贪婪解码 (Greedy)：89.38% 准确率，45ms 延迟。
  • + 6-gram LM：90.02% 准确率，65ms 延迟。
  • + WFST Beam Search (K=128)：92.14% 准确率，180ms 延迟。
  • 相比 Card et al. (2025) 的 89% 准确率，提升了约 3 个百分点。
• 错误分析：错误主要集中在替代错误（Substitutions, 5.2%），而非删除或插入，表明模型能正确识别音素数量，但在相似发音的音素（如 CH/JH, EY/EH）上存在混淆。
• 延迟与部署：系统可在 CPU 上运行，端到端延迟为 180ms，证明了实时通信的可行性。
• 触发音素选择：通过优化算法选出的触发音素（如 DH, HH）在验证集上具有 >94% 的精度且自然频率极低，有效平衡了误报率和漏报率。

5. 意义与未来展望 (Significance & Future Work)

• 临床意义：该系统为 ALS 患者提供了一种高准确率、低延迟且无需停留时间的交流方式，有望将通信速度从眼动追踪的 5-10 词/分钟提升至更高水平，显著改善患者生活质量。
• 技术启示：
  • 证明了针对音频设计的 ASR 架构（如 Conformer）经过针对性修改（预网络、下采样、归一化）后，可直接迁移至神经信号解码领域。
  • 展示了多模态交互（眼动 + 脑电）在解决单一模态固有缺陷（如米达斯触碰）方面的巨大潜力。
• 局限与未来方向：
  • 数据量限制：目前仅基于单一名患者（T15）的数据，未来需探索跨受试者泛化和持续学习（Continual Learning）以应对神经信号漂移。
  • 延迟优化：BiGRU 的双向处理引入了延迟，未来可探索单向模型或滑动窗口策略。
  • 交互扩展：未来可探索除眼动以外的其他输入模态（如舌部运动），实现完全无手、无眼的交互。

综上所述，iPhoneme 系统通过深度学习架构的改进和多模态交互设计的创新，在脑机接口语音解码领域取得了显著突破，为 ALS 患者实现高效、自然的交流提供了切实可行的技术路径。