💻 computer science

Mitigating Feature Entanglement and Imbalance in Driving Style Classification via Physically Isolated Hierarchical Transformers

本文提出了隔离分层 Transformer（Isolated Hierarchical Transformer, IHT），这是一种通过强制执行物理隔离的注意力机制并集成监督对比损失，从而缓解驾驶风格分类中特征纠缠和类别不平衡问题的创新架构，并在真实世界的 CAN 总线数据上实现了最先进的性能。

原作者： Bingheng Wu, Bin Cai, Ruyi Tang, Dafei Huang

发布于 2026-10-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bingheng Wu, Bin Cai, Ruyi Tang, Dafei Huang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

每当汽车行驶时，其内部计算机系统都会生成一段描述车辆运行状态的持续数据流。这些信息源自追踪车速、加速度以及驾驶员踩踏踏板力度的传感器，形成了一份关于驾驶员行为的详细画像。对于构建更智能交通系统的工程师而言，理解这些画像至关重要。这使他们能够设计出针对特定驾驶习惯做出反应的安全功能，制定反映实际风险的保险政策，并培训驾驶员变得更加安全。然而，将这种原始的数字流转化为对驾驶风格的清晰理解却异常困难。数据是杂乱无章的，且模式往往隐藏较深。更重要的是，数据存在严重的偏斜现象：大多数驾驶行为遵循标准且可预测的方式，而那些极其谨慎或极度激进的驾驶者则是极少数。这种稀缺性使得计算机程序难以学习这些稀有风格究竟呈现何种特征，常导致它们忽略了那些最需要识别的驾驶者。

重庆大学与赛力斯汽车股份有限公司（SERES Automobile Co., Ltd.）的一个研究团队开发出一种新方法来解决这些问题，将这一复杂的分类任务转化为一个更可靠的系统。他们首先使用了一个包含超过4,200段真实驾驶片段的数据集，每段数据都由九位经验丰富的专家进行标注，这些专家通过观察数据来判断驾驶员属于正常、激进还是保守型。专家发现，“保守型”群体规模非常小，仅占总数的极小部分，这造成了显著的不平衡。为了理清这一问题，研究人员构建了一个名为“孤立层级Transformer”（Isolated Hierarchical Transformer）的专门计算机模型。该模型并非将每条数据视为单一的扁平数字列表，而是尊重信息的物理特性。它将相关数据进行分组——将速度统计数据与踏板动作及加速度细节分开——以便计算机在组合成完整图景之前，能先理解控制每类运动的不同物理规则。

研究人员还解决了一个在试图修复稀有驾驶风格不平衡时常见的错误。通常，工程师会尝试通过人工创造更多稀有风格的样本，并告诉计算机要格外关注困难样本，以此来辅助学习。该团队发现，同时采取这两种做法实际上会干扰系统，创造出一个混乱的学习环境，使计算机难以在不同的驾驶风格之间划定正确的界限。他们发现，一种更平衡的方法效果要好得多，即在小心添加合成样本的同时，不对困难样本进行过度惩罚。为了进一步稳定学习过程，他们加入了一个几何约束，使相同驾驶风格的样本在计算机内存中紧密聚类，防止人工生成的样本漂移到令人困惑且不可能存在的组合中。

当他们将新系统与现有方法进行对比测试时，结果显而易见。这种新方法能以极高的准确度识别驾驶风格，显著优于目前用于此类数据的顶尖模型。最重要的是，它在识别稀有的保守型驾驶员方面表现得更为出色，与旧方法相比，该类群体的检测率提升了近百分之四十。该系统处理每个驾驶片段仅需4.61毫秒，这一速度足以用于实时应用场景。通过尊重驾驶数据的物理结构并避免过度纠正稀有事件的陷阱，研究人员创造出了一个更稳健的工具来理解道路上的行为，为实现更安全、响应更迅速的智能交通系统开辟了道路。

技术摘要：通过物理隔离的分层 Transformer 缓解驾驶风格分类中的特征纠缠与不平衡问题

问题陈述

基于车载 CAN 总线数据的驾驶风格分类（DSC）对于包括高级驾驶辅助系统（ADAS）和基于使用情况的保险在内的智能交通系统（ITS）至关重要。然而，该领域面临两个阻碍鲁棒泛化能力的根本瓶颈，特别是在专家标注数据有限且类别严重不平衡的约束下：

物理无关的标记化（Physics-Agnostic Tokenization）： 主流的表格深度学习模型（如 FT-Transformer、TabNet）将运动学特征视为独立的标量进行扁平化标记化。这种方法丢弃了物理模态边界（例如，区分速度动力学与踏板操作），迫使网络隐式地重新学习运动学关系。在样本量较小（ $N < 5000$ ）的情况下，这种不受约束的全局注意力存在编码伪跨模态统计相关性而非真实物理依赖关系的风险。
“过度校正”现象（The "Over-Correction" Phenomenon）： 处理类别不平衡的标准做法通常结合了基于边界的数据级过采样（如 ADASYN）与基于算法的边界惩罚损失（如 Focal Loss）。作者指出，这种组合会产生冲突的梯度信号。ADASYN 将合成样本集中在边界重叠区域，而 Focal Loss 则会增加这些噪声样本的梯度权重。这种冗余不仅没有强化决策边界，反而使其碎片化，这种失效模式被称为“过度校正”。

方法论

本文提出了一个统一的框架——隔离分层 Transformer（Isolated Hierarchical Transformer, IHT），并结合特定的不平衡处理策略来解决上述两个瓶颈。

1. 架构：隔离分层 Transformer (IHT)

IHT 实施了一种基于物理基础的两阶段注意力机制，以保持物理语义：

模态感知标记化（Modality-Aware Tokenization）： 与扁平化标记化不同，IHT 为每个特征分配独立的学习映射算子，将异构标量投影为维度对齐且解耦的标记（tokens）。
模态内自注意力（Intra-Modality Self-Attention）： 属于同一物理域（如速度、加速度、踏板操作）的特征仅彼此进行注意力计算。这一阶段旨在纯化局部语义连贯性，防止不同物理概念过早发生纠缠。
模态间交叉注意力（Inter-Modality Cross-Attention）： 仅在独立编码完成后，模型才采用全局交叉注意力来捕捉模态间的复杂交互（例如，踏板输入与加速度之间的导数关系）。
设计哲学： 这种分层结构充当了一个结构化的信息瓶颈，确保模型在尊重运动学先验的同时，保留全局自注意力的表征能力。

2. 不平衡处理策略

为了应对驾驶风格的长尾分布（其中“保守型”和“激进型”类别相对于“正常型”较为稀少），作者提出了一种互补策略而非冗余策略：

采样： 使用 SMOTE（合成少数类过采样技术）在原始特征空间中进行密度恢复。
损失函数： 将 SMOTE 与 类别加权交叉熵（CW-CCE） 配对，而非 Focal Loss，以避免“过度校正”冲突。
几何正则化： 集成了 监督对比损失（Supervised Contrastive Loss, SCL）。SCL 在潜在空间中充当几何正则化器，强制实现类内紧凑性和类间分离。它通过锚定少数类流形，抵御原始特征空间中线性插值引入的噪声，从而有效地防止合成样本导致决策边界碎片化。

3. 数据集与特征工程

研究使用了一个源自 10 Hz CAN 总线信号的专家标注数据集（ $N=4202$ ）。

标注： 九位驾驶专家对 40 秒的信号片段进行了盲评，实现了显著的评分者间信度（Fleess' $\kappa = 0.82$ ）。
特征工程： 通过多尺度流水线提取了 32 个特征：
- 宏观流（Macro Stream）： 13 个全局统计量通过 PCA 降维至 4 个主成分，以防止线性多重共线性。
- 微观流（Micro Stream）： 28 个局部统计量（极差、偏度、峰度）通过滑动窗口提取，以捕捉瞬时动作。
物理分组： 特征被逻辑划分为四个物理模态：宏观 PCA、速度、加速度和踏板操作。

关键结果

实验使用 5 次重复的 10 折分层交叉验证，涵盖了 48 种模型-策略组合。

性能： 完整的框架（IHT + SMOTE + CW-CCE + SCL）实现了 0.8415 ( $\pm 0.0452$ ) 的 Macro F1 分数。
比较优势：
- 优于 FT-Transformer（表格领域 SOTA 模型）1.60% ( $p=0.0415$ )。
- 优于 TabNet 2.65% ( $p=0.0185$ )。
- 优于表现最好的基准 1D-CNN 约 2.0%。
少数类性能： 少数类“保守型”的 F1 分数达到 0.7129，较未优化基准（0.6729）实现了 38% 的相对提升。
消融研究发现：
- 架构： 去除分层隔离机制（使用扁平化 Transformer）会导致性能降至 0.8295，证实了物理语义隔离的必要性。
- 策略： “冗余”组合（ADASYN + Focal Loss）产生的梯度方差更高且性能更低，而“互补”组合（SMOTE + Focal Loss 或 SMOTE + CW-CCE）表现更佳。
- 特征解耦： 与纯基准模型相比，IHT 将特征互信息冗余降低了 52.75%，并实现了 5.658 的类间/类内欧氏距离比，显著高于基准模型（约 2.8）。
效率： 该模型保持了约 4.61 ms/样本 的推理延迟，证明了其在实时应用中的可行性。

意义与主张

论文声称其主要贡献在于将用于智能交通系统（ITS）的表格深度学习范式从通用的、物理无关的架构转向结构化特征解耦。

物理感知的归纳偏置： 作者断言 IHT 架构通过显式建模物理模态边界提供了卓越的归纳偏置。这防止了网络在小规模数据集上过拟合于伪统计相关性，而这是标准 Transformer 应用于表格数据时的常见失效模式。
“过度校正”的量化： 本研究首次对车辆环境下的“过度校正”现象进行了经验性的表征与量化。研究表明，堆叠具有重叠机制（边界合成 + 边界惩罚）的多种硬样本挖掘（HEM）策略是有害的，而互补策略（密度恢复 + 几何正则化）则能产生协同改进。
几何正则化： 引入监督对比损失（SCL）被呈现为一种处理合成噪声的轻量化替代方案，无需复杂的生成模型。它成功稳定了潜在流形，使模型能够在利用过采样优势的同时，不会受困于物理上不可行的合成样本所带来的噪声。

作者总结道，虽然 IHT 架构保障了全局基准性能，但协同不平衡策略对于优化安全关键型的少数类事件（即实现“最后一公里”的优化）是不可或缺的，它在多数类精确度与少数类召回率之间实现了稳健的平衡。