Mitigating Feature Entanglement and Imbalance in Driving Style Classification via Physically Isolated Hierarchical Transformers
تقترح هذه الورقة البحثية نموذج "المحول الهرمي المعزول" (IHT)، وهو بنية مبتكرة تخفف من تشابك الميزات وعدم توازن الفئات في تصنيف أساليب القيادة من خلال فرض آليات انتباه معزولة فيزيائياً ودمج "خسارة التباين الخاضعة للإشراف"، مما يحقق أداءً هو الأفضل في فئته على بيانات ناقل CAN الحقيقية.
المؤلفون الأصليون:Bingheng Wu, Bin Cai, Ruyi Tang, Dafei Huang
في كل مرة تتحرك فيها سيارة، يولد نظام حاسوبها الداخلي تدفقاً مستمراً من البيانات التي تصف بدقة كيفية سلوك المركبة. هذه المعلومات، المتدفقة من أجهزة الاستشعار التي تتبع السرعة والتسارع ومدى قوة ضغط السائق على الدواسات، تشكل ملفاً تفصيلياً للشخص خلف المقود. وبالنسبة للمهندسين الذين يبنون أنظمة نقل أكثر ذكاءً، فإن فهم هذه الملفات يعد أمراً بالغ الأهمية؛ إذ يتيح لهم تصميم ميزات سلامة تتفاعل مع عادات القيادة المحددة، وابتكار سياسات تأمين تعكس المخاطر الفعلية، وتدريب السائقين ليكونوا أكثر أماناً. ومع ذلك، فإن تحويل هذا التدفق الخام من الأرقام إلى فهم واضح لأسلوب القيادة هو أمر صعب بشكل مفاجئ؛ فالبيانات فوضوية، والأنماط غالباً ما تكون خفية. والأهم من ذلك، أن البيانات منحازة بشدة؛ حيث يتصرف معظم السائقين بطريقة معيارية يمكن التنبؤ بها، بينما يندر وجود السائقين الذين يتسمون بالحذر الشديد أو العدوانية الخطيرة. وهذا الندرة تجعل من الصعب على البرامج الحاسوبية تعلم كيف تبدو هذه الأساليب النادرة فعلياً، مما يؤدي غالباً إلى تجاهلها للنماذج التي تحتاج للتعرف عليها أكثر من غيرها.
لقد طور فريق من الباحثين في جامعة تشونغتشينغ وشركة سيريس للسيارات (SERES Automobile Co., Ltd) طريقة جديدة لحل هذه المشكلات، محولين مهمة تصنيف معقدة إلى نظام أكثر موثوقية. لقد بدأوا بمجموعة بيانات تضم أكثر من 4,200 مقطع قيادة من العالم الحقيقي، تم تصنيف كل منها من قبل تسعة خبراء متمرسين شاهدوا البيانات وقرروا ما إذا كان السائق طبيعياً، أو عدوانياً، أو متحفظاً. وقد وجد الخبراء أن مجموعة "المتحفظين" كانت صغيرة جداً، حيث مثلت جزءاً ضئيلاً فقط من الإجمالي، مما خلق خللاً كبيراً في التوازن. ولإدراك هذا الأمر، بنى الباحثون نموذجاً حاسوبياً متخصصاً يسمى "المحول الهرمي المعزول" (Isolated Hierarchical Transformer). وبدلاً من معاملة كل قطعة من البيانات كقائمة مسطحة واحدة من الأرقام، يحترم هذا النموذج الطبيعة الفيزيائية للمعلومات؛ فهو يجمع البيانات ذات الصلة معاً — حيث يبقي إحصائيات السرعة منفصلة عن حركات الدواسات وتفاصيل التسارع — لكي يتمكن الحاسوب من فهم القواعد الفيزيائية المتميزة التي تحكم كل نوع من أنواع الحركة قبل دمجها لتشكيل صورة كاملة.
كما عالج الباحثون خطأً شائعاً يُرتكب عند محاولة إصلاح عدم التوازن في أساليب القيادة النادرة. فغالباً ما يحاول المهندسون مساعدة الحاسوب على التعلم عبر إنشاء المزيد من الأمثلة اصطناعياً للأساليب النادرة، ثم توجيه الحاسوب للاهتمام بشكل إضافي بالأمثلة الصعبة. وقد اكتشف الفريق أن القيام بالأمرين معاً يؤدي في الواقع إلى إرباك النظام، مما يخلق بيئة تعلم فوضوية حيث يكافح الحاسوب لإيجاد الحدود الصحيحة بين أساليب القيادة المختلفة. ووجدوا أن النهج الأكثر توازناً، والذي يضيف الأمثلة الاصطناعية بعناية دون المبالغة في معاقبة الأمثلة الصعبة، كان يعمل بشكل أفضل بكثير. ولزيادة استقرار عملية التعلم، أضافوا قيداً هندسياً يحافظ على تكتل الأمثلة من نفس أسلوب القيادة بإحكام في ذاكرة الحاسوب، مما يمنع الأمثلة الاصطناعية من الانجراف نحو تركيبات مربكة وغير ممكنة.
وعندما اختبروا نظامهم الجديد مقابل الأساليب الحالية، كانت النتائج واضحة. فقد حدد النهج الجديد أساليب القيادة بدرجة عالية من الدقة، متفوقاً بشكل كبير على أفضل النماذج المستخدمة حالياً لهذا النوع من البيانات. والأهم من ذلك، أنه أصبح أفضل بكثير في رصد السائقين المتحفظين النادرين، حيث حسن معدل الكشف لهذه المجموعة بنسبة تقارب الأربعين بالمائة مقارنة بالطرق القديمة. وقد حقق النظام ذلك أثناء معالجة كل مقطع قيادة في غضون 4.61 مللي ثانية فقط، وهي سرعة كافية للاستخدام في التطبيقات في الوقت الفعلي. ومن خلال احترام الهيكل الفيزيائي لبيانات القيادة وتجنب عثرات التصحيح المفرط للأحداث النادرة، نجح الباحثون في ابتكار أداة أكثر قوة لفهم السلوك البشري على الطريق، مما يفتح مساراً نحو أنظمة نقل ذكية أكثر أماناً واستجابة.
ملخص تقني: التخفيف من تشابك الميزات وعدم التوازن في تصنيف أسلوب القيادة عبر المحولات الهرمية المعزولة فيزيائياً
بيان المشكلة
يعد تصنيف أسلوب القيادة (DSC) من بيانات ناقل CAN في المركبات أمراً حيوياً لأنظمة النقل الذكية (ITS)، بما في ذلك أنظمة مساعدة السائق المتقدمة (ADAS) والتأمين القائم على الاستخدام. ومع ذلك، تواجه هذه المجالات عقبتين أساسيتين تعيقان التعميم القوي، لا سيما في ظل قيود البيانات المحدودة ذات التسميات التوضيحية من الخبراء وعدم التوازن الشديد بين الفئات:
الترميز غير المدرك للفيزياء: تتعامل نماذج التعلم العميق للبيانات الجدولية المهيمنة (مثل FT-Transformer وTabNet) مع الميزات الكينماتيكية كقيم عددية مستقلة عبر ترميز مسطح. هذا النهج يتجاهل حدود الأنماط الفيزيائية (على سبيل المثال، التمييز بين ديناميكيات السرعة وعمليات الدواسات)، مما يجبر الشبكة على إعادة تعلم العلاقات الكينماتيكية ضمنياً. وفي ظل أحجام العينات المحدودة (N<5000)، فإن آلية الانتباه العالمي غير المقيدة هذه تخاطر بتشفير ارتباطات إحصائية عابرة للأنماط بدلاً من الاعتماد على التبعيات الفيزيائية الحقيقية.
ظاهرة "التصحيح الزائد": حدد المؤلفون أن الممارسات القياسية للتعامل مع عدم توازن الفئات، والتي غالباً ما تجمع بين زيادة العينات المرتكزة على الحدود على مستوى البيانات (مثل ADASYN) وبين الخسائر المرتكزة على معاقبة الحدود على مستوى الخوارزمية (مثل Focal Loss)، تخلق إشارات تدرج متضاربة. حيث يركز ADASYN العينات الاصطناعية في المناطق المتداخلة عند الحدود، بينما يقوم Focal Loss بزيادة وزن التدرجات من تلك العينات المشوشة نفسها. هذا التكرار يؤدي إلى تفتيت حدود قرار الفئة الأقلية بدلاً من تعزيزها، وهو نمط فشل أطلق عليه المؤلفون اسم "التصحيح الزائد".
المنهجية
يقترح البحث إطار عمل موحداً، وهو المحول الهرمي المعزول (IHT)، مدمجاً مع استراتيجيات محددة لمعالجة عدم التوازن لمعالجة كلتا العقبتين.
1. البنية: المحول الهرمي المعزول (IHT)
يفرض نظام IHT آلية انتباه ثنائية المراحل قائمة على الفيزياء للحفاظ على الدلالات الفيزيائية:
الترميز المدرك للنمط: على عكس الترميز المسطح، يخصص IHT مؤثرات رسم خرائط قابلة للتعلم لكل ميزة، مما يسقط القيم العددية المتباينة في رموز منفصلة ومتوافقة أبعادياً.
الانتباه الذاتي داخل النمط الواحد: تتفاعل الميزات التي تنتمي إلى نفس المجال الفيزيائي (مثل السرعة، التسارع، عمليات الدواسات) مع بعضها البعض فقط. تعمل هذه المرحلة على تنقية التماسك الدلالي المحلي ومنع التشابك المبكر للمفاهيم الفيزيائية المتباينة.
الانتباه المتقاطع بين الأنماط: بعد عملية الترميز المستقلة، يستخدم النموذج انتباهاً تقاطعياً عالمياً لالتقاط التفاعلات المعقدة بين الأنماط (مثل العلاقة الاشتقاقية بين مدخلات الدواسة والتسارع).
فلسفة التصميم: تعمل هذه البنية الهرمية كعنق زجاجة للمعلومات المنظمة، مما يضمن احترام النموذج للمقدمات الكينماتيكية مع الاحتفاظ بالقدرة التمثيلية للانتباه الذاتي العالمي.
2. استراتيجية التعامل مع عدم التوازن
لمعالجة التوزيع طويل الذيل لأساليب القيادة (حيث تعتبر فئتا "المحافظ" و"العدواني" نادرة مقارنة بفئة "الطبيعي")، اقترح المؤلفون استراتيجية تكميلية بدلاً من استراتيجية تكرارية:
أخذ العينات: استخدام تقنية SMOTE (تقنية الإفراط في أخذ العينات للأقلية الاصطناعية) لاستعادة الكثافة في فضاء الميزات الخام.
دالة الخسارة: الجمع بين SMOTE والتقاطع المتداخل الموزون للفئات (CW-CCE) بدلاً من Focal Loss لتجنب صراع "التصحيح الزائد".
التنظيم الهندسي: دمج خسارة التباين الخاضعة للإشراف (SCL). تعمل SCL كمنظم هندسي في الفضاء الكامن، مما يفرض تماسكاً داخل الفئة الواحدة وفصلاً بين الفئات. وهي تعمل على تثبيت مجمعات (manifolds) الفئات الأقلية ضد الضجيج الناتج عن الاستيفاء الخطي في الميزات الخام، مما يمنع العينات الاصطناعية من تفتيت حدود القرار بشكل فعال.
3. مجموعة البيانات وهندسة الميزات
تستخدم الدراسة مجموعة بيانات تم ترميزها من قبل خبراء (N=4202) مستخرجة من إشارات ناقل CAN بتردد 10 هرتز.
التوسيم: قام تسعة خبراء في القيادة بإجراء تقييمات عمياء لمقاطع إشارية مدتها 40 ثانية، محققين موثوقية عالية بين المقيمين (Fleiss' κ=0.82).
هندسة الميزات: تستخرج خط معالجة متعدد المقاييس 32 ميزة:
المسار الكلي (Macro Stream): 13 إحصائية عالمية تم تقليلها عبر تحليل المكونات الرئيسية (PCA) إلى 4 مكونات لمنع تعدد الخطية الخطي.
التجميع الفيزيائي: تم تقسيم الميزات منطقياً إلى أربعة أنماط فيزيائية: PCA الكلي، السرعة، التسارع، وعمليات الدواسات.
النتائج الرئيسية
أجريت التجارب باستخدام التحقق المتقاطع الطبقي المكون من 10 طيات مع 5 تكرارات على 48 مزيجاً من النماذج والاستراتيجيات.
الأداء: حقق الإطار الكامل (IHT + SMOTE + CW-CCE + SCL) درجة F1 كليّة (Macro F1-score) بلغت 0.8415 (±0.0452).
الميزة النسبية:
تفوق على FT-Transformer (أفضل نموذج جدولي حالي) بنسبة 1.60% (p=0.0415).
تفوق على TabNet بنسبة 2.65% (p=0.0185).
تفوق على أفضل نموذج أساسي 1D-CNN بنحو 2.0%.
أداء الفئة الأقلية: وصلت درجة F1 للفئة الأقلية "المحافظ" إلى 0.7129، وهو تحسن نسبي بنسبة 38% عن خط الأساس غير المحسن (0.6729).
نتائج دراسة الاستئصال (Ablation):
البنية: أدى إزالة العزل الهرمي (باستخدام محول مسطح) إلى انخفاض الأداء إلى 0.8295، مما يؤكد ضرورة العزل الدلالي الفيزيائي.
الاستراتيجية: أدى الجمع "المكرر" بين ADASYN وFocal Loss إلى أداء أقل وتباين أعلى في التدرج مقارنة بالجمع "التكميلي" بين SMOTE وFocal Loss أو SMOTE وCW-CCE.
فك تشابك الميزات: قلل IHT من تكرار المعلومات المتبادلة للميزات بنسبة 52.75% مقارنة بالنماذج الأساسية النقية، وحقق نسبة مسافة إقليدية بين الفئات والداخلية قدرها 5.658، وهي أعلى بكثير من النماذج الأساسية (~2.8).
الكفاءة: يحافظ النموذج على زمن انتقال للاستدلال يبلغ حوالي 4.61 مللي ثانية لكل عينة، مما يثبت قابليته للتطبيق في التطبيقات الآنية.
الأهمية والادعاءات
يدعي البحث أن مساهمته الرئيسية تكمن في نقل النموذج المعرفي للتعلم العمما الجدولي في أنظمة النقل الذكية من البنى العامة غير المدركة للفيزياء إلى فك التشابك الهيكلي للميزات.
التحيز الاستقرائي المدرك للفيزياء: يؤكد المؤلفون أن بنية IHT توفر تحيزاً استقرائياً متفوقاً من خلال نمذجة حدود الأنماط الفيزيائية صراحةً. وهذا يمنع الشبكة من الإفراط في التكيف مع الارتباطات الإحصائية الزائفة في مجموعات البيانات الصغيرة، وهو نمط فشل شائع في المحولات القياسية المطبقة على البيانات الجدولية.
تكميم "التصحيح الزائد": تقدم الدراسة أول توصيف وتكميم تجريبي لظاهرة "التصحيح الزائد" في سياقات المركبات. وتثبت أن دمج استراتيجيات متعددة لتنقيب الأمثلة الصعبة (HEM) ذات آليات متداخلة (تخليق الحدود + عقوبة الحدود) هو أمر ضار، بينما تؤدي الاستراتيجيات التكميلية (استعادة الكثافة + التنظيم الهندسي) إلى تحسينات تآزرية.
التنظيم الهندسي: يتم تقديم دمج خسارة التباين الخاضعة للإشراف (SCL) كبديل خفيف الحساب للنماذج التوليدية المعقدة للتعامل مع الضجيج الاصطناعي. وقد نجحت في تثبيت المخطط (manifold) الكامن، مما سمح للنموذج بالاستفيد من فوائد زيادة العينات دون الوقوع في فخ الضجيج الناتج عن العينات الاصطناعية غير المتوافقة فيزيائياً.
يخلص المؤلفون إلى أنه بينما تضمن بنية IHT أداء الخط الأساسي العالمي، فإن استراتيجية عدم التوازن التآزرية لا غنى عنها للوصول إلى "الميل الأخير" لتحسين الأحداث الأقل شيوعاً والحساسة للسلامة، مما يحقق توازناً قوياً بين دقة الفئة الأكثرية واستدعاء الفئة الأقلية.