Topology-Constrained Attention Networks: A Topology-Derived Robustness Margin for High-Frequency Cyber-Physical Systems

بناءً على المخطوطة المقدمة، إليك ملخص تقني مفصل للعمل.

بيان المشكلة

تعتمد الأنظمة السيبرانية الفيزيائية (CPS) عالية التردد، مثل تلك المستخدمة في الحرب الإلكترونية (تشويش رادار DRFM) وإدراك المركبات ذاتية القيادة (خداع ليدار/LiDAR spoofing)، على نماذج التسلسل مثل المحولات (Transformers) ونماذج حالة الفضاء (SSMs) لتصنيف السلاسل الزمنية. وبينما تحقق هذه النماذج أداءً تنبؤياً قوياً، فإن حدود القرار الخاصة بها تُتعلم أساساً من أنماط السعة الإحصائية. وهذا يجعلها عرضة لهجمات عدائية تعتمد على التدرج (gradient-based attacks) يمكنها حقن بيانات استشعار اصطناعية لإجبار النموذج على التصنيف الخاطئ مع البقاء ضمن نطاق توزيع البيانات الأصيلة.

لقد اعتمدت الدفاعات الحالية القائمة على تحليل البيانات الطوبولوجية (TDA) تاريخياً على التكلفة الحسابية للهومولوجيا المستمرة (persistent homology) لردع المهاجمين. ومع ذلك، مع ظهور طبقات الطوبولوجيا القابلة للتفاضل (differentiable topology layers)، لم يعد هذا الافتراض قائماً، حيث يمكن للمهاجمين ذوي الصندوق الأبيض (white-box attackers) الآن التحسين عبر التمثيلات الطوبولوجية. وبناءً على ذلك، هناك حاجة إلى دفاع يوفر هامش متانة كمي—وتحديداً، حداً أدنى لميزانية الاضطراب التي يجب أن ينفقها مهاجم متكيف ومدرك للطوبولوجيا لتزييف كل من الإشارات الإحصائية والطوبولوجية في آن واحد.

المنهجية

تقترح الورقة شبكات الانتباه المقيدة طوبولوجياً (TCAN)، وهي بنية مصممة لدمج الإشارات الطوبولوجية مباشرة في آلية الانتباه لنماذج التسلسل.

1. استخراج الميزات الطوبولوجية:

• تضمين فضاء الطور (Phase-Space Embedding): يتم إعادة بناء نوافذ السلاسل الزمنية أحادية المتغير للأنظمة السيبرانية الفيزيائية إلى سحب نقاط في فضاء الطور باستخدام تضمين تاكنز للتأخير الزمني (Takens' time-delay embedding).
• الهومولوجيا المستمرة (Persistent Homology): يتم تطبيق ترشيح فيتوريس-ريبس (Vietoris–Rips filtration) على سحب النقاط هذه لحساب مخططات الاستمرار، مما يلتقط هياكل الاتصال متعددة المقاييس (مثل المكونات المتصلة، والدوائر/Loops).
• التمثيل القابل للتفاضل: يتم تحويل مخططات الاستمرار إلى مناظر طبيعية مستمرة (persistence landscapes - $\lambda$)، والتي تقع في فضاء متجه وتتميز بكونها 1-Lipschitz بالنسبة لمسافة عنق الزجاجة (bottleneck distance)، مما يسمح بالتحسين القائم على التدرج.

2. الانتباه المقيد طوبولوجياً (Topology-Gated Attention):
تعدل TCAN آلية الانتباه الذاتي القياسية (scaled dot-product self-attention) من خلال إدخال بوابة طوبولوجية ضربية:

• النواة الطوبولوجية ($\Pi$): يتم حساب مصفوفة نواة حيث يمثل كل مدخل $\Pi_{i,j}$ التشابه بين المناظر الطبيعية المستمرة لنوافذ زمنية مختلفة. ويتم حساب ذلك كدالة أسية للمسافة $L_2$ بين المناظر الطبيعية، تحت تحكم معامل درجة حرارة قابل للتعلم $\tau_{topo}$.
• آلية البوابة (Gating Mechanism): يتم ضرب مصفوفة تشابه الاستعلام-المفتاح القياسية ($QK^\top$) ضرباً عنصرِيّاً (Hadamic product) مع $\Pi$ قبل عملية الـ softmax.
  • إذا تشاركت نافذتان في بنية طوبولوجية متسقة (على سبيل المثال، حركة فيزيائية مستقرة)، فإن $\Pi_{i,j} \to 1$.
  • إذا تم اكتشاف انقطاع هيكلي (على سبيل المثال، أثر تزييف/spoofing artifact)، فإن $\Pi_{i,j} \to 0$، مما يؤدي فعلياً إلى كبح الانتباه لتلك النافذة بغض النظر عن تشابهها الإحصائي.
• المنطق: يجادل المؤلف بأن البوابة الضربية تتفوق على الدمج الجمعي أو الربط (concatenation) لأنها تستطيع دفع أوزان الانتباه إلى الصفر، مما يمنع درجة التشابه الإحصائي العالية من تجاوز الانقطاع الطوبولوجي.

3. الإطار النظري:
تشتق الورقة هامش متانة مشتق من الطوبولوجيا بناءً على افتراضين صريحين:

• الافتراض 1 (نطاق المستشعر المحدود): مجال المدخلات مدمج (محدد فيزيائياً بحدود المستشعرات)، وهو أمر ضروري ليكون الانتباه الذاتي مستمراً من نوع Lipschitz.
• الافتراض 2 (المصنف من نوع Lipschitz): الخريطة المركبة من المناظر الطبيعية المستمرة إلى لوجيتات التصنيف (class logits) هي $L$-Lipschitz.
• النظرية 1: تحت هذه الافتراضات، يتم تحديد الحد الأدنى لمعيار الاضطراب $\|\delta\|_\infty$ المطلوب لقلب التنبؤ بـ $\frac{\Delta y}{2L}$، حيث $\Delta y$ هو هامش التصنيف. هذا الحد مشروط بثابت Lipschitz $L$ واستقرار خريطة المناظر الطبيعية.

المساهمات الرئيسية

تحدد المخطوطة صراحةً ثلاث مساهمات رئيسية:

1. بنية TCAN: آلية انتباه جديدة حيث تقوم نواة طوبولوجية قابلة للتفاضل، مشتقة من المناظر الطبيعية المستمرة، بضبط مصفوفة تشابه الاستعلام-المفتاح ضربياً.
2. هامش متانة مشتق من الطوبولوجيا: حد أدنى نظري للاضطراب الذي يجب أن يضخه مهاجم متكيف لتغيير التنبؤ. يوضح المؤلف أن هذا حد مشروط يعتمد على ثابت Lipschitz يمكن تقديره، وليس ضماناً معمارياً غير مثبت.
3. بروتوكول تجريبي مسجل مسبقاً: مواصفات تفصيلية لاختبار النظرية على تشويش رادار DRFM وخداع ليدار، بما في ذلك نموذج تهديد متكيف يعمل على تحسين خسارة التصنيف والتشويه الطوبولوجي معاً.

النتائج والحالة التجريبية

من المهم ملاحظة أن هذه المخطوطة لا تعرض تجارب منفذة أو نتائج تجريبية.

• تعرض الورقة الإطار الرياضي، والبنية، والتصميم التجريبي، لكنها تنص صراحة على أنه لم يتم إجراء أي تجارب بعد.
• جميع الادعاءات الكمية المتعلقة بتفوق TCAN على النماذج المرجعية (مثل Transformers و Mamba و PersLay) هي حالياً فرضيات سيتم اختبارها.
• يركز قسم "النتائج" على الاشتقاق النظري لهامش المتانة وتحديد مقاييس التقييم (مثل الحد الأدنى للاضطراب التجريبي، وثابت Lipschitz المقدر، والتكلفة الحسابية) التي سيتم قياسها في العمل المستقبلي.

الأهمية والقيود

الأهمية:
تضع الورقة TCAN كخطوة نحو المتانة "الموثقة" للأنظمة السيبرانية الفيزيائية عالية التردد من خلال تجاوز الادعاءات النوعية بأن الطوبولوجيا "صعبة التزييف". بدلاً من ذلك، تقترح إطاراً كمياً حيث تكون تكلفة الهجوم محددة بوضوح من خلال الاستقرار الطوبولوجي للإشارة. وهي تميز نفسها عن أعمال الانتباه الطوبولوجي السابقة (مثل Zeng et al.) من خلال التركيز على المتانة العدائية بدلاً من دقة التنبؤ، ومن خلال استخدام البوابة الضربيّة بدلاً من تعزيز الميزات الجمعي.

القيود (كما ذكرها المؤلف):

• ثابت Lipschitz غير مثبت: الهامش المتين مشروط بالافتراض 2. لم تشتق الورقة بعد حداً أعلى تحليلياً لـ $L$ لنموذج TCAN، ولم تثبت أيضاً أن $L_{TCAN} < L_{vanilla}$.
• لا يوجد تحقق تجريبي: لم يتم تنفيذ البروتوكول الوارد في القسم 4؛ وبالتالي، فإن إحكام الحد ومدى المتانة الفعلية ضد المهاجمين المتكيفين لا يزال غير مؤكد.
• مخاطر الجدة (Novelty Risks): يقر المؤلف بأن الجمع بين الهومولوجيا المستمرة والانتباه ليس أمراً جديداً؛ وتكمن الجدة تحديداً في آلية البوابة الضربية ونموذج التهديد العدائي، وهو ما يجب إثباته تجريبياً.
• التكلفة الحسابية: تتطلب الطريقة حساب الهومولوجيا المستمرة لكل نافذة، مما يضيف عبئاً حسابياً كبيراً مقارنة بالانتباه التقليدي. تشير الورقة إلى أن مدى جدوى هذه التكلفة للنشر على الأجهزة الطرفية (edge deployment) في الوقت الفعلي لا يزال غير معروف حالياً.

باختصار، تقدم هذه الورقة مقترحاً نظرياً ومخططاً تجريبياً لشبكة الانتباه المقيدة طوبولوجياً. وهي تجادل بأن دمج الاستقرار الطوبولوجي في آلية الانتباه يوفر مساراً واعداً للدفاع المتين للأنظمة السيبرانية الفيزيائية، لكنها تؤجل صراحةً التحقق من هذه الادعاءات إلى دراسة تجريبية مكتملة في المستقبل.