⚡ electrical engineering

RadarFuseNet: Complex-Valued Cross-Attention Fusion of Time-Frequency IQ Radar Features for Robust Classification

تقترح هذه الورقة البحثية RadarFuseNet، وهي شبكة دمج ذات انتباه متبادل ثنائي الاتجاه تدمج ميزات الرادار (IQ) للزمن والتردد ذات القيم المركبة لتحقيق أداء رائد في تصنيف المواد والأجسام المحجوبة، مما يظهر تعميماً قوياً عبر مسافات الاستشعار المتفاوتة.

المؤلفون الأصليون: Stefan Hägele, Adam Misik, Eckehard Steinbach

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Stefan Hägele, Adam Misik, Eckehard Steinbach

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تحديد الأشياء في غرفة مظلمة، لكن لا يمكنك استخدام عينيك. بدلاً من ذلك، لديك جهاز "صدى سحري" خاص (رادار موجات ميليمترية mmWave) يرسل موجات صوتية غير مرئية ويستمع إلى ارتدادها.

المشكلة هي أن البيانات الخام القادمة من هذا الجهاز تشبه إشارة راديو مليئة بالضجيج والتشويش؛ فهي مليئة بالمعلومات المفيدة، لكن من الصعب على الكمبيوتر فهمها مباشرة.

تقدم هذه الورقة البحثية RadarFuseNet، وهو "عقل" جديد لنظام الرادار هذا. فكر فيه كأنه محقق فائق الذكاء لا يكتفي بالاستماع إلى الصدى مرة واحدة فقط، بل يستمع إليه بطريقتين مختلفتين في نفس الوقت، ثم يدمج الأدلة لحل اللغز.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. "الأذنان" للمحقق

معظم أنظمة الرادار تنظر إلى الإشارة بطريقة واحدة فقط. أما RadarFuseNet، فيستخدم "أذنين" مختلفتين (أو شبكتين عصبيتين) للاستماع إلى نفس الإشارة:

الأذن (أ) (مستمعة للزمن): تستمع هذه الأذن إلى الإشارة الخام تماماً كما تصل، لحظة بلحظة. الأمر يشبه الاستماع إلى "صوت" ضرب الطبل؛ فهي تلتقط "الجو العام" الفوري والموجات المعقدة.
الأذن (ب) (مستمعة للتردد): تأخذ هذه الأذن نفس الصوت وتمرره عبر مرشح خاص (يسمى FFT) لرؤية "النغمات" الموجودة داخل الصوت. الأمر يشبه النظر إلى ورقة موسيقية لمعرفة النغمات المحددة التي عُزفت.

التشبيه: تخيل أنك تحاول التعرف على شخص من خلال صوته.

الأذن (أ) تسمع الصوت الخام: "مرحباً، كيف حالك؟" (الموجات الصوتية الخام).
الأذن (ب) تحلل طبقة الصوت والنبرة: "هذا صوت حاد وناعم بلكنة جنوبية خفيفة". (تحليل الترددات).

2. "الخلاط السحري" (الانتباه المتقاطع - Cross-Attention)

هنا تبرز ابتكارية الورقة البحثية. عادةً، قد تأخذ الملاحظات من الأذن (أ) والأذن (ب) وتلصقهما معاً فحسب، لكن RadarFuseNet يفعل شيئاً أذكى.

إنه يستخدم آلية الانتباه المتقاطع (Cross-Attention Mechanism). فكر في هذا كأنه خلاط حواري.

بدلاً من مجرد لصق الملاحظات معاً، تبدأ الأذنان حواراً.
تسأل الأذن (أ) الأذن (ب): "مهلاً، أنا أسمع تموجاً غريباً هنا؛ هل يظهر مخطط التردد الخاص بك نبضة مطابقة؟"
ترد الأذن (ب): "نعم! وهذه النبضة تخبرني أن الجسم مصنوع من المعدن، وليس الخشب".

إنهما يتحققان باستمرار من عمل بعضهما البعض، مما يسلط الضوء على الأجزاء الأكثر أهمية في الإشارة ويتجاهل الضجيج. هذا "الحوار" يضمن ألا يفوت الكمبيوتر الأدلة الدقيقة التي قد تغفل عنها أذن واحدة بمفردها.

3. لماذا هذا مهم (الاختبار في العالم الحقيقي)

اختبر الباحثون هذا النظام في مهمتين صعبتين:

المهمة 1: لعبة "ماذا يوجد في الصندوق؟"
وضعوا أشياء مختلفة (مثل مطرقة، أو زجاجة، أو آلة حاسبة) داخل صندوق كرتوني. يمكن للرادار "الرؤية" من خلال الصندوق.
- النتيجة: حقق RadarFuseNet النجاح بنسبة 94% من المرات. استطاع التمييز بين كوب بلاستيكي ومفك معدني حتى عندما كانا مخفيين.
المهمة 2: لعبة "مما يتكون الجدار؟"
وجهوا الرادار نحو جدران مختلفة (خشب، زجاج، معدن، خرسانة).
- الجزء الصعب: قاموا بتدريب النظام على جدران تبعد 50 سم، و70 سم، و90 سم. ثم اختبروه على جدران بمسافات 60 سم و80 سم—وهي مسافات لم يسبق للنظام رؤيتها من قبل.
- النتيجة: معظم الأنظمة الأخرى ارتبكت وفشلت. ومع ذلك، حافظ RadarFuseNet على دقة تقارب 65% (وهي نسبة ضخمة لهذا النوع من المشكلات) وما يقرب من 100% في المسافات التي عرفها مسبقاً. وهذا يثبت أنه جيد جداً في التعميم (Generalization)—لقد تعلم قواعد المواد، وليس مجرد حفظ المسافات.

4. السر الخفي: "الأعداد المركبة"

تذكر الورقة البحثية استخدام "الشبكات العصبية التلافيفية ذات القيم المركبة" (Complex-Valued CNNs). بكلمات بسيطة، معظم عقول الكمبيوتر تفهم الأرقام الحقيقية فقط (1، 2، 3). لكن إشارات الرادار لها جزءان: جزء حقيقي وجزء تخيلي (والذي يمثل طور أو توقيت الموجة).

RadarFuseNet مميز لأنه يبقي هذين الجزأين معاً كحزمة واحدة (مثل المتجه) بدلاً من فصلهما.

التشبيه: تخيل أنك تحاول وصف سهم يدور. إذا نظرت فقط إلى مدى توجهه لليسار/اليمين (الحقيقي) وتجاهلت اتجاهه للأعلى/الأسفل (التخيلي)، فستفقد صورة الدوران. RadarFuseNet يحافظ على السهم الدوار كاملاً، مما يسمح له بفهم الإشارة بشكل أعمق.

الخلا الخلاصة

RadarFuseNet يشبه منح نظام الرادار قوة خارقة. فبدلاً من مجرد النظر إلى الإشارة، فإنه ينظر إلى شكل الإشارة وطيفها، ثم يسمح لهذين المنظورين بـ "التحدث" مع بعضهما البعض لتحديد ما هو موجود أمامه.

هذا يجعله بارعاً للغاية في:

الرؤية عبر العوائق (مثل الصناديق أو الملابس).
تحديد المواد (معدن مقابل خشب مقابل زجاج).
العمل في مواقف جديدة (مثل عندما يكون الشيء أقرب أو أبعد قليلاً مما هو متوقع).

يمكن لهذه التكنولوجيا أن تساعد الروبوتات مستقبلاً في التنقل في الغرف المظلمة، أو تساعد السيارات ذاتية القيادة في الرؤية عبر الضباب، أو حتى تساعد الأطباء في "الرؤية" داخل الجسم دون استخدام الأشعة السينية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "RadarFuseNet: دمج الانتباه المتقاطع ذو القيم المركبة لميزات رادار (IQ) في النطاقين الزمني والترددي من أجل تصنيف قوي."

1. بيان المشكلة

يُعد رادار الموجات المليمترية (mmWave) وسيلة استشعار حاسمة لمهام الإدراك، لا سيالما في الظروف القاسية (الضباب، المطر، الحجب) حيث تفشل الكاميرات أو مستشعرات ليدار (LiDAR). وبينما حقق التعلم العميق تقدماً في معالجة الرادار، فإن الأساليب المتطورة الحالية تعتمد غالباً على تحويل إشارات (IQ) المركبة الخام إلى تمثيلات تشبه الصور (مثل خرائط نطاق-دوپلر أو السحب النقطية).

القصور: هذه التحويلات تتخلص من معلومات الطور (phase) الجوهرية وتقلل من التعقيد الأصلي للإشارة.
التحدي: لا تزال الأساليب الحالية لتصنيف الأجسام المحجوبة والمواد السطحية باستخدام المعالجة المباشرة لإشارات (IQ) تواجه صعوبات في التعميم، خاصة عند الاختبار على مسافات بين المستشعر والهدف لم تظهر أثناء التدريب. هناك حاجة للاستفادة من كامل محتوى المعلومات للإشارة المركبة دون فقدان بيانات الطور، مع تحسين قوة استخراج الميزات.

2. المنهجية: RadarFuseNet

يقترح المؤلفون شبكة RadarFuseNet، وهي شبكة دمج ذات انتباه متقاطع ثنائي الاتجاه مصممة لمعالجة بيانات رادار (mmWave) الخام مباشرة في المجال المركب.

أ. المعالجة المسبقة للإشارة

بيانات المدخلات: يستخدم النظام مصفوفة هوائيات على شكل حرف L مكونة من 20×20 من رادار (Vayyar FMCW MIMO)، مما يولد إشارة مركبة مكونة من 400 قناة تم أخذ عينات منها عند 100 نقطة زمنية ( $s \in \mathbb{C}^{20 \times 20 \times 100}$ ).
التمثيلات المزدوجة: لدمج النطاقين الزمني والترددي، تتم معالجة الإشارة الخام بطريقتين:
1. النطاق الزمني (IQ): الإشارة المركبة الخام $s$ .
2. النطاق الترددي (FFT): يتم تطبيق تحويل فوريه السريع (FFT) ثلاثي الأبعاد لتوليد أطياف المدى، والسمت (azimuth)، والارتفاع ( $S$ ).
إعادة التشكيل: يتم تسطيح كلا التمثيلين على طول بُعد القناة لإنشاء مدخلات مركبة ثنائية الأبعاد ( $x$ و $X$ ) للشبكات العصبية.

ب. بنية النموذج

تتكون البنية من ثلاثة مكونات رئيسية:

فروع CNN مزدوجة ذات قيم مركبة:
- تستخرج شبكتان عصبيتان تلافيفيتان (CNNs) منفصلتان الميزات من إشارة (IQ) ( $x$ ) وإشارة (FFT) ( $X$ ).
- العمليات المركبة: على عكس الشبكات القياسية، يتم إجراء جميع العمليات (التلافيف، التجميع، تطبيع الدفعة، وتنشيط ReLU) مباشرة في المجال المركب. هذا يحافظ على سلامة طور الإشارة بدلاً من فصل الأجزاء الحقيقية والتخيلية.
- الهيكل: تم تكييف شبكات الـ CNN من بنية SMCNet، باستخدام ثلاث طبقات تلافيفية مركبة وتجميع متوسط مركب.
تكييف المجال للانتباه:
- يتم تحويل ناقلات الميزات ذات القيم المركبة ( $f$ من IQ، و $F$ من FFT) إلى ناقلات ذات قيم حقيقية ( $\tilde{f}$ و $\tilde{F}$ ) عن طريق دمج مكوناتها الحقيقية والتخيلية. هذا ضروري لأن آلية الانتباه المتقاطع تتطلب مدخلات ذات قيم حقيقية.
دمج الانتباه المتقاطع ثنائي الاتجاه:
- تقوم آلية انتباه متعددة الرؤوس بدمج فضاء الميزات الاثنين.
- الآلية: يحسب النموذج الانتباه في كلا الاتجاهين:
  - $A_1 = \text{Attn}(\tilde{f}, \tilde{F}, \tilde{F})$ (انتباه IQ تجاه FFT)
  - $A_2 = \text{Attn}(\tilde{F}, \tilde{f}, \tilde{f})$ (انتباه FFT تجاه IQ)
- يتم دمج المخرجات لتشكيل تمثيل موحد، مما يسمح للنموذج بالاستفادة من الميزات المتكاملة من كل من النطاقين الزمني والترددي.
رأس التصنيف:
- تمر الميزات المدمجة عبر طبقة متصلة بالكامل تليها دالة خسارة الإنتروبيا المتقاطعة (cross-entropy) لأغراض التصنيف.

3. المساهمات الرئيسية

بنية مبتكرة: تصميم شبكة تدمج شبكتي CNN ذات قيم مركبة مع آلية انتباه ثنائية الاتجاه مخصصة لإشارات رادار (mmWave) الخام.
المعالجة ذات القيم المركبة: تكييف تمثيلات الميزات للحفاظ على المعالجة في المجال المركب حتى مرحلة الدمج، مما يتجنب فقدان المعلومات المرتبط بفصل المكونات الحقيقية والتخيلية في مرحلة مبكرة من خط المعالجة.
تعزيز القدرة على التعميم: إثبات تحسن المتانة في تصنيف الأجسام والمواد تحت ظروف قياس متغيرة (تحديداً المسافات غير المرئية أثناء التدريب).

4. النتائج التجريبية

تم تقييم النموذج على مجموعتي بيانات: تصنيف الأجسام المحجوبة (10 فئات) و تصنيف المواد السطحية (5 فئات).

أ. تصنيف الأجسام المحجوبة

الأداء: حقق RadarFuseNet دقة بلغت 94.20%.
المقارنة: تفوق على:
- CNN مركبة أحادية الفرع (90.70%)
  يد تدفقات CNN ذات القيم الحقيقية (91.79%)
- دمج الميزات القائم على MLP (89.90%)
- ResNet-18 (93.36%)
الأهمية: أدت استراتيجية الدمج إلى تحسين الدقة بشكل كبير مقارنة بالنهج أحادي النطاق، مما يثبت أن الجمع بين ميزات النطاق الزمني والترددي يساعد في تمييز الأجسام داخل التغليف.

ب. تصنيف المواد السطحية (اختبار التعميم)

المسافات المعروفة ( $d_0$ ): حقق النموذج دقة بلغت 99.92%، وهي نسبة تضاهي أفضل النماذج الأخرى.
المسافات غير المرئية ( $d_1$ ): عند الاختبار على مسافات غير موجودة في مجموعة التدريب (60 سم و 80 سم)، حقق RadarFuseNet دقة بلغت 65.56%.
- تفوق هذا الأداء على CNN المركبة أحادية الفرع (59.50%) و ResNet-18 (64.62%).
- يوضح هذا أن دمج الانتباه المتقاطع يوفر قدرات تعميم أفضل للظروف الفيزيائية المتغيرة.

5. الأهمية والخاتمة

المتانة: يثبت RadarFuseNet أن المعالجة المباشرة لإشارات (IQ) ذات القيم المركبة، بدلاً من تحويلها إلى صور، تؤدي إلى استخراج ميزات متفوقة لمهام الرادار.
استراتيجية الدمج: تعمل آلية الانتباه المتقاطع ثنائية الاتجاه على جسر الفجوة بفعالية بين تمثيلات النطاق الزمني (الخام) وتمثيلات النطاق الترددي (الطيفية)، مما يخلق فضاء ميزات أغنى وأكثر متانة تجاه التغيرات البيئية (مثل تغير المسافة).
العمل المستقبلي: يشير المؤلفون إلى أن مجموعات البيانات الحالية صغيرة نسبياً. تهدف الأبحاث المستقبلية إلى توسيع نطاق النموذج للتعامل مع مجموعات بيانات أكبر وأكثر تنوعاً لمزيد من التحقق من قدرات التعميم وتحديد القيود المتبقية.

باختصار، يمثل RadarFuseNet خطوة هامة للأمام في إدراك رادار (mmWave) من خلال الاستفادة من كامل تعقيد الإشارة عبر التعلم العميق المتخصص ذي القيم المركبة والدمج القائم على الانتباه، مما يؤدي إلى دقة تصنيف متطورة ومتانة محسنة.