🤖 AI

PRAM-R: A Perception-Reasoning-Action-Memory Framework with LLM-Guided Modality Routing for Adaptive Autonomous Driving

تقدم هذه الورقة البحثية PRAM-R، وهو إطار عمل موحد يستفيد من موجه (router) بتوجيه من النماذج اللغوية الكبيرة (LLM) وذاكرة هرمية ضمن بنية حلقية مزدوجة غير متزامنة لتحسين استخدام أنماط الاستشعار ديناميكيًا، مما يقلل بشكل كبير من التكاليف الحسابية وعدم استقرار التوجيه مع الحفاظ على دقة عالية في تتبع المسار في القيادة الذاتية.

المؤلفون الأصليون: Yi Zhang, Xian Zhang, Saisi Zhao, Yinglei Song, Chengdong Wu, Nenad Petrovic, Alois Knoll

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yi Zhang, Xian Zhang, Saisi Zhao, Yinglei Song, Chengdong Wu, Nenad Petrovic, Alois Knoll

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقود سيارة، ولكن بدلاً من وجودك بمفردك، هناك فريق من الخبراء داخل المركبة يساعدونك في الملاحة. يتضمن هذا الفريق كاميرا (وهي بمثابة العينين)، وليدار (LiDAR) (ماسح ضوئي ليزري يرى الأشكال ثلاثية الأبعاد)، ورادار (Radar) (الذي يرى من خلال الضباب والمطر)، وخريطة (Map) (وهي بمثابة ذاكرة الدماغ للطريق).

في معظم السيارات ذاتية القيادة اليوم، يقوم كل هؤلاء الخبراء بالصراخ في وجه الكمبيوتر على مدار الساعة طوال الأسبوع، حتى عندما لا تكون هناك حاجة إليهم. الأمر يشبه وجود جوقة من 100 شخص يغنون في غرفة صغيرة؛ إنه أمر صاخب، ومجهد، وغالباً ما يكون مكرراً. هذا يهدر طاقة البطارية ويبطئ حركة معالج السيارة.

تقدم هذه الورقة البحثية PRAM-R، وهي طريقة أكثر ذكاءً لتشغيل سيارة ذاتية القيادة. فكر في الأمر كترقية لـ "عقل" السيارة ليصبح مديراً ذكياً يعرف بالضبط من يستمع إليه، ومتى يستمع، وماذا يتذكر.

إليك كيف يعمل نظام PRAM-R، مقسماً إلى أجزاء بسيطة:

1. نظام الحلقة المزدوجة: "رد الفعل السريع" مقابل "المفكر البطيء"

يستخدم PRAM-R نظاماً ذكياً ثنائي السرعة، يشبه دماغ الإنسان:

الحلقة السريعة (ردود الفعل): هذا هو رد فعل السيارة الفوري. يحدث بسرعة فائقة (مثل التقاط كرة قبل أن تفكر حتى في ذلك). وهو يتولى عمليات التوجيه والفرملة في اللحظة الحالية.
الحلقة البطيئة (التداول/التفكير): هذا هو وضع "التفكير" للسيارة. يعمل ببطء قليلاً. ينظر إلى الصورة الكبيرة، ويتحقق من الطقس، وينظر إلى الخريطة، ويتساءل: "مهلاً، هل نحتاج حقاً إلى الماسح الليزري الآن؟ الجو ضبابي، لذا ربما يكفي الرادار والكاميرا فقط".

التشبيه: تخيل أنك تسير في غابة مظلمة.

الحلقة السريعة هي حركة قدميك السريعة لتجنب التعثر.
الحلقة البطيئة هي عقلك الذي يتوقف للحظة ليقول: "حسناً، الجو ضبابي، لا يمكنني الرؤية بعيداً. يجب أن أشغل مصباحي اليدوي (الكاميرا) وأعتمد على السمع (الرادار)، لكنني لست بحاجة لمسح الغابة بأكملها بالليزر (LiDAR) لأن الغابة كثيفة جداً".

2. "المدير الذكي" (موجه النموذج اللغوي الكبير - LLM Router)

في قلب هذا النظام يوجد نموذج لغوي كبير (LLM). فكر في هذا كدليل سياحي خبير وحكيم يجلس في مقعد السائق.

بدلاً من مجرد معالجة الأرقام، يقوم هذا الدليل بقراءة الموقف. ينظر إلى بيانات المستشعرات ويقول: "الكاميرا ضبابية بسبب المطر، لذا دعونا نثق في الرادار أكثر. جهاز الليدار (LiDAR) يعمل بشكل رائع، لذا دعونا نبقيه قيد التشغيل".
هو من يقرر أي المستشعرات يتم تشغيلها (ON) وأيها يتم إطفاؤها (OFF) (أو تقليل شدتها) لتوفير الطاقة. إنه يشبه نظام المنزل الذكي الذي يطفئ الأنوار في الغرف الفارغة ولكنه يبقيها مضاءة في المطبخ.

3. "الذاكرة" (الدفتر)

أحد أكبر المشاكل في الذكاء الاصطناعي هو أنه غالباً ما ينسى ما حدث قبل خمس ثوانٍ. يمتلك PRAM-R ذاكرة هرمية، وهي مثل دفتر ملاحظات متعدد المستويات:

الذاكرة قصيرة المدى: "لقد رأيت ضوءاً أحمر قبل ثانيتين فقط".
الذاكرة متوسطة المدى: "أنا أقود تحت المطر منذ 10 دقائق؛ الطريق زلق".
الذاكرة طويلة المدى: "لقد قدت في هذا التقاطع المحدد 50 مرة من قبل؛ أعلم أن إشارة المرور هنا مخادعة".

لماذا هذا رائع؟
بدون ذاكرة، قد يصاب الذكاء الاصطناعي بالذعر في كل مرة يبدأ فيها المطر، معتقداً أنها مشكلة جديدة. مع الذاكرة، سيتذكر: "أوه، لقد تعاملت مع المطر من قبل. أعلم أنه يجب علي الانتقال إلى وضع الرادار". هذا يمنع السيارة من تغيير حالة المستشعرات باستمرار (ما يسمى بـ "التذبذب" في الورقة البحثية) ويحافظ على سلاسة الرحلة.

4. النتائج: أذكى، أسرع، وأقل تكلفة

اختبر الباحثون هذا النظام بطريقتين:

اختبارات الإجهاد المحاكية: ألقوا بمشاكل وهمية على السيارة (فشل مفاجئ في المستشعرات، مطر غزير، أضواء وامضة).
- النتيجة: كان النظام أكثر استقراراً بنسبة 87%. لم يصِب بالذعر ولم يقم بتبديل المفاتم بجنون؛ بل ظل هادئاً وتمسك بأفضل المستشعرات.
الاختبار في العالم الحقيقي (مجموعة بيانات nuScenes): اختبروه على بيانات قيادة حقيقية.
- النتيجة: استخدمت السيارة 6% أقل من المستشعرات في المتوسط (مما يوفر الطاقة وقوة الحوسبة) ولكنها قادت بنفس الأمان والدقة مثل السيارات التي تستخدم جميع المستشعرات طوال الوقت.

الصورة الكبيرة

إن PRAM-R يدور حول الكفاءة. فهو يعلم السيارة ذاتية القيادة كيف تكون "مستهلكاً ذكياً" لمستشعراتها الخاصة. فبدلاً من حرق الطاقة باستخدام كل شيء طوال الوقت، تستخدم "عقلها" (النموذج اللغوي الكبير) و"ذاكرتها" لاختيار الأداة المثالية للمهمة المطلوبة.

إنه الفرق بين طالب يدرس كل صفحة في الكتاب المدرسي لكل امتحان (مما يهدر الوقت والطاقة) وبين طالب يعرف بالضبط الفصول التي يجب مراجعتها بناءً على الأسئلة المحددة (ذكي، سريع، وفعال).

إليك ملخص تقني مفصل لورقة البحث بعنوان: "PRAM-R: إطار عمل الإدراك-الاستنتاج-العمل-الذاكرة مع توجيه تعدد الوسائط الموجه بنماذج اللغات الكبيرة للقيادة الذاتية التكيفية."

1. بيان المشكلة

تعتمد أنظمة القيادة الذاتية على الإدراك متعدد الوسائط (الكاميرات، ليدار، الرادار، الخرائط) لضمان المتانة. ومع ذلك، فإن تفعيل جميع المستشعرات باستمرار يؤدي إلى أعباء حسابية كبيرة، وزمن انتقال (Latency)، واستهلاك للطاقة، خاصة عند تضمين مستشعرات زائدة عن الحاجة أو منخفضة الجودة.

قصور النهج الحالية: تعتمد الطرق الحالية غالبًا على الدمج الثابت (تفعيل جميع المستشعرات) أو التوجيه القائم على الاستدلال أو الانتباه. وتفتقر هذه الطرق إلى قدرات الاستنتاج عالية المستوى، وتواجه صعوبة في التعميم عبر سيناريوهات متنوعة، وتفشل في تحقيق التوازن بين دقة الإدراك وكفاءة الحوسبة.
تحديات نماذج اللغات الكبيرة (LLMs): بينما توفر نماذج اللغات الكبيرة قدرات استنتاج قوية، فإن تطبيقها مباشرة على القيادة في الوقت الفعلي يعوقه زمن استنتاج تسلسلي (في حال استدعائها لكل إطار) ونقص الذاكرة، مما يمنع إعادة استخدام تجارب التوجيه السابقة، ويؤدي إلى استنتاج مكرر وغير ضروري.

2. المنهجية: إطار عمل PRAM-R

يقترح المؤلفون PRAM-R، وهو إطار عمل موحد لـ الإدراك–الاستنتاج–العمل–الذاكرة مصمم للقيادة الذاتية التكيفية. وهو يدمج نموذج لغة كبيراً (تحديداً Qwen3-VL-8B) كموجه لتعدد الوسائط ضمن بنية ثنائية الحلقة غير متزامنة مبتكرة.

أ. البنية ثنائية الحلقة غير المتزامنة

لمعالجة زمن الانتقال والقدرة على التكيف، يقوم النظام بفصل العمليات إلى حلقتين:

الحلقة التفاعلية السريعة (Fast Reactive Loop): تعمل بتردد عالٍ للإدراك والتحكم في الوقت الفعلي. وهي تستخدم أحدث حالة ذاكرة متاحة ( $M_\tau$ ) لتوليد أوامر قيادة فورية ( $O_t$ ).
الحلقة التأملية البطيئة (Slow Deliberative Loop): تعمل بتردد أقل للقيام بالاستنتاج عالي المستوى، واختيار الوسائط، وتحديثات الذاكرة. وهي تقوم بتجميع البيانات التاريخية لتحسين استراتيجيات الاستشعار وتحديث حالة الذاكرة ( $M_t$ ).

ب. الوحدات الأساسية

طبقة الإدراك (مع التوجيه الموجه بنموذج لغة كبير):
- الإدراك الضحل (Shallow Perception): يستخرج المؤشرات التشخيصية (مثل السطوع، كثافة النقاط، نسبة الضجيج) من المستشعرات والسياق البيئي (الطقس، تعقيد الخريطة).
- توجيه تعدد الوسائط (Modality Routing): يقوم نموذج اللغة بتحليل هذه المؤشرات لإخراج:
  - أقنعة الاستخدام ( $u_i$ ): بناءً على تعقيد المشهد (أي المستشعرات كافية).
  - درجات الموثوقية ( $r_i$ ): بناءً على صحة المستشعر والتشخيصات.
- منطق الاختيار: المجموعة النشطة النهائية هي تقاطع المستشعرات "الكافية" و"الموثوقة". إذا كان التقاطع فارغاً، يتم الرجوع إلى مجموعة المستشعرات الموثوقة.
- الاستقرار (Stabilization): لمنع التبديل السريع (التذبذبات)، يستخدم النظام التباطؤ (Hysteresis) (اختلاف العتبات بين التشغيل والإيقاف) وتنعيم المتوسط المتحرك الأسي (EMA) على الأوزان.
طبقات الاستنتاج والعمل:
- تتبع تصميم إطار عمل PLA [8]، حيث تستخدم نموذج اللغة لتحويل الإدراك المدمج إلى تمثيلات دلالية، وتقييم المخاطر، وتوليد خطط المسار. وتكون هذه الطبقات مرتبطة بوحدة الذاكرة لاتخاذ قرارات واعية بالسياق.
بنية الذاكرة الهرمية:
- صُممت لتمكين التكيف طويل الأمد وتقليل عبء الاستنتاج من خلال تخزين قرارات الماضي. وتتكون من أربع طبقات تعمل بمقاييس زمنية مختلفة:
  - ذاكرة الإدراك: قصيرة المدى (سياق توجيه الإدراك، ذاكرة الإدراك الدلالية المخبأة) للتتبع التشخيصي الفوري.
  - ذاكرة الاستنتاج: متوسطة المدى (سجل المشهد، حالة البذرة R-Seed) للحفاظ على اتساق القرار وقابلية التفسير.
  - ذاكرة العمل: متوسطة المدى (سجل سياسة العمل A-Policy Log) لتتبع أوامر التحكم والأخطاء.
  - قاعدة المعرفة: ذاكرة خبرة طويلة المدى لتقطير الاستراتيجيات المثلى وأوصاف المشاهد من أجل التحسين الذاتي المستمر.

3. المساهمات الرئيسية

إطار عمل PRAM-R: دمج مبتكر لتوجيه تعدد الوسائط الموجه بنموذج لغة كبير في مسار القيادة الذاتية، مما يسمح بإدراك متعدد الوسائط تكيفي وفعال.
التوجيه المدفوع بالاستنتاج: آلية تختار وتزن المستشعرات ديناميكياً من خلال دمج تشخيصات المستشعرات مع السياق البيئي، مما يحسن المقايضة بين الكفاءة والموثوقية.
تصميم الحلقة المزدوجة غير المتزامنة: يفصل التحكم التفاعلي السريع عن الاستنتاج التأملي البطيء، مما يحقق تشغيلاً منخفض زمن الانتقال مع الحفاظ على المتانة في السيناريوهات الديناميكية.
وحدة الذاكرة الهرمية: نظام ذاكرة متعدد المقاييس يقوم بتخزين قرارات التوجيه، ويفرض الاتساق الزمني، ويتتبع أنماط موثوقية المستشعرات، ويحفظ المعرفة السياقية من أجل التكيف المستمر.

4. النتائج التجريبية

تم تقييم إطار العمل باستخدام اختبارات جهد اصطناعية وبيانات من العالم الحقيقي من مجموعة بيانات nuScenes.

استقرار التوجيه (اختبارات الجهد الاصطناعية):
- تحت تأثير الاضطرابات عالية التردد (التي تحاكي الضوضاء والتغيرات السريعة)، قللت آلية التباطؤ من تبديل الوسائط (التذبذبات) بنسبة 87.2% مقارنة بالنهج البسيط القائم على العتبة.
- يؤكد هذا قدرة النظام على الحفاظ على استقرار تفعيل المستشعرات دون حدوث ارتعاش (Jitter).
التحقق من العالم الحقيقي (nuScenes):
- الكفاءة: حقق انخفاضاً بنسبة 6.22% في الوسائط النشطة (حمل الاستشعار) مع الحفاظ على معدل استدعاء ذاكرة بنسبة 20%.
- الأداء: ظلت دقة المسار (مقاسة بمتوسط خطأ الإزاحة - ADE وخطأ الإزاحة النهائي - FDE) قابلة للمقارنة مع النماذج ذات الوسائط الكاملة (الدمج الثابت/PLA).
- التكيف: في المشاهد متوسطة التعقيد، نجح النظام في إيقاف تشغيل "ليدار" (الاعتماد على الكاميرا والرادار)، بينما قام بتفعيل جميع المستشعرات في السيناريوهات عالية التعقيد.
دراسة الاستئصال (Ablation Study):
- أدى حذف الذاكرة أو تصميم الحلقة المزدوجة إلى انخفاض في كفاءة واستقرار التوجيه (RSI)، مما يؤكد أن كلا المكونين ضروريان للأداء الأمثل.
- حقق نظام PRAM-R الكامل أعلى كفاءة توجيه (RE) ومؤشر استقرار (RSI) مع خسارة ضئيلة في اتساق التوجيه (RC).

5. الأهمية والعمل المستقبلي

الأهمية: يثبت PRAM-R أن بنيات نماذج اللغات الكبيرة المعززة، عند اقترانها بالذاكرة الهرمية والحلقات غير المتزامنة، يمكن أن تحقق إدراكاً متعدد الوسائط فعالاً وتكيفياً. فهو يحل معضلة "زمن الانتقال مقابل الاستنتاج" عن طريق نقل قرارات التوجيه المعقدة إلى حلقة أبطأ مع الحفاظ على التحكم في الوقت الفعلي.
الاتجاهات المستقبلية:
- التحقق من الذاكرة: إجراء استئصالات على مستوى الطبقات لتحديد التأثير المحدد لكل طبقة ذاكرة.
- النشر في العالم الحقيقي: توسيع التقييم ليشمل سجلات المركبات الحقيقية والتوائم الرقمية لسد الفجوة بين المحاكاة والواقع.
- التحسين: استقصاء حجم النموذج وزمن استنتاج النموذج لموازنة قدرات الاستنتاج مع قيود الأجهزة المدمجة.

في الختام، يمثل PRAM-R خطوة مهمة نحو قيادة ذاتية أكثر كفاءة في استهلاك الطاقة ومتينة من خلال إدارة موارد المستشعرات بذكاء عبر الاستنتاج والذاكرة، بدلاً من المعالجة القسرية للبيانات.