🤖 AI

Learning Rollout from Sampling:An R1-Style Tokenized Traffic Simulation Model

تقترح الورقة البحثية R1Sim، وهو نموذج محاكاة مروري قائم على الرموز (tokenized) يعزز السلوك المتنوع والآمن لتعدد الوكلاء من خلال الجمع بين أخذ العينات التكيفي الموجه بالإنتروبيا وتحسين السياسة النسبي للمجموعات (GRPO) للتغلب على قيود الاستكشاف في طرق التنبؤ بالرمز التالي القياسية.

المؤلفون الأصليون: Ziyan Wang, Peng Chen, Ding Li, Chiwei Li, Qichao Zhang, Zhongpu Xia, Guizhen Yu

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziyan Wang, Peng Chen, Ding Li, Chiwei Li, Qichao Zhang, Zhongpu Xia, Guizhen Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يقود سيارة. تعرض عليه آلاف الفيديوهات لسائقين بشر، ويتعلم الروبوت من خلال محاكاة ما يفعله هؤلاء السائقون. هذه هي الطريقة التي تعمل بها معظم محاكيات القيء الذاتية الحالية؛ فهي جيدة في نسخ ما رأته، لكنها جامدة بعض الشيء. إذا واجه الروبوت موقفًا صعبًا لم يره من قبل، فإنه يميل إلى التجمد أو اتخاذ قرار ممل وآمن لأنه يخشى تجربة أي شيء جديد.

تقدم هذه الورقة البحثية R1Sim، وهي طريقة جديدة لتعليم محاكيات المرور هذه. فكر في الأمر كترقية لعقل الروبوت من "طالب نسخ ولصق" إلى "مستكشف مبدع" يعرف متى يتبع القواعد ومتى يخاطر بحساب.

إليك تفصيل كيفية عمل R1Sim، باستخدام بعض التشبيهات من الحياة اليومية:

١. المشكلة: ازدحام المرور الناتج عن "أعلى K" (Top-K)

تستخدم المحاكيات الحالية استراتيجية تسمى أخذ عينات أعلى K (Top-K sampling). تخيل روبوتًا يقود عند تقاطع طرق ذي أربعة اتجاهات. ينظر الروبوت إلى جميع التحركات الممكنة (الذهاب للأمام، الانعطاف يسارًا، الانعطاف يمينًا، التوقف).

الطريقة القديمة: ينظر الروبوت فقط إلى أكثر ٥ تحركات احتمالية (على سبيل المثال، "الذهاب للأمام" احتماليته ٩٠٪، لذا يختار ذلك). إنه يتجاهل الـ ٩٥٪ الأخرى من الاحتمالات.
العيب: أحيانًا، لا يكون التحرك "الأفضل" هو الأكثر وضوحًا. ربما يحتاج الروبوت إلى القيام بمناورة غريبة أو جريئة قليلاً لتجنب حادث كان "التحرك الواضح" سيؤدي إليه. الطريقة القديمة تفقد هذه "الجواهر الخفية" لأنها تركز بشدة على المسار الآمن والمتوقع.

٢. السر الخفي: "مقياس الثقة" (الاعتلاج/الإنتروبي - Entropy)

أدرك المؤلفون أن الروبوت لديه مقياس ثقة داخلي (يسمى الاعتلاج أو الإنتروبي).

اعتلاج منخفض: الروبوت واثق جدًا. "أنا أعرف تمامًا ما يجب فعله؛ سأكتفي بالقيادة للأمام مباشرة". (مثل المشي في ممر مألوف).
اعتلاج مرتفع: الروبوت مرتبك أو الوضع فوضوي. "هناك الكثير من الأشياء التي يمكنني فعلها هنا!" (مثل دخول حفلة صاخبة ومزدحمة).

ابتكار R1Sim: بدلاً من تجاهل الارتباك، يستخدم R1Sim هذا الارتباك كإشارة.

عندما يكون الروبوت واثقًا (اعتلاج منخفض)، فإنه يلتزم بالتحركات الواضحة والآمنة.
عندما يكون الروبوت غير متيقن (اعتلاج مرتفع)، يقول R1Sim: "حسنًا، هذا مكان صعب! دعونا نتوقف عن الكسل ونستكشف المزيد من الخيارات". إنه يوسع الشبكة للبحث عن تلك التحركات الغريبة ذات الاحتمالية المنخفضة أو "الجواهر الخفية" التي قد تكون هي الحل الأفضل بالفعل.

٣. المدرب: "المناظرة الجماعية" (GRPO)

بمجرد أن يقوم الروبوت بتوليد مجموعة من السيناريوهات المستقبلية المختلفة (بعضها آمن، وبعضها مخاطر، وبعضها غريب)، فإنه يحتاج إلى تحديد أي منها هو الأفضل.

الطريقة القديمة (SFT): يحاول الروبوت نسخ السائق البشري بدقة. إذا ارتكب الإنسان خطأً في الفيديو، فإن الروبوت يتعلم هذا الخطأ أيضًا. إنه مثل طالب يحاول نسخ واجب مدرّسه، حتى لو أخطأ المعلم في الإجابة.
الطريقة الجديدة (GRPO): يستخدم R1Sim طريقة تسمى تحسين السياسة النسبي للمجموعات (GRPO). تخيل مناظرة داخل فصل دراسي:
١. يقوم الروبوت بتوليد ٣٢ سيناريو مختلفًا لنفس الموقف المروري.
٢. يعمل كحكم، حيث يقارن بين جميع السيناريوهات الـ ٣٢ ضد بعضها البعض.
٣. يتساءل: "أي من هذه الخيارات الـ ٣٢ أدى إلى أقل عدد من الحوادث وأكثر رحلة سلاسة؟"
٤. يكافئ الفائزين ويعاقب الخاسرين.

الأهم من ذلك، أن هذا الحكم لديه كتاب قواعد السلامة. إذا بدا السيناريو رائعًا ولكنه تسبب في حادث، فإنه يحصل على درجة صفر، بغض النظر عن مدى "إبداعه". هذا يعلم الروبوت أن يكون مبدعًا فقط عندما يكون الأمر آمنًا.

٤. النتيجة: سائق أذكى وأكثر أمانًا

من خلال الجمع بين هاتين الفكرتين، يخلق R1Sim محاكيًا:

يستكشف: لا يخشى تجربة تحركات جديدة وغير متوقعة عندما يكون الموقف مربكًا (اعتلاج مرتفع).
يستغل: يلتزم بالتحركات المثبتة والآمنة عندما يكون الوضع واضحًا (اعتلاج منخفض).
يتعلم من الأخطاء: لا يكتفي بنسخ الأخطاء البشرية فحسب، بل يكتشف أي السلوكيات البشرية كانت جيدة حقًا وأيها كانت خطيرة.

الخلا ملخص الفكرة

فكر في R1Sim كمدرب قيادة لا يكتفي بقول: "افعل بالضبط ما فعلته أنا". بل يقول:

"عندما يكون الطريق خاليًا، قد بشكل طبيعي. ولكن عندما تصبح الأمور فوضوية، لا تصب بالذعر — جرب بعض الأشياء المختلفة! ثم، سنراجع جميع محاولاتك معًا، ونحتفظ بتلك التي كانت آمنة وسلسة، ونرمي بعيدًا تلك التي كانت خطيرة."

يسمح هذا النهج للمحاكاة بالتعامل مع حركة المرور المعقدة في العالم الحقيقي بشكل أفضل من الطرق السابقة، مما يخلق بيئة اختبار أكثر أمانًا لسيارات القيادة الذاتية في المستقبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعلم التمرير من أخذ العينات: نموذج محاكاة حركة مرورية بترميز على طراز R1" (R1Sim).

1. بيان المشكلة

يعتمد تقييم القيادة الذاتية بشكل كبير على محاكاة مرورية عالية الدقة وتنوع كبير. وبينما أظهرت الأساليب الحديثة التي تستخدم التنبؤ بالرمز التالي (NTP) والنمذجة ذاتية الانحدار (المستوحاة من النماذج اللغوية الكبيرة) وعوداً كبيرة، إلا أنها تعاني من قصورين حرجين:

الاستكشاف الجامد: تعتمد الطرق الحالية عادةً على استراتيجيات أخذ عينات Top-K ثابتة. تعطي هذه الطريقة الأولوية للرموز ذات الاحتمالية العالية، وغالباً ما تتجاهل الرموز ذات الاحتمالية المنخفضة ولكنها قد تكون "جواهر خفية" قيمة، خاصة في السيناريوهات المعقدة والتفاعلية حيث يكون عدم اليقين مرتفعاً.
الاستغلال غير الفعال: تعتمد طرق التحسين الحالية غالباً على الضبط الدقيق تحت الإشراف (SFT) أو نهج "الفائز يستحوذ على كل شيء" الذي يجبر الحالات المولدة على مطابقة التوضيحات الخبيرة (الحقيقة الأرضية). يمكن أن يؤدي هذا إلى تكريس سلوكيات غير آمنة إذا كانت الحقيقة الأرضية نفسها دون المستوى، وتفشل في استكشاف النطاق الأوسع من الحركات الآمنة والمفضلة بشرياً.

التحدي الجوهري يكمن في كيفية الموازنة بين الاستكشاف (اكتشاف رموز حركة متنوعة وذات درجة عالية من عدم اليقين) والاستغلال (التحسين من أجل السلامة والواقعية) ضمن إطار عمل محاكاة مرورية مرمزة.

2. المنهجية: R1Sim

يقترح المؤلفون R1Sim، وهو إطار عمل يدمج ديناميكيات إنتروبيا رموز الحركة في نموذج تعلم تعزيزي (RL)، وتحديداً عبر تكييف خوارزمية تحسين السياسة النسبية للمجموعات (GRPO) (المستوحاة من DeepSeek-R1) لمحاكاة حركة المرور.

أ. أخذ العينات التكيفي الموجه بالإنتروبيا (الاستكشاف)

بدلاً من استراتيجية Top-K الثابتة، يقوم R1Sim بتعديل نطاق أخذ العينات ديناميكياً بناءً على إنتروبيا شانون لتوزيع الرموز الخاص بالسياسة.

الآلية: معامل أخذ العينات $K_t$ $K_{t}$ هو دالة متزايدة رتيباً لإنتروبيا الرموز $H_t$ $H_{t}$ .
- الإنتروبيا المنخفضة: تشير إلى مناورات يمكن التنبؤ بها وحتمية. هنا يقوم النموذج بتقييد أخذ العينات (قيمة $K_t$ منخفضة) للتركيز على القرارات عالية الاحتمالية والدقة.
- الإنتروبيا العالية: تشير إلى تفاعلات معقدة ومتعددة الأنماط (مثل التقاطعات أو الاندماج في المسارات). هنا يقوم النموذج بتخفيف القيود (قيمة $K_t$ عالية) لاستكشاف نطاق أوسع من الرموز، مما يكشف عن سلوكيات "الجواهر الخفية" التي قد تغفل عنها عملية فك الترميز الجشعة القياسية.
الصيغة: $K_t = k_{min} + \frac{k_{max} - k_{min}}{1 + e^{-H_t}}$

ب. خوارزمية GRPO مع مكافآت واعية بالسلامة (الاستغلال)

لتحسين المسارات المولدة، يستخدم R1Sim خوارزمية تحسين السياسة النسبية للمجموعات (GRPO) المطورة.

المقارنة داخل المجموعة: بدلاً من الاعتماد على شبكة ناقدة (Critic Network) -والتي تعد مكلفة حاسوبياً وغير مستقرة في هذا السياق- تقوم GRPO بأخذ عينات من مجموعة من عمليات التمرير ( $N_{rollout}$ ) لنفس السيناريو وتقارن بين مزاياها النسبية.
تصميم المكافأة الواعية بالسلامة: تعمل دالة المكافأة $r_{i,t}$ $r_{i, t}$ على الموازنة بين تجنب الاصطدام ودقة المسار:
- السلامة ( $r_{safe}$ ): تعاقب الاصطدامات (التي يتم اكتشافها عبر نظرية المحور الفاصل) بعقوبة قاسية (-1).
- الواقعية ( $r_{dis}$ ): تستخدم نواة أسية سالبة لمعاقبة الانحرافات عن الحقيقة الأرضية، ولكنها تسمح بـ "الجواهر الخفية" التي تبتعد عن الحقيقة الأرضية إذا كانت أكثر أماناً أو واقعية.
- المنطق الضربي: المكافأة النهائية هي $r_{i,t} = r_{safe} \cdot r_{dis}$ . يضمن ذلك أنه إذا كان المسار غير آمن، يتم إلغاء مكافأة الواقعية.
تقدير الميزة المنقح: على عكس GRPG القياسية، يتجاهل R1Sim تطبيع الانحراف المعياري لتقديرات الميزة. بدلاً من ذلك، يقوم بالتطبيع بناءً على متوسط المكافأة للمجموعة عند كل خطوة زمنية لضمان الاستقرار في بيئات محاكاة المرور حيث قد يكون تباين الدفعة (Batch Variance) غير موثوق.

3. المساهمات الرئيسية

إطار عمل R1Sim: أول محاولة لدمج أنماط إنتروبيا رموز الحركة في التعلم التعزيزي لمحاكاة المرور، مما يسد الفجوة بفعالية بين التدريب المسبق بنظام NTP والضبط الدقيق بنظام RL.
أخذ العينات التكيفي الموجه بالإنتروبيا: استراتيجية مبتكرة توسع مساحة البحث ديناميكياً في سيناريوهات عدم اليقين العالي لاكتشاف سلوكيات متنوعة ومعقولة، مع الحفاظ على الدقة في السيناريوهات الحتمية.
GRPO مع مكافآت واعية بالسلامة: طريقة تحسين منقحة تستخدم المزايا النسبية للمجموعات ومكافأة سلامة ضربية لتعزيز السلوكيات المفضلة بشرياً والآمنة دون الاعتماد على شبكة ناقدة أو مطابقة صارمة للحقيقة الأرضية.

4. النتالئج التجريبية

تم تقييم الطريقة باستخدام معيار Waymo Open Motion Dataset (WOMD)، ومقارنتها مع أساليب الحالة الراهنة (SOTA) مثل SMART وCATK وUniMM.

الأداء الكمي:
- حقق R1Sim أداءً تنافسياً أو متفوقاً في جميع المقاييس، بما في ذلك مقياس الواقعية الميتا (RMM)، والاحتمالية الحركية، والاحتمالية التفاعلية، والاحتمالية القائمة على الخريطة.
- عند تطبيقه على خط الأساس SMART-tiny، حسن R1Sim مقياس احتمالية الاصطدام (Collision Likelihood) بمقدار 0.0117، مما أظهر تفاعلات متعددة الوكلاء أكثر أماناً بشكل ملحوظ.
- في السيناريوهات ذات الإنتروبيا العالية (الصعبة)، أظهر R1Sim مكاسب جوهرية (على سبيل المثال، +0.0202 في RMM) مقارنة بالنماذج المرجعية، مما يثبت قدرته على التعامل مع عدم اليقين.
دراسات الاستئصال (Ablation Studies):
- أخذ العينات: تفوق أخذ العينات الموجه بالإنتروبيا على استراتيجيات Top-K الثابتة (Top-K=5, 32, 64)، مما أكد أن التعديل الديناميكي أفضل من النطاقات الثابتة.
- التحسين: تفوق نظام GRPO المنقح (بدون تطبيع الانحراف المعياري) على نماذج GRPO وSFT القياسية.
- تصميم المكافأة: حققت مكافأة العملية الواعية بالسلامة (SPR) (الحد الضربي للسلامة) أفضل النتائج، متفوقة على المكافآت الجمعية ومكافآت النتيجة النهائية فقط.
التحليل النوعي: أظهرت التصورات أن النماذج المرجعية (مثل CATK) غالباً ما أظهرت سلوكيات عدوانية وعرضة للاصطدام (مثل الاختراق وسط حركة المرور)، بينما أنتج R1Sim سلوكيات عقلانية وآمنة (مثل التباطؤ الاستباقي وإعطاء الأولوية).

5. الأهمية

تحول في النموذج الفكري: ينتقل R1Sim من مجرد التعلم بالتقليد البسيط (SFT) إلى تمكين الاستكشاف النشط لمساحة الحركة. فهو يقر بأن الحقيقة الأرضية ليست دائماً مثالية ويستخدم الإنتروبيا لإيجاد حلول أفضل.
التعلم التعزيزي المتمحور حول السلامة: من خلال دمج السلامة مباشرة في هيكل المكافأة كقيد ضربي، يعطي النموذج الأولوية لتجنب الاصطدام فوق مجرد دقة المسار، وهو مطلب حيوي للقيادة الذاتية.
الكفاءة: يلغي استخدام GRPO الحاجة إلى شبكة ناقدة منفصلة، مما يجعل عملية التدريب أكثر كفاءة من الناحية الحسابية وأكثر استقراراً لمحاكاة حركة المرور طويلة المدى.
القابلية للتعميم: يثبت النهج أن الرؤى المستمدة من استدلال النماذج اللغوية الكبيرة (ديناميكيات الإنتروبيا، تحسين المجموعة النسبي) يمكن نقلها بنجاح إلى مجالات التحكم الفيزيائي مثل القيادة الذاتية.

في الختام، يقدم R1Sim حلاً قوياً لتوليد محاكاة مرورية متنوعة وآمنة ومتوافقة مع السلوك البشري، معالجاً المقايضة الحرجة بين الاستكشاف والاستغلال في تقييم القيادة الذاتية.