💻 computer science

Driving Intents Amplify Planning-Oriented Reinforcement Learning

تقدم الورقة البحثية إطار عمل DIAL، وهو إطار عمل ثنائي المراحل يجمع بين مطابقة التدفق المشروطة بالنية وبين التعلم المعزز القائم على تفضيلات النوايا المتعددة للتغلب على انهيار النمط في سياسات القيادة ذات الإجراءات المستمرة، مما يمكنها من تجاوز كل من النماذج السابقة ذات الأداء العالي والقيادة البشرية في الأداء.

المؤلفون الأصليون: Hengtong Lu, Victor Shea-Jay Huang, Chengmin Yang, Pengfei Jing, Jifeng Dai, Yan Xie, Benjin Zhu

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hengtong Lu, Victor Shea-Jay Huang, Chengmin Yang, Pengfei Jing, Jifeng Dai, Yan Xie, Benjin Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم سيارة ذاتية القيادة من خلال عرض فيديو لسائق بشري يتنقل في شارع مزدحم. تكمن المشكلة في هذا النهج، كما يوضح البحث، في أن الفيديو يظهر فقط طريقة واحدة اختارها البشر للقيادة. ربما كبح السائق السرعة مبكرًا، أو ربما غير مساره، أو ربما زاد من سرعته قليلًا. لكن الفيديو لا يظهر الخيارات الصحيحة الأخرى التي كانت ممكنة أيضًا في تلك اللحظة.

إذا دربت حاسوبًا ليقوم ببساطة بنسخ ذلك الفيديو، فإنه سيقع في "فخ التكرار". سيتعلم القيام بما رآه بالضبط، متجاهلاً كل الطرق الآمنة والذكية الأخرى للتعامل مع الموقف. يطلق المؤلفون على هذا "انهيار النمط" (Mode Collapse). الأمر يشبه طالبًا يحفظ إجابة محددة لمسألة رياضية، لكنه يفشل عندما تتغير الأرقام قليلًا، لأنه لم يتعلم أبدًا المنطق الأساسي أو الحلول الأخرى الممكنة.

إليك كيف يقوم أسلوب البحث الجديد، المسمى DIAL، بإصلاح هذه المشكلة باستخدام خطوتين ذكيتين:

المشكلة: "العقل ذو المسار الواحد"

في الطريقة القديمة للتدريب (الضبط الدقيق الخاضع للإشراف أو SFT)، ينظر الذكاء الاصطناعي إلى المشهد ويحاول تخمين المسار. ولأنها لم ترَ سوى مسار واحد في بيانات التدريب، فإن جميع تخميناتها تتجمع بإحكام حول ذلك الخط الوحيد.

التشبيه: تخيل أنك تطلب من طاهٍ طبخ طبق ما بعد إطلاعه على وصفة واحدة محددة. إذا طلبت منه "100 تنويع"، فسيقدم لك 101 نسخة مختلفة قليلاً عن نفس الطبق الأصلي. لن يفكر أبدًا في تجربة نكهة مختلفة تمامًا (مثل التحول من المعكرونة إلى الحساء) لأنه لم يُخبر أبدًا أن هذه الخيارات موجودة.
النتيجة: حتى لو اخترت "الأفضل" من بين 128 تخمينًا، فلن يكون أي منها أفضل من فيديو السائق البشري الأصلي. الذكاء الاصطناعي عالق.

الحل: DIAL (التعلم المعزز بنوايا القيادة)

يقدم المؤلفون عملية تدريب مكونة من مرحلتين لكسر هذا الفخ.

المرحلة الأولى: "قائمة النوايا"

بدلاً من مجرد سؤال الذكاء الاصطناعي "ما هو المسار الذي يجب أن أتخذه؟"، يطلب منه أولاً اختيار نية قيادة (Driving Intent) من قائمة تضم 8 خيارات محددة: القيادة بسرعة ثابتة، تغيير المسار لليسار، تغيير المسار لليمين، الانعطاف يسارًا، الانعطاف يمينًا، الدوران للخلف (U-Turn)، التسارع، أو التباطؤ.

التشبيه: فكر في هذا كإعطاء الطاهي قائمة بأنماط متميزة قبل أن يبدأ الطبخ. "اليوم، سنقوم بإعداد طبق حار"، أو "اليوم، سنقوم بإعداد حساء كريمي".
كيف يعمل: يتم تدريب الذكاء الاصطناعي على توليد مسار بناءً على تلك النية المحددة. إذا كانت النية هي "الانعطاف يسارًا"، فإنه يولد مسارًا ينعطف يسارًا. إذا كانت النية هي "التسارع"، فإنه يولد مسارًا سريعًا.
السر: من خلال إجبار الذكاء الاصطناعي على التفكير في هذه الفئات المتميزة، فإنه يتوقف عن التجمع حول خط واحد. إنه يتعلم استكشاف "أحواض" سلوكية مختلفة. فجأة، عندما تطلب منه 128 تنويعًا، ستحصل على 128 مناورة قيادة مختلفة النوع، وليس 128 نسخة من الشيء نفسه.
النتيجة: بمجرد القيام بذلك، يصبح أفضل تخمين للذكاء الاصطناعي أفضل من فيديو الإنسان الأصلي، ببساطة لأنه استكشف أخيرًا خيارات لم يظهرها الفيديو البشري.

المرحلة الثانية: "اختبار التذوق" (التعلم التعزيزي)

الآن بعد أن أصبح لدى الذكاه الاصطناعي قائمة متنوعة من الخيارات، يحتاجون إلى تعليمه أي منها هو الأفضل للموقف. يستخدمون نظامًا يسمى Multi-Intent GRPO.

التشبيه: تخيل ناقد طعام (المُقيّم) يتذوق جميع الأطباق الـ 16 التي صنعها الطاهي (اثنان من كل نمط من الأنماط الثمانية). الناقد لا يختار فقط الطبق الذي يشبه الوصفة الأصلية أكثر؛ بل يختار الطبخ الذي طعمه أفضل.
الفخ الذي تم تجنبه: إذا صنع الطاهي 16 نسخة من "الطبق الحار" فقط، فلا يمكن للناقد معرفة ما إذا كان "الطبق الحار" أفضل حقًا من "الحساء الكريمي". المقارنة هنا غير عادلة.
الإصلاح: يجبر نظام DIAL الطاهي على صنع نسختين من كل نمط (انعطاف يسار، انعطاف يمين، تسارع، إلخ) لكل مشهد. ثم يقوم الناقد بمقارنة جميعها. هذا يعلم الذكاء الاصطناعي: "أوه، في هذا الازدحام المروري تحديدًا، حصل نمط 'التباطؤ' على أعلى تقييم، وليس نمط 'التسارع'".
النتيجة: يتعلم الذكاء الاصطناعي اختيار النية الصحيحة للموقف، بدلاً من مجرد نسخ مسار ما. إنه يحافظ على التنوع الذي تعلمه في المرحلة الأولى بدلاً من الانهيار والعودة إلى عادة واحدة.

النتيجة النهائية

اختبر البحث هذه الطريقة على مجموعة بيانات قيادة حقيقية (Waymo).

الطرق القديمة: حتى مع وجود 128 تخمينًا، كان أفضل ما يمكنهم فعله هو أقل بقليل من فيديو السائق البشري الأصلي.
DIAL: باستخدام "قائمة النوايا" و"اختبار التذوق العادل"، سجل أفضل تخمين للذكاء الاصطناعي درجة أعلى من فيديو السائق البشري. لقد وصل إلى درجة 9.14 (على مقياس كان فيه الإنسان 8.13)، مما يثبت أن الذكاء الاصطناعي وجد طرقًا أفضل للقيادة من الإنسان الذي تم تسجيله في الأصل.

الملخص

يجادل البحث بأن العقبة في تعليم السيارات ذاتية القيادة ليست فقط في جعل الذكاء الاصطناعي أكثر ذكاءً في النسخ؛ بل في التأكد من أن الذكاء الاصطناعي لا يعلق في التفكير بأن هناك طريقة واحدة فقط للقيادة. من خلال تعليمه صراحةً التفكير في "أنماط" مختلفة (نوايا) ثم مكافأته على اختيار النمط الأفضل، نجحوا في فتح مستوى من الأداء لم تستطع الأساليب السابقة الوصول إليه.

ملخص تقني: تعزيز التخطيط الموجه بالنيات عبر التعلم المعزز (DIAL)

1. بيان المشكلة

تحدد الورقة البحثية انهيار النمط (Mode Collapse) باعتباره العائق الأساسي أمام تطبيق التعلم المعزز القائم على التفضيلات (Preference-based RL) على سياسات القيادة ذات الأفعال المستمرة المدربة على مسارات تجريبية واحدة لكل مشهد.

محدودية الضبط الدقيق الخاضع للإشراف (SFT) من مسار واحد: عندما يتم تدريب السياسات عبر الضبط الدقيق الخاضع للإشراف (SFT) على مسار مسجل واحد، فإن توزيع العينات الناتج يتكتل بشدة حول تلك المناورة المحددة. وحتى مع وجود رؤوس أفعال تعبيرية (مثل مطابقة التدفق أو الانتشار)، تفشل السياسة في تمثيل بدائل متميزة دلاليًا (مثل الكبح مبكرًا مقابل الكبح متأخرًا، أو تغيير المسار مقابل البقاء في المسار).
فشل التعلم المعزز القائم على التفضيلات: يعتمد التقييم القائم على التفضيلات (مثل Best-of- $N$ ) على قدرة السياسة على توليد مرشحات متنوعة لاختيار الأعلى تقييمًا منها. ومع ذلك، إذا كان توزيع العينات منهارًا حول نمط واحد، فإن "الاختيار المثالي" (Oracle Selection) لا يمكنه استعادة المسارات عالية الجودة التي لم يتم أخذ عينات منها أصلًا. وبناءً على ذلك، فإن أداء Best-of- $N$ يستقر دون جودة التجربة البشرية الأصلية، بغض النظر عن ميزانية العينات ( $N$ ).
الرؤية الجوهرية: العائق ليس آلية تحديث السياسة نفسها، بل هو توزيع العينات. يفشل نظام (GRPO) القياسي لأن المسارات المستمدة من نية واحدة (أو بذور ضوضاء واحدة) تؤدي إلى إعادة انهيار المجموعة، مما يوفر مزايا نسبية للمجموعة غير كافية للمعلومات (تباين تفضيل منخفض).

2. المنهجية: إطار عمل DIAL

يقترح المؤلفون إطار عمل DIAL (التعلم المعزز بتعزيز النوايا - Driving-Intent-Amplified Learning)، وهو إطار عمل يتكون من مرحلتين مصمم لتوسيع توزيع العينات أولاً ثم الحفاظ على هذا التوسع أثناء التعلم المعزز القائم على التفضيلات.

المرحلة الأولى: التوجيه الخالي من المصنف (CFG) المشروط بالنية

الهدف: كسر انهيار النمط الناتج عن المسار الواحد عبر توسيع توزيع العينات على طول أنماط مناورة متميزة دلاليًا.
الآلية:
- رأس فعل "مطابقة التدفق" (Flow-matching) مشروط بـ ملصق نية منفصل $c$ .
- تتكون مجموعة النوايا من ثماني فئات مستمدة من القواعد: الإبحار (Cruise)، تغيير المسار (يمين/يسار)، الانعطاف (يمين/يسار)، الدوران للخلف (U-turn)، التسارع، التباطؤ.
- التوجيه الخالي من المصنف (CFG): أثناء التدريب، يتم إسقاط ملصقات النوايا عشوائيًا (استبدالها بمكان محايد غير مشروط) باحتمالية $p_{drop}$ . هذا يعلم النموذج توليد توزيعات أفعال شرطية (خاصة بالنية) وغير شرطية في آن واحد.
- الاستدلال: يتنبأ مصنف بادئة (Prefix Classifier) خفيف الوزن بالنية من السياق البصري. بعد ذلك، يقوم المولد بفك تشفير المسار باستخدام النية المتوقعة، حيث يجمع بين تنبؤات السرعة الشرطية وغير الشرطية.
النتيجة: تسمح هذه المرحلة للسياسة بتوليد مسارات متنوعة (مثل انعطاف يسار مقابل البقاء في المسار) لنفس المشهد، بدلاً من مجرد اضطرابات على مستوى الإحداثيات لمسار واحد. رفع التوجيه المشروط بالنية لسقف أداء Best-of- $N$ بشكل كبير.

المرحلة الثانية: تحسين المجموعة النسبي متعدد النوايا (Multi-Intent GRPO)

الهدف: الحفاظ على التنوع الموسع أثناء الضبط الدقيق بالتعلم المعزز وتحسين السياسة نحو التفضيلات البشرية.
الآلية:
- المسارات المتوازنة بالنية: لكل مشهد، يقوم النظام بأخذ عينات من $S$ مسار لكل من $C=8$ من النوايا، مما ينشئ مجموعة من $K = C \times S$ من المقترحات (على سبيل المثال، $K=16$ مع $S=2$ ).
- الميزة النسبية للمجموعة: يتم حساب درجة التغذية الراجعة للمكافأة (RFS) لجميع المسارات $K$ . يتم تطبيع المزايا عبر المجموعة المجمعة بالكامل. نظرًا لأن المجموعة تغطي جميع فئات النوايا، فإن تحديث التعلم المعزز يتلقى إشارة تفضيل ذات مغزى عبر أنماط المناورة المختلفة، مما يمنع المجموعة من إعادة الانهيار حول نمط مفضل واحد.
- الوعي بـ "اختطاف المكافأة" (Reward-Hacking): تعدل مكافأة التدريب معيار RFS القياسي لمنع الإفراط في التخصيص:
  - تستبدل الحد الأقصى الصارم فوق مسارات المقيم بـ تجميع label-softmax.
  - تكثف نقاط الارتكاز من $\{3s, 5s\}$ إلى $\{1s, 2s, 3s, 4s, 5s\}$ لمعاقبة الحركة المتوسطة غير المنطقية.
تحديث السياسة: يستخدم هدف GRPO مقصوص (Clipped) مع عقوبة سياسة المرجع (تباعد KL) مقابل نسخة الـ SFT من المرحلة الأولى.

3. المساهمات الرئيسية

تحديد انهيار النمط: تثبت الورقة أن سقف التعلم المعزز القائم على التفضيلات للسياسات ذات الأفعال المستمرة محدود بتوزيع العينات. خطوط الأساس التنافسية لـ SFT تشبع تحت مستوى العرض البشري (Best-of-128 RFS < 8.13) لأنها لا تستطيع أخذ عينات من أنماط مناورة متميزة.
التوجيه الخالي من المصنف المشروط بالنية (Intent-Conditioned CFG): يثبت أن اشتراط رأس الفعل بنوايا منفصلة يكسر سقف أخذ العينات. حقق أخذ العينات المشروط بالنية نتيجة Best-of-128 قدرها 9.14، متجاوزًا بذلك أفضل مخطط سابق (RAP، 8.5) وحتى العرض البشري (8.13) لأول مرة.
إطار عمل DIAL: يقدم خط إنتاج من مرحلتين يجمع بين توسيع الـ CFG للنية مع multi-intent GRPO. هذا يحافظ على التنوع الذي أرساه في المرحلة الأولى، مما يحسن أداء RFS للمسار المنفرد المحتجز من 7.681 إلى 8.211.
التحقق التجريبي من التنوع: يظهر أن متغيرات النية الواحدة (حتى مع الاختيار الأمثل للنية) تفشل في مضاهاة أداء DIAL وتتدهور في النهاية، مما يثبت أن تغطية مجموعة النوايا الكاملة داخل مجموعة التفضيل ضروري لاستقرار التعلم المعزز.

4. النتائج التجريبية

تم التقييم على مجموعة بيانات WOD-E2E باستخدام معيار RFS (Waymo Open Dataset End-to-End):

أداء خط الأساس: أظهرت أربعة خطوط أساس تنافسية لـ SFT (مثل WAM-Flow و Curious-VLA و AutoVLA و ReCogDrive) مكاسب طفيفة من التعلم المعزز على الجزء المحتجز (على سبيل المثال، ReCogDrive +0.315، WAM-Flow +0.087). ظل أداء Best-of- $N$ الخاص بها تحت مستوى العرض البشي.
أداء DIAL:
- RFS للمسار المحتجز: تحسن من 7.696 (SFT init) إلى 8.211 (+0.515)، وهو أعلى مكسب بين جميع الأنظمة المدربة بالتعلم المعزز.
- RFS للتقسيم الكامل: تحسن من 7.369 إلى 8.631.
- Best-of-128: وصل أخذ العينات المشروط بالنية إلى 9.14، متجاوزًا العرض البشري (8.13) والمخطط الرائد السابق RAP (8.5).
نتائج دراسة الاستبعاد (Ablation):
- متعدد النوايا مقابل النية الواحدة: متغيرات Single-intent GRPO (باستما استخدام $K=16$ بذور ضوضاء لنية واحدة) بلغت ذروتها عند مستوى أدنى (max 7.992) وتدهورت بنهاية التدريب.
- العينات لكل نية ( $S$ ): تم تحديد $S=2$ (إجمالي $K=16$ ) كـ "النقطة المثالية" لذروة الأداء.
- تشكيل المكافأة: منع استخدام تجميع softmax والارتكازات الكثيفة اختطاف المكافأة وحسن الاستقرار.

5. الأهمية والادعاءات

تدعي الورقة أن التحدي الأساسي في محاذاة التفضيلات للقيادة ذات الأفعال المستمرة ليس مجرد كيفية تحديث السياسة، بل كيفية توسيع والحفاظ على توزيع العينات الذي يتم تحسينه.

التحول في النموذج: تجادل الورقة بأن التعلم المعزز القائم على التفضيلات يكون غير فعال إذا لم تتمكن السياسة من توليد بدائل متميزة دلاليًا. "العائق" هو آلية الاقتراح، وليس المحسن.
الأثر العملي: من خلال نمذجة نوايا القيادة صراحةً والحفاظ على هذا التنوع عبر multi-intent GRPO، ينجح DIAL في الهروب من انهيار النمط، مما يسمح للسياسة بالوصول إلى جودة العروض البشرية وتجاوزها في إعداد Best-of- $N$ ، وتحسين أداء النشر للمسار المنفرد بشكل كبير.
التواضع: يقر المؤلفون بالقيود، مشيرين إلى أن النوايا الثماني مشتقة من قواعد هندسية مكتوبة يدويًا (قد تفتقر إلى السلوكيات طويلة الذيل) وأن بيانات تدريب التعلم المعزز (438 تسلسلًا) صغيرة نسبيًا مقارنة بتقسيم Waymo الكامل.

باختصار، يوضح DIAL أن الاقتراحات المتنوعة بالنية هي شرط مسبق لنجاح تحسين التفضيلات في القيادة من طرف إلى طرف، مما يسمح للسياسات باستكشاف كامل مساحة المناورات المقبولة بدلاً من الانهيار في تقليد هندسي واحد.