🤖 machine learning

Learning responsibility allocations for multi-agent interactions: A differentiable optimization approach with control barrier functions

تقترح هذه الورقة إطار عمل يعتمد على البيانات يجمع بين دالات حاجز التحكم والتحسين القابل للتفاضل لتعلم تخصيصات مسؤولة قابلة للتفسير، مما يمكّن الوكلاء المستقلين من قياس وتعديل سلوكياتهم من أجل تفاعلات متعددة الوكلاء آمنة ومدركة اجتماعياً.

المؤلفون الأصليون: Isaac Remy, David Fridovich-Keil, Karen Leung

نُشر 2026-03-11

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Isaac Remy, David Fridovich-Keil, Karen Leung

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقود سيارتك على طريق سريع مزدحم. تريد التسريع لتصل إلى وجهتك، لكن السيارة التي أمامك تسير ببطء، والسيارة في المسار المجاور تحاول الاندماج في الطريق. ليس لديك دليل إرشادي يخبرك بالضبط من يجب أن يبطئ ومن يجب أن يسرع، بدلاً من ذلك، أنت تعتمد على مزيج من الغريزة، والأعراف الاجتماعية، وقليل من "قراءة الموقف".

هذه الورقة البحثية تدور حول تعليم الروبوتات والسيارات ذاتية القيادة نفس القدرة على "قراءة الموقف"، ولكن بطريقة واضحة، ورياضية، وآمنة.

إليك تفصيل فكرتهم باستخدام تشبيهات بسيطة:

1. المشكلة الجوهرية: معضلة "من يتنازل؟"

في العالم الحقيقي، البشر بارعون في التفاوض على المساحة. إذا كانت سيارتان تتجهان نحو تصادم، فقد تبطئ إحداهما، أو قد تبطئ كلتاهما قليلاً. هذا هو العرف الاجتماعي.

ومع ذلك، فإن الروبوتات تُبرمج عادةً بقواعد جامدة: "توقف إذا كان هناك شيء أمامك". هذا الأسلوب صلب للغاية. أحياناً يجب على السيارة التي في الخلف أن تسرع؛ وأحياناً يجب على السيارة التي في الأمام أن تغير مسارها. المشكلة هي: كيف نعلم الروبوت كيف يعرف "مقدار" التغيير الذي يجب أن يجريه في خطته ليسمح للآخر بالمرور؟

يطلق المؤلفون على هذا اسم "المسؤولية" (Responsibility).

مسؤولية عالية: "أنا مستعد لتغيير مساري بالكامل لتجنب الاصطدام بك."
مسؤولية منخفضة: "سأستمر في السير في خط مستقيم؛ من الأفضل أن تبتعد أنت عن طريقي."

2. الحل: "فلتر السلامة" (الحارس الشخصي)

يستخدم الباحثون أداة رياضية تسمى دالة حاجز التحكم (Control Barrier Function - CBF). فكر في الأمر كأنها حارس شخصي في ملهى ليلي.

الملهى: المنطقة الآمنة حيث لا تحدث حوادث.
الحارس الشخصي: قاعدة رياضية تقول: "إذا حاولت دخول منطقة الخطر، سأوقفك".
التحكم المرغوب: هذا ما يريد الروبوت فعله (مثلاً: "أريد السير بسرعة 60 ميلاً في الساعة").
الواقع: أحياناً، السير بسرعة 60 ميلاً في الساعة يصطدم بقاعدة الحارس الشخصي.

يقوم الحارس بإجبار الروبوت على اختيار سرعة جديدة تكون آمنة. والسؤال هو: من يدفع الثمن؟ هل يبطئ الروبوت كثيراً، أم يجبر السيارة الأخرى على الإبطاء؟

3. الابتكار: تعلم "التقسيم"

في الماضي، كان على المهندسين تخمين كيفية تقسيم هذه المسؤولية. ربما قرروا أن السيارة التي في الخلف دائماً هي التي تتنازل. لكن هذا ليس هو الحال لدى البشر. فأحياناً تتنازل السيارة التي في الأمام، وأحياناً تتنازل السيارة التي في الخلف.

تقترح هذه الورقة نهجاً يعتمد على البيانات. فبدلاً من التخمين، يتركون الكمبيوتر يتعلم "التقسيم" من خلال مراقبة كيفية قيادة البشر في الواقع.

هم يعاملون "المسؤولية" كأنها قرص تحكم (Dial) (رقم بين 0 و1).

إذا تم ضبط القرص على 0 للسيارة (أ)، فإن السيارة (أ) ستفعل ما تريد تماماً، ويجب على السيارة (ب) القيام بكل العمل لتجنب التصادم.
إذا تم ضبط القرص على 0.5، فإن كلتا السيارتين ستتوصلان إلى حل وسط بالتساوي.

4. كيف يعلمون الروبوت (التحسين القابل للتفاضل)

هذا هو الجزء التقني السحري، مشروحاً ببساطة:

تخيل أنك تحاول تعليم طالب (الروبوت) كيفية القيادة من خلال عرض فيديوهات لسائقين حقيقيين.

التخمين: يشاهد الروبوت فيديو ويخمن: "حسناً، في هذا الموقف، السيارة الحمراء مسؤولة بنسبة 80% عن الإبطاء".
المحاكاة: يقوم الروبوت بتشغيل محاكاة باستخدام هذا التخمين. ويحسب ما كان ينبغي للسيارات فعله بناءً على مسؤولية الـ 80%.
المقارنة: يقارن الروبوت محاكاته بالفيديو الحقيقي. "أوه، السيارة الحمراء الحقيقية أبطأت بنسبة 40% فقط. تخميني كان خاطئاً".
التصحيح: يستخدم الروبوت خدعة رياضية خاصة (التحسين القابل للتفاضل) لتعديل "قرص المسؤولية" الخاص به فوراً ليقترب من الإجابة الحقيقية.

يفعلون ذلك آلاف المرات حتى يتطابق "قرص المسؤولية" الخاص بالروبوت تماماً مع السلوك البشري.

5. "خدعة المرآة" (التماثل)

أحد الأشياء الرائعة التي اكتشفوها هو أن ترتيب السيارات لا ينبغي أن يغير النتيجة. إذا كانت السيارة (أ) خلف السيارة (ب)، فيجب أن تكون المسؤولية هي نفسها كما لو كانت السيارة (ب) خلف السيارة (أ)، ولكن بشكل معكوس.

ولجعل التعلم أسرع وأذكى، قاموا ببناء "مرآة" داخل رياضياتهم. إذا تعلم الروبوت كيف تتصرف السيارة (أ) عندما تكون في الخلف، فإنه يعرف تلقائياً كيف تتصرف السيارة (أ) عندما تكون في الأمام، دون الحاجة إلى بيانات إضافية. هذا يشبه تعلم حركة رقص بيدك اليسرى ومعرفة كيفية القيام بها بيدك اليمنى فوراً.

6. ماذا وجدوا؟

لقد اختبروا ذلك على شيئين:

بيانات وهمية: صنعوا سيناريو يعرفون فيه الإجابة مسبقاً. تعلم الروبوت الإجابة بشكل مثالي.
بيانات حقيقية: استخدموا محاكياً للقيادة حيث يقوم البشر بتبديل المسارات بسرعة.
- النتيجة: تعلم الروبوت أنه إذا كانت السيارة في الخلف وتسير بسرعة أكبر، فإنها عادةً ما تتحمل مسؤولية أقل (أي أنها تتوقع من السيارة الأمامية أن تتحرك).
- النتيجة: إذا كانت السيارتان جنباً إلى جنب، فإنهما تتقاسمان المسؤولية.

لماذا هذا مهم؟

حالياً، يمكن للسيارات ذاتية القيادة أن تكون مفاجئة أو مربكة لأنها لا تفهم الفروق الاجتماعية الدقيقة. قد تتوقف فجأة بينما كان بإمكان الإنسان أن يبطئ قليلاً فقط.

من خلال تعليم الروبوتات فهم تخصيص المسؤولية، يمكننا جعلها:

أكثر أماناً: فهي تعرف بالضبط مقدار التنازل لتجنب وقوع حادث.
أكثر طبيعية: فهي تقود مثل البشر، مما يجعل من السهل علينا مشاركة الطريق معها.
قابلة للتفسير: يمكننا النظر إلى "قرص المسؤولية" والقول: "آه، لقد أبطأ الروبوت لأنه قرر أنه مسؤول بنسبة 70% عن سلامة عملية الاندماج".

باختصار: تمنح هذه الورقة البحثية الروبوتات "ضميراً اجتماعياً" من خلال تعليمها كيفية حساب من يجب أن يتنازل رياضياً في الازدحام المروري، مما يجعل طرقنا المستقبلية أكثر أماناً وأقل توتراً.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تعلم تخصيصات المسؤولية في التفاعلات متعددة الوكلاء: نهج تحسين قابل للتفاضل باستخدام دوال الحاجز للتحكم".

1. بيان المشكلة

يعد التفاعل الآمن بين الوكلاء المتعددين (مثل القيادة الذاتية، أو توصيل الطرود) أمراً صعباً لأن اتخاذ القرار البشري محكوم بقواعد اجتماعية معقدة وصعبة النمذجة وإشارات سياقية. وبينما تفتقر نماذج التعلم من الطرف إلى الطرف (end-to-end) إلى القابلية للتفسير، وتفتقر النماذج المصممة يدوياً إلى القدرة على استيعاب الحالات الاستثنائية الدقيقة، هناك حاجة إلى نهج قائم على البيانات والنمذجة يوفر قابلية للتفسير.

المشكلة الجوهرية التي تعالجها الورقة هي: كيف يمكننا استنتاج "مسؤولية" الوكلاء في نظام متعدد الوكلاء كمياً وبشكل قابل للتفسير من بيانات التفاعل؟

تعريف المسؤولية: يعرّف المؤلفون المسؤولية بأنها رغبة الوكيل في الانحراف عن التحكم المرغوب فيه (مثل الحفاظ على السرعة أو المسار) لاستيعاب التفاعلات الآمنة مع الآخرين.
الفجوة: الطرق الحالية مثل "التوجه القيمي الاجتماعي" (SVO) غالباً ما تكون محدودة بوكيلين فقط أو تعتمد على دوال مكافأة غير معروفة. أما طريقة "تجنب التصادم المتبادل الأمثل" (ORCA) فغالباً ما تفترض مسؤولية متساوية أو تستخدم استدلالات لا تتماشى مع المعايك الاجتماعية البشرية المتعلمة.

2. المنهجية

يجمع الإطار المقترح بين دوال الحاجز للتحكم (CBFs) والتحسين القابل للتفاضل لتعلم تخصيصات المسؤولية.

أ. الصياغة الرياضية

ديناميكيات النظام: يتم نمذجتها كنظام متعدد الوكلاء من النوع (control-affine) بالمعادلة $\dot{x} = \tilde{f}(x) + \sum g_i(x)u_i$ .
قيد السلامة: يتم تعريف قيد تجنب التصادم المشترك عبر دالة حاجز للتحكم (CBF) حيث $b(x) \geq 0$ .
مرشح السلامة: يقوم مرشح سلامة (CBF) القياسي بإسقاط التحكم المرغوب $u^{des}$ في مجموعة آمنة $U_{safe}$ عن طريق تقليل الانحراف $\|u - u^{des}\|^2$ مع مراعاة قيد الـ CBF.
تخصيص المسؤولية ( $\gamma$ ): يعدل المؤلفون مرشح السلامة ليشمل متجه مسؤولية $\gamma = [\gamma_1, ..., \gamma_N]$ $γ = [γ_{1}, ..., γ_{N}]$ حيث $\sum \gamma_i = 1$ $\sum γ_{i} = 1$ .
- تعني قيمة $\gamma_i$ الأعلى أن الوكيل أقل استعداداً للانحراف (أقل مسؤولية)، بينما تعني القيمة الأقل أن الوكيل أكثر استعداداً للانحراف (أكثر مسؤولية) لتحقيق السلامة.

ب. التحسين العكسي عبر البرمجة التفاضلية

الهدف هو إيجح $\gamma$ بحيث تتطابق نتيجة مرشح السلامة مع البيانات البشرية المرصودة.

التحسين ثنائي المستوى (Bi-level Optimization):
- الحلقة الخارجية: تقليل الخسارة بين الضوابط المرصودة والضوابط المسقطة.
- الحلقة الداخلية: حل برنامج التربيع (QP) المحدد بواسطة مرشح سلامة الـ CBF.
التحسين القابل للتفاضل: يستفيد المؤلفون من التطورات الحديثة في تفاضل برامج التربيع المحدبة (باستخدام أدوات مثل JAX والتفاضل التلقائي). وهذا يسمح بتعلم $\gamma$ بكفاءة عبر التدرج دون الحاجة لفك خطوات التحسين.
المسؤولية المتماثلة: لتحسين كفاءة البيانات وضمان ثبات التبديل (أي أن النتيجة لا تعتمد على ما إذا كان الوكيل يُسمى "الوكيل 1" أو "الوكيل 2")، يقترح المؤلفون دالة مسؤولية متماثلة.
- بالنسبة لأنظمة $N$ من الوكلاء، يتم بناء $\gamma$ باستخدام شبكة عصبية $\phi$ وبنية معينة ثابتة التبديل (المعادلة 7).
- بالنسبة للأنظمة ذات الوكيلين، يستخدمون صياغة إحداثيات نسبية مع قيد تناظر مكمل (المعادلة 8).

3. المساهمات الرئيسية

صياغة مبتكرة: تعريف رياضي لتخصيصات المسؤولية بناءً على دوال الحاجز للتحكم (CBFs)، وتأطيرها كإنحراف عن التحكم المرغوب.
خوارزمية تعلم فعالة: تقنية فعالة حاسوبياً لاستنتاج تخصيصات المسؤولية من البيانات باستخدام التحسين القابل للتفاضل، مما يسمح بالمعالجة المتوازية لبرامج التربيع (QPs).
المسؤولية المتماثلة: تقديم نموذج مسؤولية متماثل يفرض ثبات التبديل، مما يحسن كفاءة البيانات بشكل كبير عبر تقليل الحاجة إلى تعزيز البيانات المكثف.
التحقق التجريبي: إثبات الإطار على كل من مجموعات البيانات الاصطناعية والواقعية البشرية، مما يظهر القدرة على استعادة القيم الحقيقية وتقديم رؤى قابلة للتفسير.

4. النتائج التجريبية

قيم المؤلفون طريقتهم على مجموعتي بيانات:

أ. مجموعات البيانات الاصطناعية

الإعداد: أنظمة مكونة من وكيلين (1D) و6 وكلاء (2D) مع قيم $\gamma$ حقيقية معروفة.
النتائج: نجحت الخوارزمية في استعادة قيم $\gamma$ $γ$ الحقيقية من بيانات مشوشة.
- كان التقارب سريعاً حتى مع وجود $\gamma$ متغيرة زمنياً.
- كان وقت الحساب يتناسب خطياً مع حجم الدفعة (batch size)، مما يشير إلى إمكانية الاستخدام في التقدير الفوري (online estimation).

ب. مجموعة بيانات تغيير المسارات المرورية الواقعية

الإعداد: مسارات لسائقين بشريين يتبادلان المسارات في محاكي. تضمنت مجموعة البيانات سيناريوهات متنوعة (مثل التجاوز، والبدء جنباً إلى جنب).
النتائج:
- فوائد التماثل: حقق النموذج المتماثل نتائج مقاربة للنماذج غير المقيدة دون الحاجة إلى تعزيز البيانات (تبديل تسميات الوكلاء)، مما يبرز كفاءة البيانات المتفوقة.
- القابلية للتفسير: توافقت قيم $\gamma$ المتعلمة مع الحدس البشري. على سبيل المثال، في سيناريو التجاوز، تم تخصيص مسؤولية أقل للسيارة الأسرع (التي في الخلف)، بينما تحملت السيارة الأبطأ (في الأمام) مسؤولية أعلى (الفرملة/التنازل).
- القيود: واجه النموذج صعوبة مع البيانات متعددة الأنماط (مثل السيناريوهات التي يمكن لأي من السيارتين فيها التجاوز). في هذه الحالات الغامضة، تقارب النموذج نحو تخصيص مسؤولية متساوٍ وثابت، مما يشير إلى الحاجة إلى توسعات احتمالية للتعامل مع الأنماط السلوكية المتعددة.
- رصد الانحياز: نجح النموذج في رصد انحيازات مجموعة البيانات، مثل ميل السيارات الخلفية الأسرع للتجاوز بدلاً من التنازل.

5. الأهمية والعمل المستقبلي

الأهمية: يجسّر هذا العمل الفجوة بين التعلم "الصندوق الأسود" والأنظمة القائمة على القواعد الجامدة. فهو يوفر مقياساً كمياً وقابلاً للتفسير للمعايك الاجتماعية في الأنظمة متعددة الوكلاء. ومن خلال تعلم مقدار استعداد الوكلاء للتنازل من أجل السلامة، فإنه يقدم عدسة جديدة لتقييم وتصميم وكلاء مستقلين واعيين اجتماعياً.
الاتجاهات المستقبلية:
1. تطوير طرق منهجية لتعلم سياسة "التحكم المرغوب" (التي يتم تصميمها يدوياً حالياً).
2. توسيع الإطار ليشمل النماذج الاحتمالية للتعامل مع التفاعلات متعددة الأنماط (الغموض حول من يتنازل).
3. تطبيق تخصيصات المسؤولية المتعلمة لتوجيه بناء سياسات الروبوتات في النشر الواقعي.

باخت-صار، تقدم هذه الورقة إطاراً تفاضلياً قوياً يترجم التفاعلات الاجتماعية البشرية المعقدة إلى معلمة ( $\gamma$ ) قابلة للتعلم والتفسير، مما يمكن الأنظمة المستقلة من فهم ومحاكاة سلوكيات السلامة التعاونية الشبيهة بالبشر بشكل أفضل.