⚡ electrical engineering

Safe and Optimal Learning from Preferences via Weighted Temporal Logic with Applications in Robotics and Formula 1

تقترح هذه الورقة إطار عمل للتعلم الأمثل والمضمون السلامة للأنظمة ذاتية القيادة، يستخدم المنطق الزمني الإشاري الموزون (WSTL) مع تقنيات التقليم الهيكلي والتحويل اللوغاريتمي لحل مشكلات التعلم القائم على التفضيلات بكفاءة كبرامج خطية ذات أعداد صحيحة مختلطة، وهو ما تم التحقق من صحته من خلال تجارب في الملاحة الروبوتية وسباقات الفورمولا 1.

المؤلفون الأصليون: Ruya Karagulle, Cristian-Ioan Vasile, Necmiye Ozay

نُشر 2026-03-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ruya Karagulle, Cristian-Ioan Vasile, Necmiye Ozay

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا ذكيًا جدًا، ولكنه عنيد بعض الشيء، كيف يقود سيارة أو يتسابق في سيارة فورمولا 1. أنت تريد من الروبوت أن يتعلم ما يعجبك، ولكنك تحتاج أيضًا إلى ضمان عدم قيامه بأي شيء خطير، مثل الاصطدام بجدار أو القيادة نحو منحدر.

تقدم هذه الورقة البحثية "طريقة تعليم" جديدة تحل مشكلتين كبيرتين في آن واحد:

الأمان: تضمن عدم تعلم الروبوت سلوكيات غير آمنة، حتى لو أخبرته بالخطأ بفعل شيء محفوف بالمخاطر.
المثالية: تجد المجموعة المثالية تمامًا من التعليمات التي تطابق تفضيلاتك، بدلاً من مجرد تقديم تخمين "جيد بما يكفي".

إليك كيف فعلوا ذلك، مشروحًا من خلال تشبيهات بسيطة.

المشكلة: "الطاهي المرتبك"

تخيل أنك طاهٍ يعلم روبوتًا كيفية الطبخ.

أنت تعطي الروبوت وصفة (هذه هي المهمة).
تتذوق طبقين وتقول: "أنا أفضل الطبق (أ) على الطبق (ب)" (هذا هو التعليق/التغذية الراجعة).
يحاول الروبوت تعلم ذوقك.

الطريقة القديمة:
كانت الطرق السابقة تشبه طاهيًا يخمن الوصفة عبر تذوق بعض الأطباء وإجراء تعديلات صغيرة. أحيانًا، كان الروبوت يعلق في "فخ محلي" — معتقدًا أن طبقًا مالحًا قليلاً هو أفضل ما يمكنه الوصول إليه، بينما يوجد في الواقع طبق مثالي التتبيل خلف التلة مباشرة. والأسوأ من ذلك، إذا قلت بالخطأ: "أفضل الطبق الذي يحتوي على قطع زجاج مكسور"، فقد يحاول الروبوت تعلم ذلك، مما يؤدي إلى كارثة.

الط الطريقة الجديدة (هذه الورقة):
ابتكر المؤلفون نظامًا يعامل سلوك الروبوت كـ لغز رياضي يمكن حله بشكل مثالي، مع الحفاظ على شبكة أمان لا تسمح للروبوت بتجاوز الخطوط الخطيرة أبدًا.

السر الخفي: خدعتان سحريتان

لتحويل هذه المشكلة المعقدة في التعلم إلى لغز قابل للحل، استخدم المؤلفون خدعتين ذكيتين:

1. التقليم الهيكلي: "قطع الأغصان الميتة"

تخيل شجرة ضخمة ومتشابكة من التعليمات. تمثل بعض الأغص "خطوات" لا يتخذها الروبوت أبدًا لأنها مستحيلة أو غير ذات صلة بالنتيجة النهائية.

الخدعة: ينظر المؤلفون إلى الشجرة ويقولون: "إذا كان هذا الغص يؤدي إلى طريق مسدود أو لا يغير النتيجة، فلنقطعه".
النتيجة: يقومون بإزالة الفوضى. بدلًا من محاولة حل لغز مكون من 1000 قطعة، يقلصونه إلى الـ 100 قطعة التي تهم حقًا. هذا يجعل مهمة الكمبيوتر أسرع وأسهل بكثير.

2. التحويل اللوغاريتمي: "تحويل الضرب إلى جمع"

هذا هو السحر الحقيقي. في رياضيات الروبوت، يتضمن "التعلم" ضرب الأرقام ببعضها البعض (مثل: أهمية السرعة × أهمية الأمان).

المشكلة: ضرب الأرقام المجهولة ببعضها يخلق فوضى غير خطية ومنحنية يصعب جدًا على أجهزة الكمبيوتر حلها بشكل مثالي. الأمر يشبه محاولة فك عقدة من سباغيتي متشابكة.
الخدعة: يستخدمون أداة رياضية تسمى اللوغاريم (Logarithm). في الرياضيات، ضرب الأرقام يعادل جمع لوغاريتماتها.
- الرياضيات القديمة: $A \times B = ?$ (صعبة الحل)
- الرياضيات الجديدة: $\log(A) + \log(B) = ?$ (سهلة الحل!)
النتيجة: من خلال تحويل الضرب إلى جمع، قاموا بتحويل عقدة السباغيتي الفوضوية إلى خط مستقيم ونظيف. وهذا يسمح لهم باستخدام برنامج حاسوبي قياسي وقوي (يسمى MILP) لإيجال الإجابة الأفضل مطلقًا، وليس مجرد تخمين.

شبكة الأمان: "السياج غير القابل للكسر"

قد تتساءل: "ماذا لو تعلم الروبوت القيادة بسرعة لكنه اصطدم؟"
استخدم المؤلفون لغة خاصة تسمى المنطق الزمني الإشاري الموزون (WSTL). اعتبر هذا مجموعة من القواعد المكتوبة في الحجر.

تنص القواعد على: "يمكنك القيادة بسرعة، ولكن يجب ألا تصطدم بالجدار أبدًا".
على الرغم من أن الروبوت يتعلم مدى اهتمامه بالسرعة مقابل الأمان (الأوزان)، إلا أن هيكل القواعد يضمن أن الأمان سيكون دائمًا هو الأساس.
الأمر يشبه تعليم طفل ركوب الدراجة: يمكنك تعليمهم الذهاب بشكل أسرع (التعلم)، لكن عجلات التدريب (منطق الأمان) تضمن عدم سقوطهم مهما كانت سرعة تبديل الدواسات.

اختبارات العالم الحقيقي

اختبر الفريق النظام في سيناريوهين مختلفين تمامًا:

1. متسابق المتاهة الروبوتي

المهمة: كان على الروبوت التنقل في متاهة، وزيارة مناطق محددة مع تجنب "حفرة الحمم البركانية".
الاختبار: أعطوا الروبوت تفضيلات مختلفة (على سبيل المثال: "اذهب إلى المنطقة أ أولاً" مقابل "اذهب إلى المنطقة ب أولاً").
النتيجة: عدّل الروبوت مساره فورًا ليتناسب مع التفضيل الجديد، مما أثبت قدرته على تعلم التفاصيل الدقيقة دون ارتباك أو تعريض نفسه للخطر.

2. محلل سباقات الفورمولا 1

المهمة: قاموا بتغذية النظام ببيانات حقيقية من سباقات فورمولا 1 سابقة (أوقات اللفات، التوقف في المنصة، مواقع الانطلاق) لمعرفة ما إذا كان بإمكانه تعلم ما يجعل استراتيجية السباق "فائزة".
النتيجة: لم يقم النظام بمجرد حفظ البيانات؛ بل تعلم منطق السباق.
- اكتشف أنه إذا بدأ السباق من موقع جيد، فإن ذلك يعد أمرًا بالغ الأهمية.
- تعلم أن عمليات التوقف في المنصة يجب أن تكون فعالة.
- والأهم من ذلك، استطاع التنبؤ بترتيب السباق النهائي بناءً على اللفات القليلة الأولى فقط، مع التكيف مع سيارات وسائقين جدد لم يسبق له رؤيتهم من قبل.

لماذا يهم هذا؟

هذه الورقة البحثية هي جسر بين الحدس البشري وأمان الروبوتات.

قبلًا: كان علينا الاختيار بين "آمن ولكنه غبي" (قواعد جامدة) أو "ذكي ولكنه مخاطر" (التعلم من البشر الذين قد يرتكبون أخطاء).
الآن: يمكننا الحصول على روبوت يتعلم بالضبط ما نريده، ويفهم تفضيلاتنا، ويضمن رياضيًا بقاءه آمنًا أثناء القيام بذلك.

إنه يشبه إعطاء روبوت عقلًا يمكنه تعلم ذوقك في الموسيقى، ولكن مع مرشح (فلتر) داخلي يضمن عدم تشغيل أغنية تؤذي أذنيك.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التعلم الآمن والأمثل من التفضيلات عبر المنطق الزمني الموزون مع تطبيقات في الروبوتات وسباقات الفورمولا 1."

1. بيان المشكلة

تعتمد الأنظمة ذاتية القيادة بشكل متزايد على التغذية الراجعة البشرية (المقارنات الثنائية، أو التصنيفات، أو العروض التوضيحية) لمواءمة سلوكها مع تفضيلات المستخدم. ومع ذلك، فإن الطرق الحالية لتعلم التفضيلات (مثل التعلم المعزز العكسي، أو التقليد السلوكي) تفتقر غالباً إلى ضمانات سلامة صارمة، وهو أمر بالغ الأهمية في المجالات الحساسة للسلامة مثل القيادة الذاتية والروبوتات الصناعية.

التحديات المحددة التي تمت معالجتها هي:

الصراع بين السلامة والتفضيل: قد يفضل المستخدمون سلوكيات غير آمنة أو قد يفشلون في الحكم على السلامة بشكل صحيح. يجب على النظام تعلم التفضيلات مع الالتزام الصارم بقيود السلامة المحددة من قبل المستخدم أو المجال.
التعقيد الحسابي: تؤدي الأساليب السابقة التي تستخدم المنطق الزمني الإشاري الموزون (WSTL) لتشفير التفضيلات إلى قيود متعددة الخطية عندما تُعامل الأوزان كمتغيرات قرار. إن حل هذه القيود للوصول إلى المثالية هو أمر مستعصٍ حسابياً (فئة صعبة من مشا προβlem البرمجة غير الخطية ذات الأعداد الصحيحة المختلطة)، مما يضطر الباحثين إلى الاعتماد على طرق استدلالية (مثل الانحدار الاشتقاقي، أو أخذ العينات العشوائية) التي لا تقدم أي ضمان لإيجاد الحل الأمثل العالمي.

الهدف: تطوير طريقة لتعلم الأوزان المثلى لصيغ WSTL من التغذية الراجعة البشرية تضمن السلامة، وتتعامل مع أنواع متنوعة من التغذية الراجعة (التفضيلات، التصنيفات، أو العروض التوضيحية)، وتحل المشكلة للوصول إلى المثالية العالمية بكفاءة.

2. المنهجية

يقترح المؤلفون إطار عمل يحول مشكلة التعلم إلى برمجة خطية ذات أعداد صحيحة مختلطة (MILP)، مما يضمن المثالية والسلامة. تتضمن المنهجية الجوهرية إجراءين مبتكرين:

أ. التقليم الهيكلي (Structural Pruning)

المفهوم: بناءً على شجرة حساب المتانة (RCT) لإشارة ما بالنسبة لصيغة معينة، لاحظ المؤلفون أنه إذا كانت المتانة الإجمالية للإشارة موجبة (محققة)، فإن أي صيغة فرعية ذات متانة سالبة أو صفرية يتم "امتصاصها" بواسطة العامل الأب (min/max) ولا تؤثر على القيمة النهائية.
الآلية: تقوم الخوارزمية بالتنقل بشكل تكراري عبر الـ RCT. إذا اختلف إشارة متانة العقدة الابنة عن إشارة الجذر، يتم تقليم ذلك الفرع (إزالته) لأن الأوزان المرتبطة به لا يمكنها تغيير النتيجة النهائية.
الفائدة: يقلل هذا من حجم المشكلة عن طريق استبعاد الأوزان والقيود غير ذات الصلة. والأهم من ذلك، أنه يضمن أن القيود المتبقية تتضمن فقط حدوداً لها نفس الإشارة (كلها موجبة أو كلها سالبة)، وهو شرط مسبق للخطوة التالية.

ب. التحويل اللوغاريتمي (Log-Transform)

المفهوم: تتضمن دلالات WSTL ضرب الأوزان في قيم المتانة (على سبيل المثال، $w \cdot r$ )، مما يخلق قيوداً متعددة الخطية. يطبق المؤلفون تحويلاً لوغاريتمياً لتحويل هذه الضربات إلى عمليات جمع ( $\log(w) + \log(r)$ )، مما يؤدي إلى خطية القيود.
التحدي والحل: اللوغاريتم معرف فقط للقيم الموجبة.
- الحالة 1 (جميعها موجبة): تطبيق مباشر.
- الحالة 2 (جميعها سالبة): يتم فصل الإشارة ويُطبق اللوغاريتم على القيم المطلقة، مع تعديل عوامل الـ min/max وفقاً لذلك.
- الحالة 3 (إشارات مختلطة): يتم تطبيق التقليم الهيكلي أولاً لضمان بقاء فقط الأشجار الفرعية التي لها نفس إشارة الجذر، مما يوحد إشارة جميع المتغيرات في القيود، مما يجعل التحويل اللوغاريتمي صالحاً.
الحفاظ على المثالية: يثبت المؤلفون أنه بما أن الدالة اللوغاريتمية هي دالة تزايدية صارمة، فإنها تحافظ على ترتيب عمليات الـ min/max. لذلك، فإن المحسن (مجموعة الأوزان التي تعظم الهدف) يظل دون تغيير بعد التحويل.

ج. صياغة المشكلة

تتم صياغة مشكلة التعلم كبحث عن متجه أوزان $w^*$ يعظم دالة هدف $f(\phi_w, D)$ (على سبيل المثال، عدد الأزواج المصنفة بشكل صحيح) مع مراعاة القيود الخطية المحولة.

المدخلات: صيغة STL، ومجموعة بيانات $D$ (تفضيلات، تصنيفات، أو عروض توضيحية).
المخرجات: الأوزان المثلى $w^*$ لصيغة PWSTL بارامترية.
ضمان السلامة: يتم الحفاظ على الدلالات النوعية لصيغة STL؛ حيث تقوم الأوزان المتعلمة بتعديل الأهمية الكمية للمهام الفرعية فقط، دون انتهاك قيود السلامة الصارمة المشفرة في المنطق.

3. المساهمات الرئيسية

إطار تعلم أمثل: أول طريقة لحل تعلم التفضيلات الآمن باستخدام WSTL للوصول إلى المثالية العالمية من خلال اختزال المشكلة إلى MILP، متجاوزةً حدود الأساليب الاستدلالية.
التقليم الهيكلي والتحويل اللوغاريتمي: إجراءان مبتكران يعملان على خطية القيود متعددة الخطية وتقليل تعقيد المشكلة مع الإثبات الرياضي بأن الحل الأمثل يظل محفوظاً.
التعامل الموحد مع التغذية الراجعة: يدعم إطار العمل التفضيلات الثنائية، والتصنيفات، والعروض التوضيحية ضمن صياغة واحدة مضمونة السلامة.
القابلية للتفسير: على عكس مناهج الشبكات العصبية "الصندوق الأسود"، توفر الأوزان المتعلمة تفسيراً مباشراً، حيث تقيس الأهمية النسبية لمهام فرعية أو لحظات زمنية محددة في تفضيل المستخدم.

4. النتائج التجريبية

تم تقييم الطريقة في مجالين متميزين:

أ. ملاحة الروبوت (تعلم التفضيلات الآمن)

الإعداد: يجب على الروبوت التنقل إلى مناطق محددة مع تجنب المناطق غير الآمنة. تم إنشاء ثلاث مجموعات بيانات بتسميات تفضيل متفاوتة (أصلية، واحدة مقلوبة، الكل مقلوب).
النتيجة: نجحت الطريقة في تخليق مسارات متميزة لكل مجموعة بيانات. كما أظهرت حساسية عالية للتغيرات الصغيرة في تفضيلات المستخدم، مما أثبت أن الأوزان المتعلمة تعكس بدقة النوايا البشرية الدقيقة مع الالتزام الصارم بحدود السلامة.

ب. سباقات الفورمولا 1 (تعلم التصنيف)

الإعداد: تعلم صيغة WSTL لتصنيف أداء السباقات بناءً على بيانات حقيقية (جائزة مونزا الكبرى، 2021–2025). شملت الإشارات أوقات اللفات، التوقفات في المنصة (pit stops)، موقع الانطلاق، وأحداث سيارة الأمان.
المقارنة: تمت المقارنة مع نماذج عشوائية (RS) والانحدار الاشتقاني (Gradient Descent).
الأداء:
- حققت طريقة MILP المقترحة دقة أعلى (تحسن بنسبة 7% عن RS المبدئي) في كل من مجموعات التدريب والاختبار.
- نجحت في التعميم على المواسم المستقبلية مع سيارات وسائقين مختلفين.
- رؤى: كشفت الأوزان المتعلمة أنه عند استبعاد السيارات التي لم تنهِ السباق (DNF)، كان موقع الانطلاق هو العامل الأكثر أهمية. وعند تضمين حالات الـ DNF، أصبحت أوقات اللفات هي العامل المهيمن.
- التنبؤ: استطاع النموذج التنبؤ بالترتيب النهائي للسباق بدقة تزيد عن 85% بعد مراقبة 15 لفة فقط (عند استبعاد حالات الـ DNF).

5. الأهمية والعمل المستقبلي

الذكاء الاصطناعي الحساس للسلامة: يسد هذا العمل الفجوة بين تعلم التفضيلات والتحقق الرسمي، مما يضمن قدرة الأنظمة ذاتية القيادة على التعلم من البشر دون المساس بالسلامة.
القابلية للتفسير: توفر القدرة على استخراج أوزان قابلة للقراءة من قبل البشر من صيغ المنطق الزمني المعقدة بديلاً شفافاً للتعلم العميق في البيئات عالية المخاطر.
القيود: تتطلب الطريقة الحالية من خبراء المجال كتابة صيغ STL الأولية وضبط المعلمات الفائقة (hyperparameters) لمنع الإفراط في التخصيص (overfitting).
الاتجاهات المستقبلية: يخطط المؤلفون لدمج النماذج اللغوية الكبيرة (LLMs) لترجمة الأوصاف اللغوية الطبيعية تلقائياً إلى صيغ STL، مما يقلل من الاعتماد على التوصيف اليدوي.

في الختام، تقدم الورقة إطار عمل دقيق رياضياً وفعال حسابياً لـ التعلم الآمن والأمثل من التفضيلات، مما يثبت إمكانية التقاط النوايا البشرية المعقدة وتنفيذها بأمان في بيئات ديناميكية مثل الروبوتات وسباقات السيارات.