Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems
تقدم هذه الورقة SafeGate، وهي بنية سلامة عصبية رمزية (neurosymbolic) تجمع بين بوابة قرار ما قبل التنفيذ القائمة على معايير ISO 13482 وبين عقود سلامة المهام أثناء التشغيل وحل Z3 SMT، وذلك لمنع الأوامر اللغوية الطبيعية غير الآمنة من الوصول إلى أنظمة الروبوت التي يتم التحكم فيها بواسطة النماذج اللغوية الكبيرة (LLM) والتسبب في مخاطر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك خادماً آلياً (روبوت) ذكياً جداً ومتحمساً للغاية. يمكن لهذا الروبوت فهم أي جملة تقولها وتحويلها إلى مجموعة من التعليمات لتنظيف منزلك، أو طهي العشاء، أو إحضار قهوتك. إنه يشبه امتلاك جني يحقق أمانيك فوراً.
ولكن هنا تكمن المشكلة: الأجِنّة حرفيون في تنفيذ الطلبات. إذا قلت له: "أحضر لي القهوة الساخنة"، فقد يمسك الجني الحرفي وعاءً مغلياً ويركض مباشرة نحو طفلك الصغير. وإذا قلت له: "ارمِ السكين على الكلب"، فقد يفعل ذلك بالضبط، ظناً منه أنه ينفذ الأوامر فحسب.
أنظمة الروبوت الحالية تشبه هؤلاء الأجِنّة الحرفيين؛ فهي بارعة في معرفة كيفية تنفيذ المهمة، لكنها سيئة جداً في معرفة ما إذا كانت المهمة آمنة للقيام بها في المقام الأول. فهي غالباً ما تحاول تنفيذ أوامر خطيرة لأنها تفتقر إلى "مرشح سلامة".
يقدم هذا البحث SafeGate، وهو نظام جديد مصمم ليعمل كـ حارس أمن ذكي وصارم يقف عند الباب مباشرة قبل أن يُسمح للروبوت بتحريك عضلة واحدة.
الفكرة الجوهرية: "بوابة السلامة" (The Safety Gate)
فكر في SafeGate كـ حارس أمن (Bouncer) في ملهى حصري، ولكن بدلاً من التحقق من الهويات، فإنه يتحقق من سلامة طلبك. هو لا يكتفي بالقول "نعم" أو "لا"، بل لديه ثلاث حركات:
- التصريح (الضوء الأخضر): "هذا آمن. انطلق أيها الروبوت!"
- الرفض (الضوء الأحمر): "هذا خطر. توقف فوراً."
- الإرجاء (الضوء الأصفر): "تنقصني بعض المعلومات. اسأل الإنسان قبل المضي قدماً."
كيف يعمل SafeGate (العملية المكونة من 6 خطوات)
بنى المؤلفون هذا النظام باستخدام مزيج من الذكاء الاصطناعي (الجزء العصبي "Neuro") والقواعد المنطقية الصارمة (الجزء الرمزي "Symbolic"). إليك كيف يعالج أمراً مثل: "أحضر القهوة الساخنة لابنتي في غرفة النوم."
1. مصفوفة تحليل المخاطر (المحقق)
يعمل النظام مثل محقق يفكك الجملة. ويسأل ثلاثة أسئلة كبيرة:
- المهمة: هل "القهوة الساخنة" خطيرة؟ نعم، يمكن أن تسبب حروقاً.
- البيئة: هل الابنة في غرفة مظلمة؟ هل هناك سلالم؟
- المستخدم: هل الابنة رضيعة؟ هل هي نائمة؟
يقوم النظام بتصنيف المخاطر إلى أربعة مجالات: جسدية (حروق، جروح)، نفسية (إخافة شخص ما)، تشغيلية (هل يستطيع الروبوت القيام بذلك فعلياً؟)، وتبعية (هل سيؤدي ذلك إلى مشكلة لاحقاً، مثل ترك أرضية زلقة؟).
2. طبقة ربط المخاطر (المترجم)
يجد المحقق قائمة بالمخاطر المحتملة. الآن، يقوم النظام بترجمة تلك المخاطر الغامضة إلى كتاب قواعد رسمي.
- مثال: إذا تضمنت المهمة "قهوة ساخنة"، يستدعي النظام قاعدة مكتوبة مسبقاً: "لا تحمل أبداً سوائل ساخنة بالقرب من أطفال نائمين".
- إذا وجد النظام خطراً ليس لديه قاعدة له بعد، فإنه يصنفه كـ "غير معروف" ويطلب المساعدة.
3. بوابة القرار (القاضي)
هذا هو القاضي الصارم الذي يتخذ القرار النهائي بناءً على القواعد.
- الرفض: إذا كان الأمر "ارمِ السكين على الكلب"، يقول القاضي: "لا. هذا خطر لا يمكن منعه".
- الإرجاء: إذا كان الأمر "أحضر الزجاجة إلى الشخص"، لكن النظام لا يعرف ماذا يوجد في الزجاجة أو من هو الشخص، يقول القاضي: "لا يمكنني التقرير. اسأل الإنسان: 'هل الزجاجة مليئة بالحمض؟'".
- التصريح: إذا كان الأمر "أحضر المنشفة إلى الشخص"، واجتاز جميع الفحوصات، يقول: "انطلق".
4. عقد السلامة (الاتفاق القانوني)
بمجرد السماح للروبوت بالعمل، لا يتركه SafeGate ينطلق دون قيود. بل ينشئ عقد سلامة. فكر في هذا كأنه اتفاق قانوني يجب أن يوقعه الروبوت.
- الثوابت (Invariants): قواعد يجب أن تظل صحيحة دائماً (مثل: "لا تقترب لمسافة أقل من متر واحد من أي شخص").
- الحواجز (Guards): قواعد يجب أن تكون صحيحة قبل القيام بحركة معينة (مثل: "تحقق مما إذا كانت الأرضية جافة قبل المشي").
- شروط الإلغاء (Abort Conditions): قواعد تؤدي إلى توقف فوري (مثل: "إذا ركض طفل أمامك، تجمد في مكانك").
5 و 6. التحقق والمراقبة (التدقيق المزدوج)
قبل أن يتحرك الروبوت، يقوم برنامج كمبيوتر بمحاكاة الخطة للتأكد من أنها لن تكسر العقد. ثم، بينما يتحرك الروبوت فعلياً، يراقبه "كلب حراسة" (Watchdog). إذا حاول الروبوت كسر قاعدة ما، يضغط المراقب على المكابح الطارئة فوراً.
لماذا يهم هذا (النتائج)
اختبر الباحثون SafeGate مقابل أنظمة سلامة أخرى ونماذج ذكاء اصطناعي قياسية باستخدام 230 مهمة مختلفة (مثل "نظف المطبخ" أو "ساعد كبار السن").
- الطريقة القديمة: كانت الأنظمة الأخرى مثل والد قلق يقول "لا" لكل شيء لمجرد الأمان (مما منع 50% من المهام الآمنة) أو مثل سائق متهور يقول "نعم" لكل شيء (مما سمح بمرور 39% من المهام الخطيرة).
- SafeGate: كان هو الحل المثالي (Goldilocks) للسلامة.
- سمح بمرور 92.8% من المهام الآمنة (لذا فإن الروبوت مفيد حقاً).
- منع 100% من المهام الخطيرة (لذا لن يتأذى أحد).
- طلب توضيحاً للمهام الصعبة بدلاً من التخمين.
الخلا الخلاصة
SafeGate يشبه وضع حزام أمان ذكي وغير قابل للكسر و"مساعد طيار" لروبوتك. فهو لا يأمل فقط أن يكون الروبوت حذراً، بل يقوم بنشاط بفحص الخطة، وإنشاء عقد سلامة، ومراقبة الروبوت كالصقر.
إنه يضمن أنه عندما تطلب من روبوتك "أحضر لي مشروباً"، فإنه لن يحضر لك بالخطأ كوباً من الماء المغلي أو يتعثر في قطتك. إنه يجعل مستقبل المساعدين الآليين ليس ذكياً فحسب، بل آمناً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.