PROVE-RT: Generating Mechanized Theorem Prover Scripts for Real-Time Systems using LLMs
تقدم هذه الورقة PROVE-RT، وهو إطار عمل مدعوم بالنماذج اللغوية الكبيرة (LLM) يستخدم مخططات مدركة للتبعية، واسترجاع المستندات، والتوليد المرحلي لأتمتة إنشاء سكربتات PROSA/ROCQ الميكانيكية لتحليل قابلية الجدولة في الوقت الفعلي بنجاح، محققاً معدل نجاح بنسبة 44.7% حيث تفشل التلقينات المباشرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم ببناء آلة معقدة وضخمة من التروس، حيث يجب أن يدور كل ترس في اللحظة المناسبة تماماً. إذا انزلق ترس واحد صغير، تتوقف الآلة بأكملها، وفي العالم الحقيقي، قد يعني هذا أن سيارة ذاتية القيادة ستفقد إشارة التوقف أو أن جهاز تنظيم ضربات القلب سيفشل في النبض. هذا هو عالم الأنظمة في الوقت الحقيقي (real-time systems): حواسيب يجب أن تفعل الأشياء ليس فقط بشكل صحيح، بل في الوقت المحدد أيضاً. لعقود من الزمن، كان المهندسون يتحققون مما إذا كانت هذه الآلات ستعمل عبر كتابة براهين رياضية طويلة ومعقدة على الورق، مثل محقق يحل لغزاً باستخدام دفتر ملاحظاته وقلم رصاص. ولكن مع ازدياد تعقيد هذه الآلات، تصبح تلك البراهين الورقية فوضوية، ويصعب التحقق منها، ومن السهل الوقوع في الخطأ فيها. ولإصلاح ذلك، اخترع العلماء "مدقق براهين رقمي" (أداة تسمى PROSA/ROCQ) يعمل كأنه قاضٍ آلي صارم للغاية. يمكن لهذا الروبوت قراءة الرياضيات والقول: "نعم، هذا صحيح بنسبة 100%"، أو "لا، لقد ارتكبت خطأً هنا". المشكلة؟ تعليم إنسان كيفية كتابة التعليمات لهذا الروبوت أمر صعب للغاية، وبطيء، ويتطلب فهماً بمستوى الدكتوراه في كل من الرياضيات وعلوم الحاسوب.
هنا يأتي دور PROVE-RT، وهي أداة جديدة تحاول تعليم "مساعد ذكاء اصطناعي ذكي" (نموذج لغوي كبير) كيفية كتابة تعليمات هذا الروبوت نيابة عنا. فكر في الأمر كأنك توظف متدرباً عبقرياً ولكنه مرتبك قليلاً، يعرف الكثير عن الرياضيات ولكنه لم يرَ قط كتاب القواعد الخاص بهذه الآلة المعقدة. إذا طلبت من المتدرب ببساطة "اكتب البرهان"، فقد يبتكر قواعد تبدو جيدة ولكنها خاطئة في الواقع. PROVE-RT هو المدير الذكي الذي لا يكتفي بإعطاء المتدرب صفحة بيضاء فحسب، بل يعطيه بدلاً من ذلك مسودة واضحة للخطة، ومجموعة من صفحات كتاب القواعد الدقيقة التي يحتاج إلى الاطلاع عليها، ونظاماً للتحقق من عمله قبل أن يسلمه. توضح الورقة البحثية أنه بينما يكون الذكاء الاصطناعي وحده سيئاً جداً في هذه المهمة المحددة (حيث يصيب في أقل من 1% من المرات)، فإنه مع مساعدة نظام "المدير" هذا، يمكن للذكاء الاصطناعي كتابة التعليمات الصحيحة لحوالي 45% من المهام. إنه ليس عصا سحرية تحل كل شيء بعد، لكنه قفزة هائلة للأمام في جعل الحواسيب تساعدنا في بناء آلات أكثر أماناً وموثوقية.
المشكلة: عنق زجاجة "البرهان الورقي"
لفترة طويلة، استخدم المهندسون براهين "القلم والورقة" لإثبات أن أنظمتهم في الوقت الحقيقي آمنة. الأمر يشبه محاولة بناء ناطحة سحاب عبر رسم المخططات على منديل ورقي. هذا ينجح للمباني الصغيرة، ولكن عندما تصل إلى ناطحة سحاب، يصبح المنديل فوضوياً، ويصعب العثور على الخطأ الصغير الذي قد يؤدي لانهيار الهيكل بأكمده.
ولإصلاح ذلك، أنشأ الباحثون PROSA، وهي مكتبة رقمية من القواعد والبراهين التي يمكن للحاسوب التحقق منها. إنه يشبه الانتقال من منديل ورقي إلى محاكاة ثلاثية الأبعاد حيث يخبرك الحاسوب فوراً إذا كانت العارضة ضعيفة جداً. ولكن هنا تكمن العقبة: كتابة الكود لهذه المحاكة ثلاثية الأبعاد أمر صعب للغاية. فهو يتطلب من خبير بشري ترجمة رسومات المنديل الفوضوية إلى لغة صارمة يمكن للحاسوب قراءتها. إنها عملية صعبة لدرجة أن مجرد تغييرات بسيطة في التصميم يمكن أن تكسر الكود، مما يتطلب ساعات من إعادة الكتابة المملة.
الحل: PROVE-RT (المدير الذكي)
أدرك مؤلفو هذه الورقة أنه بينما يتفوق الذكاء الاصطناعي (النماذج اللغوية الكبيرة) في كتابة الكود وحل المسائل الرياضية، فإنه يرتبك عندما يُطلب منه كتابة كود لهذا "القاضي الآلي" (PROSA) دون مساعدة. فالذكاء الاصطناعي لا يعرف المفردات المحددة أو الترتيب الصارم للقواعد المطلوبة.
لذا، قاموا ببناء PROVE-RT، وهو إطار عمل يعمل كجسر بين الأفكار البشرية الفوضوية والكود الحاسوبي الصارم. لم يكتفوا بسؤال الذكاء الاصطناعي "بفعل ذلك" فحسب، بل قاموا بتفكيك المهمة إلى أربع خطوات متميزة، مثل خط إنتاج في مصنع:
- المسودة (The Sketch): أولاً، يأخذ النظام البرهان الورقي الأصلي ويستخدم الذكاء الاصطناعي لتحويله إلى "مسودة غير رسمية" واضحة وخطوة بخطوة. إنه يشبه تحويل عقد قانوني معقد إلى قائمة بسيطة من النقاط لما يجب أن يحدث.
- البحث في المكتبة (The Library Search): بعد ذلك، يبحث النظام في مكتبة ضخمة من وثائق PROSA للعثور على القواعد والأمثلة الدقيقة التي يحتاجها الذكاء الاصطناعي لتلك الخطوة المحددة. إنه يشبه قيام المدير بتسليم المتدرب الصفحة المحددة من كتاب القواعد التي يحتاجها، بدلاً من تركه يخمن.
- الهيكل العظمي (The Skeleton): يقوم الذكاء الاصطناعي بعد ذلك ببناء "الهيكل العظمي" للكود. هذا هو الهيكل: أسماء المتغيرات، أنواع البيانات، وبيان المشكلة. ومن الأهمية بمكان أن يترك الذكاء الاصطناعي جزء "البرهان" الفعلي فارغاً (يُشار إليه بكلمة "Admitted"، وتعني "ثق بي، سأملأ هذا لاحقاً"). يضمن هذا أن الهيكل صحيح قبل أن يحاول الذكاء الاصطناعي القيام بالرياضيات الصعبة.
- الإنهاء (The Finish): أخيراً، يقوم الذكاء الاصطناعي بملء أجزاء البرهان الفارغة. إذا قال القاضي الحاسوبي: "هذا لا يعمل (doesn't compile)"، يستخدم النظام رسالة الخطأ هذه لإخبار الذكاء الاصطناعي: "حاول مرة أخرى، ولكن قم بإصلاح هذا الخطأ المحدد".
ما وجدوه (النتائج)
اختبر الفريق هذا النظام على مجموعة ضخمة من 1,191 ورقة بحثية للأنظمة في الوقت الحقيقي، مما أدى إلى إنشاء مجموعة بيانات تضم أكثر من 13,000 "مسودة" لتدريب واختبار أداتهم. وقارنوا PROVE-RT بمجرد طلب كتابة الكود مباشرة من أفضل نماذج الذكاء الاصطناعي.
كانت النتائج صارخة. فعندما طلبوا من الذكاء الاصطناعي كتابة الكود مباشرة (طريقة "التوجيه المباشر")، فشل تقريباً تماماً. حيث حقق نسبة 0% من المهام بنجاح مع نموذج واحد، و 0.33% فقط مع نموذج آخر. كان الذكيد الاصطناعي يبتكر قواعد ويكتب كوداً يبدو كأنه PROSA ولكنه لا يعمل فعلياً ضمن النظام.
ومع ذلك، عندما استخدموا نظام "المدير" الخاص بـ PROVE-RT، قفز معدل النجاح إلى 44.7%. وهذا يعني أن الذكاء الاصطناعي نجح في إنشاء برهان يعمل ويتم التحقق منه حاسوبياً لما يقرب من نصف مشاكل الجدولة المعقدة التي اختُبر فيها.
لماذا يهم هذا الأمر
تشير الورقة البحثية إلى أنه لا يمكننا الاعتماد فقط على الذكاء الاصطناعي لـ "معرفة" كل شيء عن مجال متخصص مثل الأنظمة في الوقت الحقيقي. يحتاج الذكاء الاصطناعي إلى التوجيه. من خلال تفكيك المشكلة، وتوفير السياق المناسب (الاسترجاع)، والتحقق من عمله في مراحل (الهيكل أولاً، ثم البرهان ثانياً)، يمكننا تحويل الذكاء الاصطناعي المرتبك إلى مساعد مفيد.
يلاحظ المؤلفون أنه رغم أن نسبة 44.7% هي بداية رائعة، إلا أنها ليست مثالية بعد. فلا يزال النظام يعاني مع المشكلات الأكثر تعقيداً التي تحتوي على سلاسل طويلة من التبعيات (مثل ناطحة سحاب مكونة من 100 طابق حيث يعتمد كل طابق على الطابق الذي تحته). ولكن هذا العمل يثبت أنه مع الأدوات المناسبة، يمكننا البدء في أتمتة إنشاء هذه البراهين الحرجة للسلامة، مما يجعل أنظمتنا في الوقت الحقيقي أكثر أماناً وأسهل في الاعتماد. إنها خطوة نحو مستقبل حيث تساعدنا الحواسيب في إثبات أن آلاتنا لن تفشل، بدلاً من أن نكافح نحن لإثبات ذلك بمفردنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.