تخيل أنك تحاول التنبؤ بمستقبل آلة معقدة، مثل سيارة ذاتية القيادة أو روبوت يقطف الفاكهة. للقيام بذلك، يستخدم المهندسون "خريطة" للاحتمالات تسمى نموذج ماركوف (Markov model). فكر في هذه الخريطة كأنها لعبة لوحية ضخمة حيث كل مربع يمثل حالة يمكن أن تكون الآلة فيها، وتحدد رميات النرد كيفية انتقالها من مربع إلى آخر. المشكلة هي أنه لكي تلعب اللعبة بشكل صحيح، تحتاج إلى معرفة مدى احتمالية ظهور كل رقم على النرد بدقة. في العالم الحقيقي، هذه "النرد" هي احتمالات الانتقال (transition probabilities) — مثل احتمال انزلاق ذراع الروبوت أو تعطل خادم ما.

تقليديًا، لملء هذه الأرقام، يتعين على الخبراء تخمين الاحتمالات الدقيقة لكل حركة صغيرة قد تقوم بها الآلة. الأمر يشبه مطالبة طاهٍ بتخمين درجة حرارة كل حبة أرز في القدر بدقة لمجرد معرفة متى ينضج العشاء. هذا أمر صعب للغاية، وإذا كان التخمين خاطئًا ولو بنسبة ضئيلة، فإن التنبؤ الكامل حول موثوقية الآلة أو سرعتها قد يكون خاطئًا. وهنا يأتي دور التعلم البايزي (Bayesian learning). إنه طريقة رياضية لتحديث تخميناتك مع حصولك على معلومات جديدة، لكنه لا يزال يحتاج إلى نقطة بداية، أو "أولوية" (prior)، لكي يعمل. وإذا كان هذا التخمين الأولي سيئًا، فستكون النتيجة النهائية سيئة أيضًا.

هنا يبرز EPIK، وهو نهج جديد قدمه سيموس جيراسيمو وشينغو تشاو. فبدلاً من إجبار الخبراء على تخمين رميات النرد الصغيرة غير المرئية داخل الآلة، يطلب EPIK منهم وصف النتائج الكبيرة الملحوظة التي يمكنهم رؤيتها بالفعل. الأمر يشبه سؤال الطاهي: "كم يستغرق الأرز عادةً لينضج؟" أو "كم مرة يفور القدر؟" بدلاً من سؤاله عن درجة حرارة كل حبة أرز. وقد وجد الباحثون أنه باستخدام هذه الملاحظات عالية المستوى والواقعية، يمكنهم العمل بشكل عكسي لمعرفة رميات النرد المخفية بدقة أكبر. لقد اختبروا ذلك على روبوت قطف الفاكهة ونظام تداول العملات الأجنبية، وأظهروا أن هذه الطريقة لا تعمل فحسب، بل تساعد أيضًا في التنبؤ بالأشياء الصعبة والغامضة التي يصعب قياسها مثل استهلاك الطاقة أو الأعطال النادرة التي لا يملك أحد بيانات عنها بعد.

الفكرة الكبرى: تخمين النرد عبر مراقبة اللعبة

يتناول البحث مشكلة معقدة في هندسة البرمجيات: كيف نتأكد من دقة النماذج الحاسوبية لأنظمتنا المعقدة؟ عندما نبني نموذجًا لروبوت أو خدمة سحابية، نستخدم الرياضيات للتنبؤ بأشياء مثل "هل سيتعطل؟" أو "ما مدى سرعة انتهائه؟". لكن هذه التنبؤات تكون جيدة بقدر الأرقام التي نغذيها بها. عادة ما تكون هذه الأرقام هي احتمالات انتقال النظام من حالة إلى أخرى.

يرى المؤلفون أن مطالبة الخبراء البشريين بتخمين هذه الاحتمالات المحددة ومنخفضة المستوى تشبه مطالبة شخص بتخمين سرعة الرياح الدقيقة عند كل ورقة شجر على الشجرة فقط للتنبؤ بما إذا كانت الطائرة الورقية ستطير. إنها تفاصيل كثيرة جدًا، وغالبًا ما يخطئ الخبراء فيها أو لا يملكون البيانات الخاصة بها. وإذا كانت الأرقام الأولية خاطئة، فإن عملية التحقق بأكملها ستفشل، مما يؤدي إلى قرارات هندسية سيئة.

EPIK: "المحقق العكسي"

يقدم البحث EPIK (استقاء المعرفة المسبقة - Eliciting Prior Knowledge)، وهي أداة ذكية تقلب الموازين. فبدلاً من سؤال الخبراء: "ما هو احتمال فشل الروبوت في قطف ثمرة فاكهة؟"، يسأل EPIK: "بناءً على خبرتك، كم مرة ينجح الروبوت في إنهاء مهمة، وكم يستغرق ذلك عادةً؟"

هذه هي خصائص مستوى النظام (system-level properties). وهي النتائج الكلية الشاملة التي يفهمها الخبراء ويمتلكون بيانات عنها بالفعل. يعامل EPIK هذه النتائج المعروفة كأنها أدلة؛ فهو يستخدم عملية رياضية تسمى التعلم البايزي للعمل بشكل عكسي من هذه الأدلة الكبيرة لمعرفة رميات النرد الصغيرة المخفية التي تسببت فيها.

إليك كيف تسير العملية خطوة بخطوة:

1. الإعداد: تخيل روبوتًا يقطف الفاكهة. لديه "حالة" حيث يضع نفسه في الموضع المناسب، وحالة حيث يقطف، وحالة حيث يقرر المحاولة مرة أخرى أو الاستسلام. احتمال فشله في قطف ثمرة فاكهة غير معروف (لنسمِّ هذا "النرد المخفي").
2. الأدلة: يخبر الخبراء نظام EPIK: "نعلم من 200 مهمة سابقة أن الروبوت ينجح بنسبة 80% ويستغرق في المتوسط 4.75 ثانية". هذه هي الخصائص المستندة إلى المعرفة المسبقة (PK-informed properties).
3. الهندسة العكسية: يقوم EPIK بإجراء بحث معقد (باستخدام الخوارزميات التطورية، وهي نسخ رقمية من الانتقاء الطبيعي) للعثور على مجموعة رميات النرد المخفية التي من شأنها أن تنتج أفضل النتائج المتمثلة في نسبة نجاح 80% وزمن قدره 4.75 ثانية. هو لا يجد إجابة واحدة فقط، بل يجد عائلة كاملة من الإجابات الممكنة التي تتناسب مع هذه الأدلة.
4. العائد: بمجرد أن يتمكن EPIK من معرفة رميات النرد المخفية بناءً على الأدلة المعروفة، يمكنه استخدامها للتنبؤ بأشياء لا نعرفها بعد. هذه تسمى الخصائص المراوغة (elusive properties). على سبيل المثال، لم يسبق لأحد قياس استهلاك البطارية للروبوت لهذه المهمة المحددة. ولكن الآن بعد أن عرف EPIK كيفية تحرك الروبوت، يمكنه حساب استهلاك البطارية المحتمل، رغم أنه لم يسبق لأحد تسجيل ذلك من قبل.

ماذا أظهرت التجارب؟

اختبر الباحثون EPIK في سيناريوهين من الواقع: روبوت قطف الفاكهة ونظام تداول العملات الأجنبية. قاموا بإنشاء نسخ مختلفة من هذه الأنظمة بمستويات متفاوتة من التعقيد والمتغيرات المجهولة.

• الدقة: عندما قارنوا تنبؤات EPIK مقابل "الحقيقة الأرضية" (القيم الصحيحة رياضياً)، كانت النتائج قريبة جداً. الفرق بين تخمين EPIK والإجابة الحقيقية كان ضئيلاً للغاية (أقل من 0.00389 في حالات الاختبار). وهذا يشير إلى أن EPIK يمكنه الاعتماد عليه في الهندسة العكسية للميكانيكا المخفية للنظام بمجرد النظر إلى الصورة الكبيرة.
• اختبار "التضارب": اختبر الفريق أيضاً ما يحدث إذا قدم الخبراء نصائح متضاربة (على سبيل المثال، يقول خبير إن الروبوت موثوق للغاية، بينما يقول آخر إنه بطيء). وجدوا أنه عندما كانت الأدلة متناقضة، واجه EPIK صعوبة في إيجاد تطابق مثالي، وارتفع "الخطأ" في تخميناته. وهذا أمر جيد، لأنه يعمل كضوء تحذيري: إذا كانت الأدلة لا تتطابق، فإن النموذج يعرف أن هناك خطأ في بيانات المدخلات.
• انتصار "الخصائص المراوغة": الجزء الأكثر إثارة كان التحقق من "الخصائص المراوغة". في اختبار روبوت قطف الفاكهة، كان لديهم بيانات عن معدلات النجاح والوقت، ولكن لم يكن لديهم أي بيانات عن استهلاك الطاقة. استخدم EPIK البيانات المعروفة لتقدير استهلاك الطاقة. وكان التوزيع الناتج لاستهلاك الطاقة تخميناً منطقياً ومبنياً على أسس سليمة يمكن لصناع القرار استخدامه فعلياً، بينما بدون EPIK، كان لعليهم القيام بتخمين أعمى أو تجاهل المشكلة تماماً.

لماذا هذا مهم؟

لا يدعي البحث أنه حل جميع مشاكل التحقق من البرمجيات، ولكنه يقدم طريقة جديدة وقوية لبدء الحوار. فهو يشير إلى أننا لسنا بحاجة لأن نكون خبراء في التفاصيل المجهرية للنظام لبناء نموذج جيد؛ بل نحتاج فقط لأن نكون خبراء في نتائج النظام.

من خلال نقل التركيز من "تخمين النرد" إلى "مراقبة اللعبة"، يجعل EPIK من السهل بناء نماذج موثوقة للأنظمة المعقدة مثل السيارات ذاتية القيادة، والأجهزة الطبية، والخدمات السحابية. إنه يحول المهمة الصعبة المتمثلة في تحديد كل احتمال فردي إلى مهمة أكثر قابلية للإدارة وهي وصف ما نعرفه بالفعل عن كيفية سلوك النظام في العالم الحقيقي. وبالنسبة للأشياء التي لا نعرفها بعد، فإنه يمنحنا طريقة قائمة على أسس رياضية لتقديم تخمين مدروس، بدلاً من مجرد تخمين أعمى.