OmegaUse-SOP: SOP Engineering for Professional Computer Use from Human Demonstrations
تقدم هذه الورقة البحثية OmegaUse-SOP، وهو نظام يعتمد على تدخل العنصر البشري (human-in-the-loop) يعمل على تحويل عروض الخبراء التوضيحية إلى مهارات إجراءات تشغيل قياسية (SOP) قابلة لإعادة الاستخدام ومتخصصة في مجال معين لوكلاء واجهة المستخدم الرسومية (GUI agents)، مما يحسن بشكل كبير من موثوقيتهم في البيئات المهنية المعقدة مثل سير عمل محاكاة الخلايا الكهروضوئية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل برنامج حاسوب يمكنه النظر إلى الشاشة، وفهم ما يراه، والنقر على الأزرار أو كتابة النصوص تماماً كما يفعل البشر. هذا هو الوعد الذي يقدمه "وكيل واجهة المستخدم الرسومية" (GUI agent)، وهو نوع من الذكاء الاصطناعي المصمم للتنقل في العالم الرقمي ليس عن طريق قراءة الكود، بل من خلال مشاهدة والتفاعل مع الواجهات الرسومية التي نستخدمها كل يوم. وبينما أصبح هؤلاء الوكلاء جيدين للغاية في المهام البسيطة، إلا أنهم غالباً ما يتعثرون عندما يواجهون وظائف مهنية معقدة. فالعمل في العالم الحقيقي نادراً ما يكون خطاً مستقيماً؛ فهو يتضمن قواعد خفية، وعادات برمجية محددة، وخطوات يجب فحصها وإعادة فحصها. وعندما يحاول الوكيل أداء مهمة مهنية دون فهم هذه الفروق الدقيقة، فإنه غالباً ما يضل الطريق، أو يغفل عن تفصيل حاسم، أو ينفذ إجراءً خاطئاً. لذا، فإن التحدي لا يكمثل فقط في جعل الوكيل أكثر ذكاءً، بل في تعليمه الإجراءات المحددة غير المكتوبة التي يستخدمها الخبراء لإنجاز العمل بشكل صحيح.
قام باحث من شركة "بايدو" (Baidu) وشركة هندسة طاقة في الصين بتطوير نظام جديد لحل هذه المشكلة، يسمى "OmegaUse-SOP". الفكرة الجوهرية هي التعامل مع الطريقة التي يؤدي بها البشر مهام البرامج المعقدة كمجموعة من التعليمات التي يمكن التقاطها، وتحسينها، وإعادة استخدامها. هم يسمون هذه العملية "هندسة إجراءات التشغيل القياسية" (SOP Engineering). فكر في الأمر كأخذ سير عمل حرفي ماهر وتحويله إلى دليل موثوق يمكن للآلة اتباعه. وبدلاً من مجرد تسجيل فيديو لشخص ينقر على الأزرار، يقوم النظام بمراقبة الخبير البشري، وفهم ما يفعله، ثم يعيد كتابة تلك الأفعال إلى خطوات واضحة ومنطقية يمكن للحاسوب فهمها والتكيف مع مواقف جديدة.
يعمل النظام من خلال أربع مراحل متميزة تحدث في حلقة مستمرة. أولاً، تقوم وحدة "المراقبة" (Observe) بمراقبة خبير بشري وهو يؤدي مهمة على جهاز الكمبيوتر. فهي تسجل كل نقرة ماوس، وكل ضغطة لوحة مفاتيح، وكل تغيير في الشاشة، وتحفظ صورة للشاشة قبل كل إجراء مباشرة. وهذا ينشئ سجلاً مفصلاً لما حدث بالضبط وما كان يبدو عليه شكل الشاشة في تلك اللحظة. بعد ذلك، تأخذ وحدة "الاستنتاج" (Reason) هذا السجل الخام وتترجمه إلى لغة بسيطة. فهي تنظر إلى نقرة في نقطة معينة وتستنتج أن الإنسان كان في الواقع يختار حقل "اسم المشروع"، وليس مجرد النقر عند إحداثيات عشوائية. إنها تحول قائمة الأحداث التقنية إلى قصة: "انقر على مربع اسم المشروع، ثم اكتب الاسم". هذه الخطوة حاسمة لأنها تساعد الكمبيوتر على فهم معنى الإجراء، وليس مجرد الحركة.
بمجرد فهم الخطوات، تسمح مرحلة "التكوين" (Configure) للمستخدم البشري بإضافة قواعد ومتغيرات محددة. في العمل المهني، قد تحتاج نفس المهمة إلى القيام بها بأرقام أو إعدادات مختلفة في كل مرة. تسمح هذه الوحدة للمستخدم بتحديد أجزاء معينة من التعليمات لتكون قابلة للتغيير، بحيث يعرف الوكيل القيم التي يجب استبدالها لمهمة جديدة. أخيراً، تقوم وحدة "التنفيذ" (Execute) بوضع الخطة موضع التنفيذ. ينظر الوكيل إلى الشاشة الحالية، ويجد الخطوة الصحيحة في تعليماته، ثم ينفذ الإجراء. وبعد كل خطوة، يتحقق مما إذا كانت الشاشة قد تغيرت بالطريقة التي كان من المفترض أن تتغير بها. إذا بدا أن هناك خطأ ما، يمكنه التوقف وطلب المساعدة من إنسان، أو المحاولة مرة أخرى. هذه الدورة من المشاهدة، والفهم، والتعديل، والعمل تحول عرضاً بشرياً واحداً إلى مهارة قابلة لإعادة الاستخدام يمكن تطبيقها على مهام مختلفة عديدة.
لاختبار ما إذا كان هذا النهج يعمل بالفعل، تعاون الباحث مع عميل في قطاع الطاقة لمعالقة تحدٍ محدد للغاية: تصميم أنظمة الطاقة الشمسية باستخدام حزمة برمجية معقدة تسمى "PVsyst". وقد اختاروا خمس مهام صعبة يقوم بها الخبراء بانتظام، مثل استيراد بيانات الطقس، وضبط زاوية الألواح الشمسية، وحساب خسائر الطاقة. اختبروا ثلاثة نماذج مختلفة من الذكاء الاصطناعي في هذه المهام. أولاً، تركوا النماذج تحاول القيام بالوظائف بمجرد الاستماع إلى تعليمات بسيطة، دون أي مساعدة من النظام الجديد. كانت النتائج مختلطة؛ حيث واجهت النماذج صعوبات كبيرة، وأكملت مهمة واحدة إلى ثلاث مهام فقط من أصل خمسة اعتماداً على النموذج المستخدم. وغالباً ما ارتبكت بسبب تخطيط البرنامج المحدد أو أغفلت متطلبات دقيقة.
بعد ذلك، طبق الباحث نظام "OmegaUse-SOP". قاموا بتسجيل خبراء بشريين وهم يؤدون المهام الخمس نفسها، واستخدموا النظام لتحويل تلك التسجيلات إلى مهارات مصقولة وخطوة بخوة، وجعلوا النماذح تحاول مرة أخرى. كان الفرق فورياً وكلياً. فبمساعدة إجراءات التشغيل القياسية (SOPs) المهندسة، أكمل كل نموذج، بما في ذلك النماذج مفتوحة المصدر، جميع المهام الخمس بنجاح. لم يكتفِ النظام بجعل الوكلاء أفضل قليلاً؛ بل حولهم من مبتدئين غير موثوقين إلى مشغلين أكفاء. كما أجرى الباحث اختباراً محدداً لمعرفة أي جزء من نظامهم كان الأكثر أهمية. ووجدوا أن وحدة "الاستنتاج" (Reason)، وهي الجزء الذي يترجم النقرات الخام إلى تعليمات ذات معنى، كانت هي المفتاح. فعندما أزالوا هذه الخطوة وجعلوا الوكلاء يحاولون اتباع السجلات الخام غير المفسرة، انخفض معدل النجاح بشكل كبير. وقد أثبت هذا أن مجرد تسجيل ما يفعله الإنسان ليس كافياً؛ بل يجب على الكمبيوتر أن يفهم لماذا يفعل ذلك.
تشير النتائج إلى أنه لكي يتقن الذكاء الاصطناعي البرامج المهنية حقاً، فإنه يحتاج إلى ما هو أكثر من مجرد رؤية أو ذاكرة قوية. إنه يحتاج إلى وسيلة لالتقاط المعرفة الضمنية التي يمتلكها الخبراء البشريون — العادات، وعمليات التحقق، والطرق المحددة التي يتنقلون بها عبر القوائم المعقدة. ومن خلال بناء نظام يمكنه تحويل العروض البشرية إلى مهارات مهيكلة وقابلة للتحرير والتحقق، أظهر الباحث مساراً عملياً للمضي قدماً. إن نظام "OmegaUse-SOP" لا يستبدل الحكم البشري؛ بل يخلق جسراً بين الخبرة البشرية والتنفيذ الآلي، مما يسمح لأجهزة الكمبيوتر بالتعامل بشكل موثوق مع تدفقات العمل المعقدة والمقيدة بالقواعد التي تحدد العمل المهني في مجالات مثل الهندسة والتصميم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.