JarvisBench: Always-on Intelligence Between Humans and Agents
تقدم هذه الورقة JarvisBench، وهو معيار وإطار عمل مصمم لتقييم طبقة تنسيق انتباه تعمل باستمرار وتتوسط التفاعلات ثنائية الاتجاه بين المستخدمين البشر المتقطعين والوكلاء الذين يعملون بشكل مستمر لفترات طويلة عبر مهام متعددة الوكلاء متنوعة.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهر نوع جديد من الآلات: الوكيل المستقل. هذه ليست مجرد أدوات بسيطة تنتظر أمراً لتنفيذ إجراء واحد، بل هي عمال رقميون قادرون على تولي مشاريع طويلة ومعقدة بمفردهم. يمكنهم كتابة الأكواد البرمجية، أو تحليل البيانات، أو إدارة الجداول الزمنية لساعات دون توقف. ومع ذلك، يوجد عدم توافق جوهري بين هذه الآلات التي لا تكل وبين البشر الذين وُجدت لخدمتهم. فالانتباه البشري مورد محدود؛ فنحن لا نستطيع مراقبة الشاشة في كل ثانية، ولا يمكننا مقاطعة الآلة باستمرار للسؤال. وفي المقابل، لا تستطيع الآلات قراءة عقولنا لمعرفة متى نحتاج للتدخل أو متى ارتكبت خطأً يتطلب حكمنا. وهذا يخلق مشكلة تنسيق صعبة: فإذا توقف الإنسان عن الانتباه، قد تنحرف الآلة عن مسارها، ولكن إذا طالبت الآلة بالانتباه باستمرار، فستصبح غير فعالة ومثيرة للإحباط. ويتمثل التحدي الذي يواجه الباحثين في بناء نظام يسد هذه الفجوة، مما يسمح للإنسان بالبقاء في الحلقة دون أن يغمره ضجيج العمل الرقمي المستمر.
ولحل هذه المشكلة، قدم فريق من الباحثين في NVIDIA إطار عمل جديداً يسمى JarvisBench، تيمناً بالمساعد الخيالي في أفلام "Iron Man"، وهو مصمم لاختبار نوع معين من طبقة التنسيق "دائمة العمل". تخيل مكتباً مزدحماً حيث يعمل فريق من العمال على بناء هيكل معقد. في الماضي، كان بإمكان المدير إما مراقبة العمال باستمرار أو الوثوق بهم بشكل أعمى حتى ينتهي المشروع. النظام الجديد يعمل كمشرف مخصص يراقب العمال، ويجيب على أسئلة المدير فوراً، ويعرف بالضبط متى يربت على كتف المدير لاتخاذ قرار حاسم. هذا المشرف لا يقوم بعملية البناء نفسها؛ بل يدير ببساطة تدفق المعلومات والانتباه بين الإنسان والوكلاء العاملين. وقد أنشأ الباحثون بيئة اختبار صارمة لمعرفة ما إذا كان مثل هذا المشرف يمكنه بالفعل تحسين جودة العمل وإبقاء الإنسان منخرطاً دون التسبب في فوضى.
بنى الباحثون معياراً يتكون من 45 سيناريو متميزاً، تتراوح من مهام فردية يؤديها وكيل واحد إلى مشاريع معقدة تشمل عشرة وكلاء مختلفين يعملون معاً. شملت هذه المهام 19 مجالاً مختلفاً، من تطوير البرمجيات إلى الكتابة الإبداعية، وقد تم اختيارها بعناية من بين آلاف المرشحين العامين لضمان واقعيتها. والأهم من ذلك، أن الحاجة إلى المساعدة البشرية في هذه الاختبارات لم تكن مفروضة عبر ترك التعليمات ناقصة في البداية؛ بل نشأت الحاجة إلى الحكم البشري بشكل طبيعي مع تقدم العمل. على سبيل المثال، قد يكون الوكيل بصدد كتابة تقرير وفجأة يواجه موقفاً يجب عليه فيه الاختيار بين مسارين صحيحين ولكنهما مختلفان تماماً، ولا يكون أي منهما ممنوعاً أو ملزماً بشكل صريح في التعليمات الأولية. في تلك اللحظة الدقيقة، كان على النظام أن يدرك أن قراراً بشرياً مطلوب، فيوقف العمل، ويطلب التوجيه من الإنسان، ثم يستأنف المهمة بسلاسة مع هذا الاتجاه الجديد.
قامت الدراسة بقياس شيئين رئيسيين لمعرفة ما إذا كانت طبقة التنسيق هذه تعمل بفعالية. أولاً، اختبروا ما إذا كان النظام يمكنه تحديد اللحظات المناسبة لطلب المساعدة البشرية وما إذا كان القيام بذلك يحسن النتيجة النهائية. ثانياً، اختبروا ما إذا كان بإمكان النظام الإجابة على أسئلة الإنسان حول العمل الجاري دون مقاطعة العمال. وأظهرت النتائج أن إضافة طبقة التنسيق هذه حسنت أداء الوكلاء باستمرار. فعندما كان النظام نشطاً، أكمل الوكلاء مهامهم بدرجات أعلى بكثير، حيث تراوحت التحسينات بين 5 إلى 25 نقطة تقريباً اعتماداً على تعقيد المهمة والوكيل المعني. وأثبت النظام فعالية خاصة في المشاريع متعددة الوكلاء، حيث أدى التنسيق بين مختلف العمال والمشرف البشري إلى مكاسب تصل إلى 28 نقطة.
ومع ذلك، وجد الباحثون أن ليس كل "المشرفين" متساوين. فقد اعتمد أداء النظام بشكل كبير على نموذج الذكاء الاصطناعي المحدد المستخدم لتشغيل طبقة التنسيق. وقد برز نموذج معين، وهو GPT-5.6-Sol، كأكثر النماذج فعالية، حيث قدم أعلى جودة من الإجابات على الأسئلة البشرية وأكبر التحسينات في نتائج المهام. كما تم اختبار نماذج أخرى، وبينما أظهرت جميعها بعض التحسن مقارنة بعدم وجود مشرف على الإطلاق، إلا أنها تفاوتت في مدى كفاءة استخدامها للانتباه البشري؛ فبعض النماذج طلبت المساعدة بشكل متكرر أكثر ولكنها حققت مكاسب أقل، بينما كانت نماذج أخرى أكثر انتقائية. كما قاست الدراسة سرعة استجابة النظام عند تحدث الإنسان، ووجدت أن سرعة الاستجابة تعتمد على التقنية المستخدمة لمعالجة الصوت وتوليد الرد، حيث استجابت بعض الأنظمة في أقل من ثانيتين.
وقد أشار الباحثون بعناية إلى أن هذا النظام لا يستبدل الوكلاء العاملين ولا يغير طريقة تفكيرهم، بل يعمل كطبقة خارجية تراقب العمل وتدير المحادثة. ويسم يسمح هذا التصميم باستخدام نفس نظام التنسيق مع أنواع مختلفة من الوكلاء دون الحاجة إلى إعادة بناء الوكلاء أنفسهم. كما سلطت الدراسة الضوء على وجود مقايضة: فطلب المزيد من المدخلات البشرية يمكن أن يؤدي إلى نتائج أفضل، ولكنه يستهلك أيضاً المزيد من وقت الإنسان وانتباهه. ويسمح النظام الذي بنوه بضبط هذا التوازن، مما يتيح للمستخدمين تحديد مدى رغبتهم في المشاركة. ورغم أن النموذج الأولي الحالي يعمل كنقطة مرجعية وليس كمنتج نهائي، إلا أنه يثبت أن الفصل بين مهمة "القيام بالعمل" ومهمة "إدارة الانتباه" هو استراتيجية قابلة للتطبيق وقوية. فمن خلال إنشاء واجهة مخصصة متاحة دائماً للإنسان ولكنها غير مرئية للمنطق الداخلي للوكيل، من الممكن إبقاء المشاريع الطويلة والمعقدة متوافقة مع الاحتياجات البشرية دون مطالبة الإنسان بمراقبة الشاشة طوال الوقت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.