StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling
تقدم الورقة البحثية StateM، وهو بيئة تشغيل أصلية للوكلاء تستفيد من توسيع نطاق الهيكل (harness scaling) عبر حالات مستدامة، وانتقالات مُحققة، وكتيبات تشغيل مُصنفة إصدارياً لتعزيز دقة الوكلاء في المهام طويلة المدى على Terminal-Bench 2.1 لتصل إلى 95.3% مع خفض تكاليف الاستدلال بشكل جذري مقارنة بالنماذج المرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مجال الذكاء الاصطناعي سريع التطور، برز لغز مستمر: لماذا تفشل البرامج الحاسوبية المتطورة، القادرة على حل الخطوات المعقدة بشكل فردي، غالباً عندما يُطلب منها إكمال مهمة طويلة متعددة الخطوات؟ تخيل مهندساً معمارياً بارعاً يمكنه تصميم غرفة مثالية ولكنه ينسى وضع الأساس، أو جراحاً ماهراً يجري شقاً طبياً لا تشوبه شائبة ولكنه يفقد تتبع العلامات الحيوية للمريض في منتصف العملية. هذه الأنظمة، المعروفة باسم "الوكلاء ذوي الأفق الطويل" (long-horizon agents)، تتعثر بشكل متكرر ليس لأنها تفتقر إلى الذكاء، بل لأنها تفقد مكانها في العملية. قد ينسون ما قاموا به بالفعل، أو يتخطون فحصاً ضرورياً، أو يتوقفون عن العمل قبل أن يتم الوصول إلى الهدف النهائي حقاً. لسنوات، كان الحل القياسي هو بناء أدمغة أكبر وأذكى، آملين أن النموذج الأكثر قوة لن يرتكب هذه الأخطاء ببساطة. ومع ذلك، فإن مساراً جديداً من البحث يشير إلى أن المشكلة قد لا تكون في الدماغ على الإطلاق، بل في البيئة التي يعمل فيها.
بدأ الباحثون في طرح سؤال مختلف: ما مدى كون هذا الفشل هو في الواقع فشل للنظام الذي يحافظ على انتباه الوكيل، ويتتبع تقدمه، ويجبره على إنهاء المهمة؟ هذا النهج، الذي يسمه المؤلفون "توسيع الحامل" (harness scaling)، يقترح أنه يمكننا جعل النموذج الحالي القادر أكثر موثوقية من خلال تحسين الأدوات والقواعد المحيطة به، دون تغيير النموذج نفسه. بدلاً من محاولة إجبار النموذج على تذكر كل شيء بمفرده، تمنح هذه الطريقة الوكيل دفتراً مشتركاً خارجياً يمكنه هو والمشرف البشوي قراءته وتحديثه معاً. يعمل هذا الدفتر كسجل دائم لمكان وجود الوكيل، وما وعد بالقيام به تالياً، وما هو الإثبات المطلوب قبل أن يتمكن من المضي قدماً. ومن خلال معاملة عملية التنفيذ كسلسلة من المراحل المتميزة ذات نقاط التفتيش الواضحة، يضمن النظام عدم انحراف الوكيل عن المسار أو تركه مهمة غير مكتملة.
قام الباحثون وراء هذه الدراسة، بقيادة زي تشنغ تشين وزملاؤه، ببناء نظام خفيف الوزن يسمى StateM لاختبار هذه الفكرة. صمموه ليعمل مع وكلاء حاسوبيين قياسيين يعملون من خلال أسطر الأوامر، تماماً مثل إنسان يكتب تعليمات في واجهة سطر الأوامر (terminal). جوهر ابتكارهم هو وثيقة بسيطة وقابلة للقراءة تسمى "دليل التشغيل" (runbook). يعمل هذا المستند كخريطة وعقد للوكيل؛ فهو يقسم المهمة الكبيرة إلى مراحل أو حالات محددة، مثل التخطيط، والبناء، والفحص، وتسليم العمل. عندما يدخل الوكيل مرحلة جديدة، يقوم النظام بتحديث تعليماته ويظهر له بالضبط ما يحتاج إلى إنجازه قبل أن يتمكن من المغادرة. والأهم من ذلك، لا يمكن للوكيل أن يعلن ببساطة اكتمال مرحلة ما؛ بل يجب عليه اجتياز فحص التحقق. إذا حاول الوكيل تخطي خطوة أو فشل في فحص ما، فإن النظام يوقفه ويجبره على إصلاح الخطأ قبل المتابعة. وهذا يخلق مساحة مشتركة حيث يمكن للوكيل والإنسان فحص العمل، ومراجعة القرارات، وتحديث القواعد معاً.
ولمعرفة ما إذا كان هذا النهج قد نجح، اختبر الفريق النظام على مجموعة صارمة من 89 مهمة حاسوبية معقدة تُعرف باسم Terminal-Bench. بدأوا بنموذج قوي يسمى GPT-5.5 وطبقوا نظامهم الجديد عليه. كانت النتائج مذهلة؛ فبدون تغيير الكود الداخلي للنموذج أو تدريبه على بيانات جديدة، رفع النظام معدل نجاح النموذج من 83.1 بالمائة إلى 92.1 بالمائة. كان هذا المكسب كبيراً لدرجة أنه سد الفجوة فعلياً بين هذا النموذج القديم ونسخة أحدث وأكثر تقدماً من البرنامج. ثم أخذ الباحثون نفس مجموعة القواعد، أو دليل التشغيل، وطبقوها على نموذج أحدث وهو GPT-5.6، دون إجراء أي تعديلات. حقق النظام أداءً أفضل، حيث وصل إلى دقة خام بلغت 95.3 بالمائة عبر مئات التجارب. وقد نجح في حل كل مهمة من المهام الـ 89 مرة واحدة على الأقل، مما أثبت أن القواعد التي تم تطويرها لنموذج واحد يمكن أن تنتقل بسلاسة إلى نموذج أحدث.
استكشفت الدراسة أيضاً ما إذا كان يمكن تحقيق هذه الفوائد باستخدام نماذج ذكاء اصطناعي أرخص وأنواع مختلفة. عندما طبقوا نفس المبادئ على نموذج يسمى DeepSeek-V4 Flash، كانت النتائج الأولية مختلطة لأن القواعد الدقيقة لم تتناسب معه تماماً. ومع ذلك، من خلال إنفاق مبلغ ضئيل، أقل من ثمانية وثلاثين دولاراً، لتكييف الممارسات المحددة مع هذا النموذج الجديد، تمكنوا من رفع أدائه من 82.7 بالمائة إلى 88.1 بالمائة. بلغت التكلفة الإجمالية لإثبات هذه النتيجة، بما في ذلك التكييف والاختبار النهائي، حوالي اثنين وخمسين دولاراً. وفي المقابل، كلف أكثر تقديم عام للنتائج عالية المستوى مبلغاً يقارب ستمائة دولار. وهذا يشير إلى أن الاستثمار في نظام تنفيذ أفضل يمكن أن يكون أكثر فعالية من حيث التكلفة بكثير من مجرد شراء أقوى نموذج متاح.
كما اختبر الباحثون نظامهم على مجموعة مختلفة من المهام المتعلقة بسير عمل الأعمال، مثل الموافقة على الميزانيات أو تشغيل الآلات. هنا، أظهرت النتائج أن القواعد تعمل بشكل أفضل عندما تتوافق مع الطبيعة المحددة للعمل. بالنسبة للمهام التي تتطلب التزاماً صارماً بالقواعد وتسليماً واضحاً للمهام، وفر النظام تحسينات هائلة، وصلت أحياناً إلى مضاعفة معدل النجاح. ومع ذلك، بالنسبة للمهام التي تختلف بنيتها كثيراً، جعل النظام الأمور أسوأ أحياناً إذا كانت القواعد صارمة للغاية أو طُبقت على الجزء الخطأ من العملية. وقد علم هذا الباحثين أن المفتاح ليس امتلاك قائمة ضخمة من القواعد لكل موقف محتمل، بل تحديد الحدود المحددة التي يرجح حدوث الأخطاء عندها وفرض عمليات الفحص هناك فقط.
في النهاية، يشير هذا العمل إلى أن موثوقية الذكاء الاصطناعي تعتمد على كيفية إدارتنا لعمله بقدر ما تعتمد على مدى ذكاء النموذج. حدد الباحثون ثلاثة أسباب رئيسية لفشل الوكلاء الأكفاء: فهم يفتقرون إلى المعرفة الصحيحة في لحظة اتخاذ القرار، أو ينسون الدروس المستفادة من المحاولات السابقة، أو يفشلون في اتباع إجراء يعرفونه بالفعل. يعالج نظامهم هذه المشكلات من خلال الاحتفاظ بسجل طازج وواضح للمرحلة الحالية، وتخزين الدروس في وثيقة قابلة للإصدار يمكن إعادة استخدامها، وإجبار الوكيل على إثبات انتهاء خطوة ما قبل الانتقال. وتشير النتائج إلى أننا لسنا بحاجة بالضرورة لانتظار الجيل القادم من النماذج فائقة الذكاء لحل المشكلات المعقدة. بدلاً من ذلك، من خلال بناء أنظمة أفضل لتوجيه النماذج التي نمتلكها بالفعل، يمكننا تحويل الوكلاء الأكفاء ولكن غير الموثوقين إلى آلات قادرة على إتمام المهام ببراعة. المسار نحو الأمام لا يتعلق فقط بجعل الدماغ أكبر، بل ببناء جسد أفضل ليحمله خلال العمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.