Benchmark Test-Time Scaling of General LLM Agents
تقدم هذه الورقة "General AgentBench"، وهو معيار موحد لتقييم وكلاء النماذج اللغوية الكبيرة (LLM) للأغراض العامة عبر مجالات متنوعة، كاشفةً أن الوكلاء الحاليين يعانون من تدهور كبير في الأداء في الإعدادات العامة، وأن لا التوسع في وقت الاختبار المتسلسل ولا المتوازي يحسن النتائج بفعالية بسبب سقوف السياق وفجوات التحقق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً عبقرياً وذكياً للغاية (عميل ذكاء اصطناعي - AI Agent)، وهو بارع في مهام محددة. إذا طلبت منه كتابة كود برمجي، فسيكون مبرمجاً ماهراً. وإذا طلبت منه البحث في الويب، فسيكون محققاً. وإذا طلبت منه القيام بعمليات حسابية، فسيكون عبقرياً.
ولكن ماذا يحدث عندما تضعه في سيناريو من العالم الحقيقي حيث يختلط كل شيء معاً؟ ماذا لو طلبت منه "التخطيط لرحلة إلى طوكيو، وإيجاد أفضل سوشي، وكتابة نص برمجي لحجز التذاكر، ثم شرح التاريخ الثقافي لهذا الطبق"، كل ذلك بينما لديه إمكانية الوصول إلى صندوق أدوات ضخم يحتوي على كل أداة يمكن تخيلها (محركات بحث، مترجمات أكواد، خرائط، آلات حاسبة، إلخ)؟
هذه الورقة البحثية، "اختبار قياس زمن الاختبار للنماذج اللغوية الكبيرة العامة" (Benchmark Test-Time Scaling of General LLM Agents)، هي في الأساس اختبار جهد لهؤلاء المساعدين في ذلك "المطبخ الفوضوي" في العالم الحقيقي.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
١. صدمة "المتخصص مقابل العام"
الإعداد:
معظم الاختبارات السابقة كانت تشبه طلب طبخ طبق معين من شيف (مثل "صنع طبق سوفليه") في مطبخ لا يحتوي إلا على مكونات السوفليه. وقد برع الذكاء الاصطناعي في هذه الاختبارات.
الاختبار الجديد (General AgentBench):
قام الباحثون ببناء "مطبخ فائق" (General AgentBench). في هذا المطبخ، يُقدم للشيف طلب عام مثل "اصنع شيئاً لذيذاً لسائح جائع" ولكن يُعطى صندوق أدوات يحتوي على ٣٠٠ أداة مختلفة (خلاط، مطرقة، نظام تحديد مواقع GPS، مترجم أكواد، خريطة) كلها في وقت واحد. هو لا يعرف أي أداة يستخدمها حتى يكتشف طبيعة المشكلة.
النتيجة:
عندما انتقل الذكاء الاصطناعي من "المطبخ المتخصص" إلى "المطبخ الفائق"، أصيب معظمهم بالارتباك. انخفض أداؤهم بشكل كبير (بنسبة ٣٠٪ تقريباً). الأمر يشبه شيفاً ماهراً يحاول إصلاح محرك سيارة لأنه قيل له "أصلح المشكلة"، رغم أنه في الأصل شيف. لقد تجمدوا لأن عليهم اختيار الأداة الصحيحة من كومة هائلة دون دليل تعليمات واضح.
٢. طريقتان لـ "التفكير بعمق أكبر" (Scaling of Test-Time)
عندما يتعثر الذكاء الاصطناعي، نحاول عادةً جعله "يفكر بعمق أكبر" قبل إعطاء الإجابة. اختبرت الورقة طريقتين للقيام بذلك:
أ. التوسع التسلسلي: "المحادثة الطويلة"
التشبيه: تخيل أنك تحاول حل لغز. أنت تحاول، تفشل، تفكر، تحاول مجدداً، تفشل، تفكر بعمق أكبر، وتستمر في المحاولة. أنت تجري محادثة طويلة وعميقة مع نفسك للوصول إلى الإجابة.
النتيجة: هذا يعمل لفترة من الوقت. ولكن في النهاية، ستصطدم بـ "سقف السياق" (Context Ceiling).
فكر في عقلك مثل السبورة البيضاء. إذا استمررت في كتابة أفكار جديدة على السبورة دون مسح القديم، ستمتلئ السبورة. سيصبح الذكاء الاصطناعي غارقاً في تاريخه الخاص. يبدأ في نسيان ما فعله قبل خمس دقائق أو يرتبك بسبب أخطائه السابقة.
- الدرس المستفاد: مجرد التحدث مع نفسك لفترة أطول لن يساعد إذا نفدت المساحة الذهنية. عند نقطة معينة، يصبح المزيد من التفكير في الواقع أسوأ في حل المشكلة.
ب. التوسع المتوازي: "تصويت اللجنة"
التشبيه: بدلاً من التفكير لفترة أطول، تطلب من ٤ نسخ مختلفة من نفسك حل اللغز في آن واحد. تحصل على ٤ إجابات مختلفة. الآن، عليك اختيار الأفضل منها.
النتيجة: هذا الأمر معقد.
- الأخبار الجيدة: إذا طلبت ٤ نسخ، فمن المرجح جداً أن يكون لدى واحدة منها على الأقل الإجابة الصحيحة. (مقياس "Past@K" يرتفع).
- الأخبار السيئة: الذكاء الاصطناعي سيء جداً في اختيار الإجابة الصحيحة. وهذا ما يسمى "فجوة التحقق" (Verification Gap).
- تخيل لجنة من ٤ خبراء. أحدهم لديه الإجابة الصحيحة، لكن الذكاء الاصطناعي (رئيس اللجنة) لا يستطيع تمييز من هو المصيب. غالباً ما يختار الخيار الخاطئ، أو يصاب بالارتباك.
- حتى لو استطاع الذكاء الاصطناعي توليد الإجابة الصحيحة، فقد فشل في التعرف عليها كإجابة فائزة. الأمر يشبه وجود عبقري في الغرفة، لكن الذكاء الاصطناعي لا يثق به.
٣. مفاجأة "عبر المجالات"
كانت هناك لحظة رائعة واحدة. أحياناً، أصبح الذكاء الاصطناعي أفضل في الإعداد العام.
التشبيه: شيف اعتاد فقط على طبخ الطعام الإيطالي، طُلب منه العثور على أفضل بيتزا في نيويورك. بدلاً من مجرد البحث في جوجل عن "بيتزا"، يستخدم أداة "واجهة برمجة تطبيقات الخرائط" (Map API) للعثور على الموقع الدقيق لمطعم بيتزا معين، ثم يستخدم "واجهة برمجة تطبيقات المراجعات" (Review API) للتحقق من التقييم.
الدرس المستفاد: بعض أنظمة الذكاء الاصطناعي ذكية بما يكفي لتدرك: "مهلاً، لست بحاجة للبحث في الويب، يجب أن أستخدم أداة قاعدة البيانات المحددة هذه بدلاً من ذلك". هذا يظهر أنه عندما تُمنح الحرية لخلط الأدوات، يمكن لأذكى الوكلاء مفاجأتنا.
ملخص: ماذا يعني هذا للمستقبل؟
تخلص الورقة إلى أنه بينما يزداد الذكاء الاصطناعي ذكاءً، فإننا نصطدم بجدارين رئيسيين:
١. جدار الذاكرة: لا يمكنك جعل الذكاء الاصطناعي يتحدث إلى نفسه لفترة أطول لحل مشكلات أصعب؛ فإنه سيتوه في النهاية داخل تاريخه الخاص. نحن بحاجة إلى طرق أفضل لإدارة ذاكرته.
٢. جدار الحكم: لا يمكنك مجرد طلب توليد ١٠٠ إجابة من الذكاء الاصطناعي والأمل في أن يختار الصحيحة منها؛ فهو سيء في الحكم على عمله. نحن بحاجة إلى "حكام" أو أنظمة تحقق أفضل.
الخلاصة:
نحن ننتقل من الذكاء الاصطناعي الذي هو "متخصص" (بارع في شيء واحد) إلى "عام" (بارع في أشياء كثيرة). ولكن في الوقت الحالي، "العامون" لدينا يشبهون الطلاب العباقرة الذين يصابون بالذعر عندما يتغير شكل الاختبار. إنهم بحاجة إلى عادات دراسية أفضل (إدارة السياق) وثقة بالنفس أكبر (معرفة أي إجابة هي الصحيحة) قبل أن يتمكنوا حقاً من السيطرة على عالم المهام المعقدة والمفتوحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.