AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
تقدم الورقة البحثية AI4AI-Bench، وهو معيار مرجعي جديد يتكون من 10 مستودعات بحثية ثابتة يقيم قدرة وكلاء النماذج اللغوية الكبيرة على تصميم وإعادة كتابة خوارزميات التدريب من أجل التحسين الذاتي المتكرر، كاشفاً أن أكثر الأنظمة تقدماً في الوقت الحالي تحقق أقل من ربع مكاسب الأداء المحتملة بين الخوارزميات الحالية والحدود المثلى النظرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
غالبًا ما يتضمن حلم الذكاء الاصطناعي رؤية لآلة يمكنها تعليم نفسها لتصبح أكثر ذكاءً، ليس فقط من خلال حفظ المزيد من الحقائق، بل عبر إعادة كتابة القواعد ذاتها التي تستخدمها للتعلم. هذه الفكرة، المعروفة باسم "التحسين الذاتي المتكرر"، تقترح دورة حيث يقوم نظام ذكاء اصطناعي بتصميم نسخة أفضل من نفسه، والتي تقوم بدورها بتصميم نسخة أفضل منها، مما يخلق سلسلة من التقدم السريع. ولكي تنجح هذه الدورة، يجب أن تكون الآلة قادرة على تحسين خوارزمية التدريب — وهي مجموعة التعليمات التي تخبر الكمبيوتر بكيفية ضبط اتصالاته الداخلية بناءً على الخبرة. وبينما أصبحت الآلات بارعة جدًا في اتباع التعليمات وحتى في تعديل الإعدادات الصغيرة ضمن تلك التعليمات، يظل سؤالًا مفتوحًا عما إذا كان بإمكانها بالفعل إعادة تصميم التعليمات نفسها. وهذا هو الفرق بين سائق يعرف كيفية ضبط مستوى صوت المذياع وبين ميكانيكي يعرف كيفية إعادة بناء المحرك.
قام فريق من الباحثين ببناء اختبار جديد لمعرفة ما إذا كانت أنظمة الذكاء الاصطناعي الحالية يمكنها القيام بهذا النوع من العمل الميكانيكي العميق. لقد أنشأوا تحديًا يسمى (AI44-Bench)، والذي يقدم عشرة مشاريع بحثية مختلفة من واقع العالم لمجموعة من وكلاء الذكاء الاصطناعي المتقدمين. يتضمن كل مشروع نوعًا محددًا من مهام التعلم، مثل تعليم كمبيوتر حل المسائل الرياضية، أو توليد الصور، أو فهم التفضيلات البشرية. منح الباحثون كل وكيل ذكاء اصطناعي أربع ساعات من وقت الحوسبة لقراءة الكود البرمجي لأحد هذه المشاريع ومحاولة تحسين طريقة التعلم المستخدمة بداخله. سُمح للوكيل بتغيير الكود كما يشاء، لكن لم يكن بإمكانه رؤية النتائج النهائية لتغييراته خلال تلك الساعات الأربع. وبدلاً من ذلك، كان عليه الاعتماد على تقدير سريع وتقريبي لتخمين ما إذا كانت فكرته جيدة. وبمج-بانتهاء الوقت، يتم أخذ الكود المعدل من الوكيل، ويُشغل المشروع من البداية لمدة تصل إلى اثنتي عشرة ساعة باستخدام مجموعة ثابتة وخفية من القواعد للحكم على النتيجة النهائية. يحاكي هذا الإعداد تجربة العالم البشري في الواقع، الذي يمكنه اختبار فكرة صغيرة بسرعة، ولكن عليه الانتظار لأيام ليرى ما إذا كانت طريقة تدريب جديدة ستعمل بالفعل على نطاق واسع.
كانت نتائج هذه التجربة كاشفة. فعبر تسعة وعشرين دمجًا مختلفًا بين أنظمة الذكاء الاصطناعي ومستويات الجهد، كان متوسط الأداء منخفضًا للغاية. ففي مقياس حيث سجل الكود الأصلي غير المعدل 0.1 وكان أفضل نتيجة نظرية ممكنة هي 1.0، بلغ متوسط النتيجة 0.166 فقط. حتى أقوى الأنظمة تمكنت من الوصول إلى 0.250 فقط. وهذا يعني أن أكثر الوكلاء قدرة تمكنوا من سد أقل من خمس المسافة بين الطريقة الموجودة والنتيجة المثلى الممكنة. وجد الباحثون أن السبب وراء هذه الفجوة لم يكن نقص الجهد أو قوة الحوسبة، بل نقص التوجيه. فعندما حلل الفريق التغييرات البرمجية التي أجراها الوكلاء، اكتشفوا أن الغالبية العظمى من المشاركات لم تلمس قواعد التعلم الأساسية على الإطلاق. بدلاً من ذلك، اكتفت معظم الوكلاء بمجرد تعديل مدة تشغيل التدريب، أو عدد مرات حفظ تقدمهم، أو الأرقام المحددة المستخدمة لضبط العملية. هذه تغييرات في عملية التشغيل، وليست تغييرات في كيفية تعلم النموذج.
إن نسبة ضئيلة فقط من الوكلاء، حوالي 46 بالمائة ممن أجروا أي تغييرات، هي التي وصلت بالفعل إلى خوارزمية التعلم لتعديل الهدف، أو إشارة الإشراف، أو قاعدة التحديث نفسها. حققت هذه الوكلاء أداءً أفضل بشكل ملحوظ، بمتوسط قدره 0.226 مقارنة بـ 0.126 للآخرين. وهذا يشير إلى أن الطريق نحو التحسين الحقيقي يكمي في تغيير الطريقة الأساسية التي تتعلم بها الآلة، وهي خطوة تتردد معظم الأنظمة الحالية في اتخاذها. كما أظهرت الدراسة أن زيادة مقدار جهد التفكير المسموح به للوكيل لم تجعل الوكلاء أكثر ذكاءً بمعناه العام، لكنها جعلتهم أكثر جرأة. فعندما مُنح الوكلاء مزيدًا من الوقت للتفكير والتخطيط، قفزت نسبة الوكلاء الذين تجرأوا على تغيير قواعد التعلم من 8 بالمائة إلى 64 بالمائة. وكان هذا الارتفاع في الاستعداد للمخاطرة بالخوارزمية الأساسية هو ما دفع التحسن، وليس طفرة مفاجئة في جودة الأفكار المتولدة.
في النهاية، تخلص الورقة البحثية إلى أن وكلاء الذكاء الاصطنا اليوم لا يزالون يستعيدون مستوى كفاءة افتراضي بدلاً من التصميم بما يتجاوزه. إنهم بارعون في تحسين العملية المحيطة بالتعلم، لكنهم يواجهون صعوبة في إعادة تصميم عملية التعلم نفسها. وقد نشر الباحثون جميع بياناتهم، بما في ذلك التغييرات البرمجية والنتائج، لكي يتمكن الآخرون من تكرار الاختبار مع تطور أنظمة الذكاء الاصطعي. يعمل هذا المعيار كمسطرة لقياس نوع محدد من التقدم: ما إذا كان بإمكان الآلة النظر إلى طريقة تدريبها الخاصة، وتشخيص خلل ما، وإعادة كتابة الآلية التي تقود تحسنها. وفي الوقت الحالي، الإجابة هي أنه بينما يمكنهم المحاولة، إلا أنهم نادرًا ما ينجحون في إجراء التغييرات العميقة المطلوبة لتراكم ذكائهم ذاتيًا بشكل حقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.