What is Missing from AI Post-Training AI: An Empirical Analysis
تجادل هذه الورقة بأنه في حين يمكن لعملاء الذكاء الاصطناعي تنفيذ استراتيجيات تدريب محددة مسبقاً بفعالية، إلا أنهم يفتقرون إلى القدرة المتأصلة على إعادة تقييم ومراجعة استراتيجياتهم عالية المستوى بشكل تلقائي خلال عملية ما بعد التدريب، وهو قصور يستمر رغم التحسينات في الخبرة، والتوجيه البشري، وحوسبة الاستدلال الإضافية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، ظهر نوع جديد من العمال: الوكيل الذكي (AI agent). هؤلاء ليسوا مجرد برامج تجيب على الأسئلة أو تكتب النصوص؛ بل هم أنظمة قادرة على التخطيط وتنفيذ مهام معقدة بمرور الوقت. يمكنهم كتابة أكواد الكمبيوتر، وإطلاق التجارب، وحتى تدريب نماذج ذكاء اصطناعي أخرى. وقد أثارت هذه القدرة رؤية "الذكاء الاصطناعي من أجل الذكاء الاصطناعي"، حيث تقوم الأنظمة الذكية بتحسين نفسها في حلقة مستمرة، مما قد يؤدي إلى آلات تصمم آلات أفضل دون تدخل بشري. ولاختبار هذه الرؤية، وضع الباحثون تحديًا محددًا حيث يجب على وكيل الذكاء الاصطناعي أخذ نموذج لغوي أساسي وتطويره ليؤدي بشكل أفضل في مهام صعبة، مثل حل المسائل الرياضية أو كتابة الأكواد البرمجية. والأمل هو أن يعمل الوكيل كعالم ماهر، يقترح خطة، ويجري تجربة، ويرى ما الذي سار بشكل خاطئ، ثم يغير نهجه بشكل جذري لتجربة شيء جديد.
قام فريق من الباحثين من جامعة تسينغهوا، وجامعة رنمين الصين، والجامعة الإلكترونية للعلوم والتكنولوجيا في الصين، بالتحقيق مؤخرًا فيما إذا كانت وكلاء الذكاء الاصطناعي يمتلكون حقًا هذه المرونة العلمية. لقد فحصوا آلاف الجلسات المسجلة حيث حاول مختلف وكلاء الذكاء الاصطناعي تحسين النماذج اللغوية عبر سبعة معايير متميزة، تتراوح من رياضيات المرحلة الابتدائية إلى الاستدلال العلمي بمستوى الدراسات العليا. وميز الباحثون بين نوعين من العمل يمكن للوكيل القيام به: الأول هو التنفيذ (execution): وهو القدرة على تنفيذ خطة مختارة، مثل إصلاح خطأ في الكود، أو تعديل سرعة التعلم، أو تنظيف البيانات. والثاني هو الاستراتيجية (strategy): وهو القدر القدرة على النظر في النتائج والقرار بأن الخطة بأكملها خاطئة، ثم الانتقال إلى طريقة مختلفة تمامًا. ووجدت الدراسة أنه بينما كان الوكلاء بارعين بشكل ملحوظ في النوع الأول من العمل، إلا أنهم كانوا عاجزين تمامًا عن النوع الثاني.
حلل الباحثون أكثر من 1,300 من جلسات التدريب هذه، والتي تم تسجيلها في مجموعة بيانات عامة تسمى PostTrainBench. واكتشفوا نمطًا صارخًا: في كل حالة تقريبًا، يقرر وكيل الذكاء الاصطناعي نهجه رفيع المستوى خلال الدقائق الأولى من الجلسة ويتمسك به طوال مدة العشر ساعات كاملة. فإذا بدأ الوكيل بمحاولة تعليم النموذج باستخدام طريقة تسمى "الضبط الدقيق لكامل المعلمات" (full-parameter fine-tuning)، فإنه سيستمر في تلك الطريقة لساعات، حتى لو كانت النتائج سيئة. وسيقضي وقته في إجراء تعديلات طفيفة، مثل تغيير معدل التعلم أو إعادة تنسيق البيانات، لكنه لن يفكر أبدًا في الانتقال إلى طريقة تدريب مختلفة تمامًا. وعلى العكس من ذلك، إذا بدأ الوكيل بطريقة مختلفة تسمى "الضبط الدقيق الفعال للمعلمات" (parameter-efficient fine-tuning)، فسيظل أيضًا مقيدًا بهذا النهج. وقد اعتمد اختيار الاستراتيجية على الوكيل الذكي المستخدم أكثر من اعتماده على المهمة التي يحاول حلها. هذا "الانحباس" (lock-in) يعني أن الوكلاء كانوا يدورون في حلقات مفرغة فعليًا، حيث يقومون بتنقيح نهج واحد لفترة طويلة بعد أن توقف عن كونه مفيدًا.
ولفهم سبب حدوث ذلك، اختبر الباحثون ثلاثة تفسيرات محتملة، مع تصعيد تدخلاتهم لمعرفة ما إذا كان بإمكانهم إخراج الوكلاء من هذه الحلقة. أولاً، تساءلوا عما إذا كان الوكلاء يفتقرون ببساطة إلى الخبرة. فقد منحوا الوكلاء "مذكرات رقمية" لتسجيل ملاحظاتهم، ومكتبة من المهارات المستخلصة من المشاريع مفتوحة المصدر، ووكيلًا تقييميًا منفصلاً لتقديم التشخيصات والاقتراحات. أدى هذا الإعداد إلى تحسين قدرة الوكلاء على تنفيذ مهامهم بشكل كبير، مما عزز أداءهم في معايير الرياضيات والبرمجة. ومع ذلك، حتى مع هذه المساعدة الإضافية والأدلة الواضية على فشل نهجهم الحالي، رفض الوكلاء تغيير استراتيجيتهم عالية المستوى. فقد كانوا يتبعون نصيحة المقيم لتعديل إعداد ما، لكنهم يتجاهلون الاقتراحات المتعلقة بتغيير الطريقة بالكامل.
بعد ذلك، اختبر الباحثون ما إذا كان الوكلاء بحاجة إلى توجيه أفضل. فقد قدموا مراجعًا بشريًا ينظر في خطة الوكيل الأولية قبل بدء التدريب ويطلب منه صراحةً اختيار استراتيجية مختلفة. نجح هذا الأمر تمامًا في البداية؛ حيث فهم الوكلاء التعليمات الجديدة ونفذوا خطة مختلفة. ومع ذلك، بمجرد بدء التدريب فعليًا، سرعان ما عاد الوكلاء إلى عاداتهم القديمة. فقد بدأوا في إجراء تعديلات محلية وتوقفوا عن التفكير في الاستراتيجية الأوسع، متجاهلين التوجيه البشري بمجرد بدء العمل. وأخيرًا، اختبر الباحثون ما إذا كان الوكلاء بحاجة ببساطة إلى مزيد من الوقت للتفكير. فقد منحوا الوكلاء قدرة حوسبة أكبر بكثير للتداول بشأن قراراتهم. وفي المهام الأسهل، ساعد وقت التفكير الإضافي هذا في تحسين النتائج. ولكن في المهام الأكثر صعوبة، لم تحقق القوة الإضافية أي فائدة تذكر. فقد استخدم الوكلاء الوقت الإضافي ببساطة لتنقيح استراتيجيتهم المنحبسة بشكل أكبر، بدلاً من إدراك أنهم بحاجة إلى تغيير مسارهم.
تخلص الدراسة إلى أن المكون المفقود في أبحاث الذكاء الاصطناعي المؤتمتة ليس نقص الخبرة، أو التوجيه، أو قوة الحوسبة الخام. فالوكلاء لديهم بوضوح القدرة على فهم استراتيجية جديدة وتنفيذها عند إخبارهم بذلك. ما ينقصهم هو العفوية لإدراك متى يفشل مسارهم الحالي والقرار طواعية بتغيير الاتجاه. إن حلقة اقتراح فرضية، وإجراء تجربة، ومراجعة النهج لا تُغلق إلا عند مستوى الإصلاحات المحلية الصغيرة. أما على مستوى الاستراتيجية العامة، فتظل الحلقة مفتوحة. إن سقف هذه الأنظمة المؤتمتة يتحدد بجودة القرار الأول الذي يتخذونه، وليس بمدة عملهم أو مقدار تفكيرهم. وحتى يتمكن وكلاء الذكاء الاصطناعي من فتح الخيار الاستراتيجي تلقائيًا أثناء التنفيذ، فسيظلون عمالًا أكفاء غير قادرين على التصرف كعلماء حقيقيين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.