TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development
تقدم هذه الورقة TraceML، وهي مجموعة بيانات ومخطط شامل يربط بين مسارات البشر والوكلاء عبر 134 مسابقة لتعلم الآلة، والتي تكشف أن الوكلاء الحاليين يفشلون في مضاهاة الأداء البشري ليس بسبب أخطاء برمجية، بل لأنهم يفتقرون إلى سلوكيات التخطيط الاستراتيجي والاستكشاف التكراري التي يظهرها الخبراء البشريون.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، هناك فرق شاسع بين كتابة جملة واحدة صحيحة وبين بناء آلة معقدة تتعلم من البيانات. لقد أصبحت النماذج اللغوية الكبيرة، وهي البرامج الحاسوبية القوية التي يمكنها صياغة رسائل البريد الإلكتروني أو كتابة الأكواد لمهام معزولة، ماهرة بشكل ملحوظ في الأمر الأول. ومع ذلك، عندما يُطلب منها العمل كمهندسين مستقلين — يقومون بتحميل بيانات فوضوية، واختيار النماذج الرياضية المناسبة، وتدريبها، ثم قضاء ساعات في تعديل نهجهم بناءً على ما تخبرهم به النتائج — فإنهم غالبًا ما يتعثرون. يمكنهم تقديم إجابة نهائية، لكنهم يجدون صعوبة في عبور الطريق الطويل والمتعرج للاكتشاف الذي يؤدي إليها. هذه الفجوة لا تتعلق فقط بالحصول على رقم خاط% في النهاية؛ بل تتعلق بكيفية إنجاز العمل. فبينما قد يجرب الخبراء البشر عشرات الاستراتيجيات المختلفة، ويستبعدون تلك التي تفشل، ويعودون إلى أفكار قديمة بدت واعدة، فإن هؤلاء الوكلاء الآليين غالبًا ما يعلقون في حلقات ضيقة، ويكررون نفس التعديلات الصغيرة دون تغيير اتجاههم حقًا.
لقد سعى باحثون من جامعة كارنيجي ميلون لفهم أين ولماذا يحدث هذا الخلل بالضبط. فقد ابتكروا طريقة جديدة للنظر في عمل كل من الخبراء البشر والوكلاء الاصطناعيين، حيث تعاملوا مع عملية التطوير بأكملها كقصة واحدة مستمرة وليس مجرد نتيجة نهائية. لقد جمعوا آلاف السجلات لكيفية حل البشر لمسابقات تعلم الآلة، ورصدوا كل مرة يحفظون فيها نسخة جديدة من أكوادهم، وكل مرة يغيرون فيها نموذجًا، وكل مرة يعدلون فيها بياناتهم. ثم قاموا بمزاوجة ذلك مع عمل نوعين مختلفين من الوكلاء الآليين الذين يعملون على نفس المشكلات. ومن خلال وضع هذه التواريخ جنبًا إلى جنب، استطاعوا رؤية ليس فقط من فاز، بل كيف فكر كل طرف، وكيف تحرك، وكيف تفاعل مع الفشل على مدار المسابقة.
وما وجدوه كان انقسامًا واضحًا في كيفية مقاربة المجموعتين للمشكلة. فقد تحرك الخبراء البشر بإيقاع مرن وقابل للتكيف؛ حيث يقضون وقتًا في تنظيف البيانات، ثم ينتقلون إلى اختبار نموذج جديد، ثم يتراجعون للتحقق من نتائجهم، وأحيانًا، عندما يصطدمون بحائط مسدود، يعودون إلى فكرة تخلوا عنها قبل أيام. لقد تعاملوا مع العملية كلسلسلة من التجارب، وكانوا مستعدين لتغيير مسارهم تمامًا عندما تشير الأدلة إلى أن مسارًا جديدًا هو المطلوب. وفي المقابل، تصرف الوكلاء الآليون وكأنهم محاصرون في غرفة واحدة. فأحد أنواع الوكلاء، الذي اعتمد على واجهة سطر أوامر قياسية، قضى معظم وقته في إجراء تعديلات طفيفة ومتكررة على حل واحد وجده بالفعل، مثل إعادة وزن نفس مجموعة المكونات باستمرار دون تجربة وصفة جديدة أبدًا. أما النوع الآخر من الوكلاء، الذي استخدم طريقة بحث لتجربة العديد من المتغيرات في آن واحد، فقد كان يغير نموذجه باستمرار لكنه فشل في دمج تلك التغييرات في استراتيجية متماسكة؛ إذ كان يقفز من فكرة إلى أخرى بتكرار شديد لدرجة أنه لم يحرز أي تقدم حقيقي، ولم يعد تقريبًا إلى نهج سابق ليرى ما إذا كان يمكن تحسينه.
اكتشف الباحثون أن الوكلاء لم يكونوا أبطأ فحسب، بل كانوا يفتقرون إلى قدرة بشرية حاسمة: القدرة على التذكر والمراجعة. فعندما يدرك الخبير البشري أن المسار الحالي هو طريق مسدود، يمكنه النظر إلى تاريخه، وإيجاد طريق مسدود واعد من وقت سابق في اليوم، ومحاولة إصلاحه. أما الوكلاء، فقد بدا وكأن ليس لديهم ذاكرة لتاريخهم الخاص. كان بإمكانهم التعافي من نتيجة سيئة عبر تعديل النموذج الحالي، لكنهم لم يستطيعوا إعادة فتح خط عمل تم استبعاده. هذا النقص في الذاكرة جعلهم يعيدون اختراع العجلة باستمرار أو يدورون في مكانهم دون جدوى، غير قادرين على البناء على الدروس المستفادة من محاولاتهم السابقة. وقد أظهرت الدراسة أنه بينما يمكن للوكلاء التعافي من النكسات بشكل أسرع من البشر في بعض الحالات، إلا أنهم افتقروا إلى الصبر الاستراتيجي للتخلي عن استراتيجية فاشلة والعودة إلى استراتيجية أفضل لاحقًا.
ولاختبار ما إذا كان هذا السلوك مجرد مسألة منح الوكلاء تعليمات أفضل، جرب الباحثون نهجًا جديدًا. فقد وضعوا مجموعة من الإرشادات بناءً على كيفية عمل الخبراء البشر فعليًا، حيث وجهوا الوكلاء للتبديل بين أنواع مختلفة من المهام، والتوقف عن تعديل الشيء نفسه مرارًا وتكرارًا، وتجربة نماذج جديدة بشكل أكثر تكرارًا. وعندما أعطوا هذه التعليمات للوكلاء، تغير السلوك، ولكن بطرق محددة فقط. بدأ الوكلاء في اتباع القواعد المتعلقة بمتى يتم التبديل بين المهام وكيفية بناء فريق من النماذج، وتحسنت درجاتهم في عدة مسابقات. ومع ذلك، ظل الإيقاع الأساسي لعملهم دون تغيير؛ فما زالوا لا يعودون إلى الأفكار القديمة، وما زالوا يفتقرون إلى الذاكرة العميقة والمرنة التي تسمح للبشر بالتنقل عبر ساعات التطوير الطويلة. لقد استطاعت التعليمات إخبار الوكلاء بما يجب عليهم فعله، لكنها لم تستطع تعليمهم كيفية التفكير في تاريخهم الخاص.
تخلص الدراسة إلى أن الفجوة بين الذكاء البشري والاصطناعي في هذا المجال ليست مجرد مسألة قوة حوسبة خام أو القدرة على كتابة الأكواد. إنها تتعلق ببنية البحث نفسها. فالوكلاء يفتقرون إلى القدرة على معاملة عملهم السابق كمورد يمكن استخراجه، وليس مجرد قائمة من الخطوات التي يجب تنفيذها. وبينما يمكن لمجموعة بسيطة من التعليمات إصلاح بعض السلوكيات السطحية، فإن المشكلة الأعمق تتطلب تغييرًا جوهريًا في كيفية تصميم هذه الأنظمة. إنهم بحاجة إلى وسيلة لتذكر رحلتهم، ولإدراك متى يعلقون في حلقة مفرغة، وامتلاك الثقة للعودة وتجربة مسار مختلف. وإلى أن يتمكنوا من فعل ذلك، فسيظلون أدوات قوية يمكنها اتباع الخريطة، لكنها ستظل تكافح لتكون المستكشف الذي يرسم الخريطة في المقام الأول.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.