Chain-of-Experience for Continual LLM Improvement
تقدم هذه الورقة "سلسلة الخبرة" (Chain-of-Experience - CoE)، وهو إطار عمل يُمكّن النماذج اللغوية الكبيرة من التحسن المستمر أثناء عملية الاستدلال عبر تراكم آثار تجريبية تكرارية من التغذية الراجعة الذاتية والبيئية، مما يتفوق باستمرار على النماذج المرجعية ذات الخطوة الصفرية في مهام الرياضيات والبرمجة والمعرفة مع تقليل تكاليف واجهة برمجة التطبيقات (API).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
خُلقت الكائنات البشرية لتتعلم من أخطائها. فعندما نحل مشكلة صعبة، ونفشل، ثم نحاول مجددًا مستفيدين من المعرفة بما سار بشكل خاطئ، فإننا لا نبدأ ببساطة من الصفر؛ بل نحمل الدرس معنا إلى الأمام، ونقوم بصقل نهجنا حتى ننجح. هذه الحلقة المستمرة من الفعل، والتغذية الراجعة، والتعديل هي محرك الذكاء البشري. ولعقود من الزمن، كانت أكثر برامج الكمبيوتر تقدمًا، والمعروفة باسم نماذج اللغات الكبيرة، تعمل بشكل مختلف تمامًا. فبمجرد تدريب هذه الأنظمة، يتم نشرها في حالة ثابتة، حيث تتعامل مع كل سؤال جديد كحدث منعزل. فهي تولد إجابة ثم تتوقف، متجاهلة التغذية الراجعة الغنية الموجودة داخل عملية حل المشكلات نفسها. إنها لا تتعلم من تجربة اللحظة.
وقد دفع هذا الفجوة بين كيفية تعلم البشر وكيفية عمل الآلات حاليًا الباحثين إلى طرح سؤال جوهري: هل يمكن تعليم هذه العقول الرقمية التعلم أثناء عملها، باستخدام الخبرة التي تجمعها في الوقت الفعلي؟ تكمن الإجابة في نهج جديد يسمى "سلسلة الخبرة" (Chain-of-Experience). يعامل هذا الأسلوب تاريخ محاولات النموذج بأكمله لمشكلة ما كقصة واحدة متطورة. فبدلاً من التخلص من المحاولة الفاشلة، يقوم النظام بتغذية النتيجة مرة أخرى في النموذج، مما يسمح له بقراءة أخطائه السابقة والتغذية الراجعة التي تلقاها، ثم توليد استجابة جديدة ومحسنة. إنها دورة مستمرة حيث يتعلم النموذج من رحلته، ويحدث فهمه مع كل خطوة يتخذها.
في دراسة حديثة، سعى الباحثون لاختبار ما إذا كان هذا المفهوم يمكن أن ينجح بالفعل عبر مجموعة واسعة من المهام الصعبة. فقد أخذوا ثمانية من أقوى نماذج اللغات المتاحة اليوم، بما في ذلك أنظمة من شركات تكنولوجية كبرى، ووضعوها في سلسلة من البيئات الصعبة التي تتضمن الرياضيات، والبرمجة الحاسوبية، وأسئلة معرفية معقدة. كان الهدف هو معرفة ما إذا كانت هذه النماذج قادرة على تحسين أدائها ببساطة من خلال التفاعل مع التغذية الراجعة أثناء الاختبار، دون إجراء أي تغييرات على تدريبها الأساسي. صمم الباحثون نظامًا يمكن للنماذج من خلاله تلقي أنواع مختلفة من التوجيه. فأحيانًا، تأتي التغذية الراجعة من النموذج نفسه، حيث يعمل كناقد يشير إلى العيوب في منطقه الخاص. وفي أحيان أخرى، تأتي التغذية الراجعة من بيئة خارجية، مثل برنامج حاسوبي يمكنه إخبار النموذج فورًا ما إذا كان جزء من الكود قد عمل بنجاح أو ما إذا كانت الإجابة الرياضية صحيحة.
كانت النتائج مذهلة. فعندما سُمح لهذه النماذج باستخدام عملية التعلم التكرارية هذه من خلال الخبرة، تفوقت باستمرار على نسخها القياسية التي لم يُسمح لها بالتأمل في أخطائها. لم يكن التحسن هامشيًا؛ بل حققت النماذج دفعة كبيرة في الدقة عبر جميع المجالات. وفي مجال البرمجة الحاسوبية، حيث كانت التغذية الراجعة دقيقة وفورية، ارتفعت معدلات نجاح النماذج بمتوسط 8.6 نقطة مئوية. وحتى في المهام الأكثر تجريدًا مثل حل المسائل الرياضية المعقدة، حيث كانت التغذية الراجعة أقل مباشرة، تمكنت النماذج أيضًا من تحسين درجاتها بأكثر من خمس نقاط مئوية. يشير هذا إلى أن القدرة على التعلم من الخبرة هي أداة قوية يمكن إطلاقها حتى دون إعادة تدريب "الدماغ" الأساسي للنموذج.
ولعل الأمر الأكثر إثارة للدهشة كان كفاءة هذا الأسلوب الجديد. فقد وجد الباحثون أن هذه النماذج لم تصبح أفضل فحسب، بل أصبحت أفضل مع إنفاق أموال وقدرة حوسبية أقل. فمن خلال استخدام التغذية الراجعة لتوجيه تفكيرها، وصلت النماذج إلى مستويات أعلى من الدقة بعدد أقل من المحاولات واستجابات أقصر. وفي الواقع، أظهرت الدراسة أن النماذج يمكنها تحقيق أفضل نتائجها مع انخفاض بنسبة 19% في تكلفة تشغيلها مقارنة بالطرق التقليدية التي لا تستخدم حلقة التغذية الراجعة هذه. وهذا يشير إلى أن النماذج لم تكن تخمن لمرات أكثر فح، بل كانت تفكر بفعالية أكبر، مستخدمة المعلومات التي جمعتها لتجنب الطرق المسدودة والتركيز على المسار الصحيح.
كما كشفت الدراسة عن نمط رائع فيما يتعلق بقدرات النماذج. فقد لاحظ الباحثون أن النماذج التي كانت بالفعل الأقوى في مهمة ما، كانت أيضًا هي الأكثر تحسنًا عند منحها الفرصة للتعلم من الخبرة. ويبدو أن قدرة النموذج على التعلم من تاريخه مرتبطة بذكائه الأولي؛ فكلما بدأ النموذج بذكاء أكبر، أصبح أفضل في استيعاب التغذية الراجعة وتطوير استراتيجيته. كان هذا الارتباط قويًا عبر المهام المختلفة التي تم اختبارها، مما يشير إلى أن القدرة على التعلم من الخبرة ليست مهارة منفصلة، بل هي خاصية ناشئة عن نظام استدلال قوي.
وحتى عندما كانت التغذية الراجعة غير كاملة أو مضللة، أظهرت النماذج مرونة ملحوة. ففي التجارب التي تعمد فيها الباحثون إعطاء النماذج معلومات خاطئة، مثل إخبارهم بأن إجابة خاطئة هي إجابة صحيحة، لم تنهار النماذج. وبينما انخفض أداؤها قليلاً، تمكنت النماذج القوية من التعافي وغالبًا ما وجدت الحل الصحيح. تشير هذه المتانة إلى أن هذه الأنظمة لا تتبع التعليمات بشكل أعمى، بل تقوم بالاستدلال النشط من خلال المعلومات التي تتلقاها، وتزن التغذية الراجعة مقابل منطقها الداخلي. كما وجدت الدراسة أن معظم التعلم حدث بسرعة كبيرة؛ حيث حققت النماذج الغالبية العظمى من تحسيناتها في الجولات الأولى من التغذية الراجعة، وبعد ذلك مال أداؤها إلى الاستقرار. وهذا يعني أن لحظات التأمل الأولية هي الأكثر أهمية للتعلم.
كما استكشف الباحثون ما إذا كان الجمع بين أنواع مختلفة من التغذية الراجعة يمكن أن يؤدي إلى نتائج أفضل. ووجدوا أنه عندما يتلقى النموذج نقدًا داخليًا من نفسه وإشارة خارجية تؤكد صحة الإجابة، فإن هذين المصدرين للمعلومات يعملان معًا لإنتاج أعلى الدرجات. سمح هذا الجمع للنماذج بالاستفادة من المنظور الواسع للتأمل الذاتي ومن التحقق الدقيق من الفحص الخارجي. ومع ذلك، عندما حاول الباحثون تبسيط العملية عن طريق تلخيص التجارب الماضية في ذاكرة قصيرة، كان أداء النماذج أسوأ. وهذا يشير إلى أن التاريخ التفصيلي خطوة بخطوة لمحاولات النموذج يحتوي على معلومات حاسمة تُفقد عندما يتم ضغط التجربة بشكل مفرط.
في الختام، يوضح هذا العمل أن نماذج اللغات الكبيرة قادرة على نوع من التعلم كان يُعتقد سابقًا أنه مستحيل بدون إعادة التدريب. فمن خلال السماح لها بتراكم الخبرة والتفاعل مع التغذية الراجعة أثناء عملية حل المشكلات، يمكنها التطور والتحسن في الوقت الفعلي. تؤكد الدراسة أن هذا النهج ليس فعالًا فحسب، بل هو كفء أيضًا، مما يوفر طريقة للحصول على المزيد من هذه الأدوات القوية دون التكلفة الحوسبية الهائلة للتدريب التقليدي. ومع استمرار تطور هذه الأنظمة، قد تصبح القدرة على التعلم من الخبرة ميزة قياسية، مما يسد الفجوة بين كيفية تفكير الآلات وكيفية تعلم البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.