DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution
تقدم الورقة البحثية إطار عمل DIVE، وهو إطار عمل قائم على التنوع يُمكّن النماذج اللغوية الكبيرة المجمدة من تحقيق تحسين ذاتي سريع وخالٍ من المعلمات عبر تطوير واختيار مهارات لغوية طبيعية متكاملة من تجربة المهام وتغذية المقيّم الراجعة، مما يؤدي إلى التفوق على أساليب الاستدلال والتحسين الحالية مع الانتقال بفعالية عبر مقاييس النماذج المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقًا آليًا فائق الذكاء يعرف كل شيء تقريبًا عن العالم. يمكنك أن تطلب منه حل مسألة رياضية صعبة أو لغز منطقي، وعادة ما ينجح في ذلك. لكن هنا تكمن المشكلة: بمجرد أن تطفئ الروبوت ثم تعيد تشغيله، ينسى كل ما تعلمه من أسئلتك المحددة. الأمر يشبه امتلاك عبقري يستيقظ كل صباح بذهن صافٍ، غير قادر على تذكر الأخطاء التي ارتكبها بالأمس أو الحيل الذكية التي اكتشفها. عادةً، لجعل الروبوت أكثر ذكاءً، يجب عليك إعادة توصيل أسلاكه (وهي عملية تسمى "التدريب")، وهي عملية مكلفة وبطيئة وتتطلب وصولاً خاصًا لا يملكه الكثيرون.
لذا، كان العلماء يطرحون سؤالًا كبيرًا: هل يمكن للروبوت "المتجمد" أن يتعلم دون إعادة توصيل أسلاكه؟ تكمن الإجابة في شيء يسمى "التلقين" (Prompting). بدلاً من تغيير دماغ الروبوت، يمكنك تغيير التعليمات التي تعطيها له. فكر في الأمر كأنك تعطي طباخًا بطاقة وصفة جديدة؛ إذا قالت البطاقة: "تذكر إضافة الملح للحساء"، فقد يؤدي الطباخ مهمة أفضل. ولكن إذا استمر الطباخ في ارتكاب نفس الخطأ، فقد لا تكون مجرد ملاحظة بسيطة كافية. أنت بحاجة إلى طريقة تجعل الطباخ يدون لماذا فشل، ويكتشف استراتيجية أفضل، ويحول تلك الاستراتيجية إلى قاعدة دائمة على بطاقة الوصفة الخاصة به، كل ذلك دون تغيير مهاراته الفعلية في الطبخ. هذا هو أفق "التحسين الذاتي" للذكاء الاصطناعي: تعليم نموذج ثابت كيف يصبح أكثر ذكاءً بمجرد التحدث مع نفسه والتعلم من تجاربه الخاصة.
هنا يأتي دور DIVE (تطور المهارات المدفوع بالتنوع)، وهي طريقة جديدة تعمل كورشة عمل عبقرية وفوضوية لهذه الروبوتات المتجمدة. وجد الباحثون أنه بدلاً من محاولة العثفت حزمة واحدة "مثالية" من التعليمات، فمن الأفضل تشغيل فريق كامل من "نسخ" مختلفة من الروبوت، كل منها يحاول التعلم بطريقة مختلفة قليلاً.
إليك كيف يعمل DIVE، تخيل مجموعة من عشرة محققين مختلفين يحاولون حل لغز ما. في الماضي، كان الباحثون قد يطلبون من محقق واحد فقط حل القضية، وارتكاب خطأ، ثم يحاول إصلاح ملاحظاته. لكن DIVE يقول: "دعونا نجعل عشرة محققين يعملون على القضية في وقت واحد!" يبدأ كل محقق بمجموعة مختلفة قليلاً من الملاحظات (وهي "مهارة البذرة"). وبينما يعملون، يتلقون ملاحظات حول مواضع خطئهم.
بدلاً من ترك محقق واحد فقط يحاول إصلاح ملاحظاته، يستخدم DIVE صندوق أدوات يحتوي على "استراتيجيات إصلاح" مختلفة. قد يجرب أحد المحققين الإصلاح التأملي (Reflective Repair)، وهو يشبه النظر إلى خطأ ما والقول: "أوه، لقد فاتني دليل هنا، دعني أضيف ملاحظة حول ذلك". وقد يجرب آخر المراجعة الاستكشافية (Exploratory Revision)، وهي تشبه رمي الخريطة القديمة ورسم خريطة جديدة تمامًا لأن المسار القديم هو طريق مسدود. وهناك ثالث قد يجرب الضغط (Compression)، وهو يشبه أخذ دفتر ملاحظات فوضوي مكون من 50 صفحة واختصاره في ورقة مرجعية موجزة من 5 صفحات تحتفظ فقط بالقواعد الأكثر أهمية.
إن سحر DIVE يكم old في أنه لا يكتفي باختيار أفضل محقق والتوقف عند ذلك. بل يستمر في إبقاء المحققين العشرة يعملون بالتوازي. إنه يراقب أي محقق يتحسن في نوع معين من المشكلات ويعطيه المزيد من الوقت للعمل. وإذا تعثر محقق ما، فقد يستدعي النظام استراتيجية جديدة ومنعشة لمساعدته. هذا يمنع المجموعة بأكملها من التورط في نفس الفكرة الخاطئة (وهي مشكلة تسمى "الفرط في التخصيص" أو Overfitting).
بمجرد أن يحصل المحققون على فرصتهم للتعلم والتطور، لا يختار DIVE ببساطة المحقق صاحب أعلى درجة. بدلاً من ذلك، ينظر إلى الفريق بأكمله ويختار فريقًا متكاملًا. رب د كان رائعًا في رصد الأنماط الرقمية، بينما كان المحقق ب مذهلاً في رصد الفخاخ المنطقية. ومن خلال دمج "بطاقات المهارة" الفريدة والمتطورة لكل منهما في أداة واحدة، يمكن للروبوت حل مشكلات لم يكن قادراً على حلها من قبل.
تظهر الورقة البحثية أن هذه الطريقة تعمل بشكل جيد للغاية. فعند اختبارها على مسابقات رياضيات صعبة (مثل HMMT) وألغاز منطقية معقدة (مثل السودوكو)، سمح DIVE للنماذج الصغيرة المتجمدة بالتعلم والتحسن بسرعة. في الواقع، تمكن نموذج صغير يستخدم مهارات DIVE المتطورة من التفوق على نموذج أكبر بكثير وأكثر قوة كان يستخدم تعليمات قياسية فقط. ووجد الباحثون أن DIVE يمكنه تحقيق هذه التحسينات الكبيرة بعدد أقل بكثير من المحاولات (أو "التجارب" Rollouts) مقارنة بالطرق الأخرى التي تحاول تغيير دماغ النموذج أو مجرد تعديل التلقين لمرة واحدة.
وعلى نحو حاسم، تجادل الورقة بأن هذا النهج أفضل من محاولة العث ث م "تلقين سحري" واحد أو الاعتماد على مسار تعلم واحد. فمن خلال الحفاظ على مجموعة متنوعة من المهارات المتطورة وخلط أفضل الأجزاء من كل منها، ينشئ DIVE نظامًا قويًا ومحسنًا ذاتيًا لا يحتاج إلى إعادة توصيل أسلاكه. وهذا يشير إلى أنه بالنسبة للنماذج المتجمدة، فإن سر زيادة الذكاء ليس في تعليمات مثالية واحدة، بل في مكتبة متنوعة ومتطورة من الاستراتيجيات التي يمكن للنموذج سحبها لحل أي مشكلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.