SLMs as Multi-Agent Routers: A Progressive SFT and Reinforcement Learning Approach
تقترح هذه الورقة نموذج لغة صغيراً تم تدريبه عبر الضبط الدقيق الخاضع للإشراف التدريجي والتعلم التعزيزي لتوجيه الاستعلامات ديناميكياً إلى وكلاء استرجاع متخصصين بناءً على أداء الاسترجاع بدلاً من مجرد القصد، مما يحقق صلة أعلى بكثير (NDCG@10 يبلغ 0.771) وزمن انتقال أقل (120.1 مللي ثانية) مقارنة بالنماذج اللغوية الكبيرة المرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير داخل مكتبة ضخمة ومستقبلية، حيث كل كتاب فيها كتبه خبير مختلف. هناك قسم للفيزياء الكمية، وآخر للتاريخ القديم، وجناح كامل لطهي الطعام، وحتى غرفة مخصصة لأسرار الجينوم البشري. في هذه المكتبة، أمناء المكتبة هم روبوتات فائقة الذكاء. بعضهم عباقرة في العثور على الأوراق الطبية، بينما البعض الآخر أساتذة في التقارير المالية. ما المشكلة؟ أنت لا تعرف أي روبوت تسأل. إذا سألت روبوت التمويل عن وصفة لخبز "السوردو"، فقد يحاول إيجاد صلة بأسواق الأسهم ويعطيك إجابة مربكة وغير مفيدة. وإذا سألت الروبوت الطبي عن انهيار في سوق الأسهم، فقد يبدأ في تشخيص حالتك بمرض نادر.
هذا هو عالم "الاسترجاع متعدد الوكلاء" (Multi-Agent Retrieval). في العالم الرقمي، لدينا العديد من "الوكلاء" الذكيين المتخصصين (فكر فيهم كأنهم تلك الروبوتات الخبيرة) المصممين للبحث عن أنواع محددة من المعلومات. التحدي الكبير هو "الموجه" (Router): وهو الجزء من النظام الذي يقرر أي روبوت سيحصل على سؤالك. لفترة طويلة، كانت أفضل طريقة لاختيار روبوت هي تخمين الموضوع الذي يدور حوله السؤال بناءً على الكلمات المستخدمة. إذا قلت "أسهم"، فإن النظام يختار روبوت التمويل. لكن هذا يشبه الحكم على الكتاب من غلافه؛ فأحياناً يكون السؤال عن "الأسهم" متعلقاً بتاريخ شركة ما، وليس بسعرها الحالي، وهنا قد يخطئ روبوت التمويل الهدف. أراد مؤلفو هذه الورقة البحثية بناء "موجه" أكثر ذكاءً لا يكتفي بمجرد تخمين الموضوع، بل يتعلم حقاً من النتائج ليرى أي روبوت هو الأنسب بالفعل.
الورقة البحثية التي تحمل عنوان "النماذج اللغوية الصغيرة كموجهات متعددة الوكلاء: نهج التدريب الفائق المستمر والتعلم التعزيزي" تقترح حلاً ذكياً لهذه المشكلة. يجادل المؤلفون بأن مجرد تخمين الموضوع ليس كافياً لأن ذلك يتجاهل ما إذا كان الروبوت المختار سيجد بالفعل إجابات جيدة. بدلاً من ذلك، قاموا بتدريب نموذج ذكاء اصطناعي صغير فائق السرعة (يسمى نموذج لغوي صغير، أو SLM) ليعمل كشرطي مرور فائق الكفاءة. لم يعلموه فقط كيفية قراءة الأسئلة، بل علموه كيف يتعلم من التجربة.
إليكم كيف فعلوا ذلك، باستخدام عملية تدريب مكونة من خطوتين تشبه تعليم موظف جديد. أولاً، استخدموا "الضبط الدقيق الخاضع للإشراف" (SFT). تخيل أنك تعرض على الموظف الجديد آلاف الأمثلة من الأسئلة والروبوت "الصحيح" الذي يجب اختياره. منح هذا النموذج أساساً متيناً، وعلمه أن "التمويل" يعني عادةً روبوت التمويل، وأن "علم الوراثة" يعني عادةً روبوت العلوم. ومع ذلك، أدرك المؤلفون أن هذا لم يكن كافياً. تماماً مثل الموظف الجديد الذي يحفظ كتيب التعليمات فقط، لم يستطع النموذج التمييز بين سؤال يبدو وكأنه ينتمي لروبوت معين ولكنه في الواقع يناسب روبوتاً آخر بشكل أفضل.
ولإصلاح ذلك، أضافوا خطوة ثانية: "التعلم التعزيزي" (RL). هنا يحصل النموذج على فرصة للعب لعبة. يختار روبوتاً، ويحصل على النتائج، ثم يقوم "حكم" (ذكاء اصطناوت آخر) بتقييم مدى جودة تلك النتائج. إذا اختار النموذج الروبوت الخطأ وحصل على نتائج سيئة، فإنه يتلقى "عقوبة" (درجة منخفضة). وإذا اختار الروبوت الصحيح أو أدرك أن روبوتاً متخصصاً ليس مناسباً وقام بالتبديل إلى واحد عام، فإنه يحصل على "مكافأة". بمرور الوقت، تعلم النموذج كيفية رصد الحالات المخادعة حيث قد يفشل الروبوت المتخصص، حتى لو بدا السؤال متوافقاً تماماً مع تخصصه.
كانت النتائج مبهرة. فالنموذج الصغير الذي قاموا بتدريبه، والذي يمتلك 0.6 مليار معلمة فقط (مما يجعله أصغر بكثير من النماذج الضخمة التي تمت مقارنته بها)، أصبح صانع قرار أفضل من نموذجين كبيرين ومكلفين (Amazon Nova Lite و Claude Haiku 4.5). وعند اختباره على مقياس قياسي من 0 إلى 1 (حيث 1 هو المثالي)، حقق الموجه الجديد متوسط درجة قدرها 0.771، بينما سجلت النماذج الكبيرة 0.594 و 0.552.
حدث السحر الحقيقي عندما اختبروا الموجه على الأسئلة "المخادعة" — تلك التي قد يحدد فيها الروبوت المتخصص الموضوع بشكل صحيح ولكن الإجابة بشكل خاطئ. في هذه الاستعلامات المتباينة تحديداً، حقق الموجه الجديد درجة هائلة بلغت 0.918، بينما تعثرت النماذج الكبيرة في درجات 0.539 و 0.490. وهذا يثبت أن النموذج الجديد تعلم اكتشاف متى يكون الوكيل المتخصص غير مناسب، وهي مهارة افتقدتها النماذج الكبيرة لأنها كانت تنظر فقط إلى الموضوع السطحي.
كانت السرعة أيضاً فوزاً كبيراً. في العالم الحقيقي، الانتظار لاتخاذ قرار أمر محبط. جعل الموجه الجديد خياراته في متوسط زمن قدره 120.1 ميلي ثانية. وهذا أسرع بنسبة 82.4% من نموذج Amazon Nova Lite، الذي استغرق 683.6 ميلي ثانية، وأسرع بنسبة مذهلة بلغت 95.1% من نموذج Claude Haiku الذي استغرق 2,457 ميلي ثانية.
باختدال، تظهر الورقة البحثية أنك لست بحاجة إلى عقل ضخم وبطيء ومكلف لاتخاذ قرارات توجيه ذكية. من خلال تدريب عقل صغير وسريع ليتعلم من جودة النتائج التي يساعد في إنتاجها، يمكنك بناء نظام ليس فقط أكثر ذكاءً في اختيار الخبير المناسب، بل وأيضاً فائق السرعة. يقترح المؤلفون أن هذا النهج يمكن أن يحدث ثورة في كيفية بناء أنظمة الذكاء الاصطناعي التي تحتاج إلى البحث عن المعلومات بسرعة ودقة، مما يثبت أن نموذجاً صغيراً تم تدريبه بالتغذية الراجعة الصحيحة قد يكون أفضل من نموذج ضخم يتكهن في الظلام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.