QLPO: Quadrant-weighted Sampling for Length-aware Policy Optimization
تقترح الورقة البحثية QLPO، وهو متغير بسيط يعتمد على إعادة أخذ العينات من GRPO ويتحكم ضمنياً في طول الاستجابة من خلال تفضيل المخرجات القصيرة الصحيحة والمخرجات الطويلة غير الصحيحة أثناء التدريب، مما يقلل بشكل كبير من زمن انتقال الاستدلال مع الحفاظ على دقة الاستدلال عبر مختلف أحجام النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يكون فيه مساعدك الذكي المفضل ذكياً للغاية ولكنه أيضاً ثرثار بشكل لا يصدق. تسأله سؤالاً رياضياً بسيطاً، وبدلاً من إعطائك إجابة سريعة، يكتب رواية، يشرح فيها كل فكرة تخطر بباله، ويراجع عمله ثلاث مرات، ويعتذر عن الإزعاج. هذا هو الواقع الحالي لـ "نماذج الاستدلال الضخمة" (Large Reasoning Models). هذه برامج حاسوبية فائقة الذكاء تم تدريبها لحل المشكلات الصعبة من خلال التفكير بصوت عالٍ، وهي عملية تسمى "سلسلة الأفكر" (Chain-of-Thought). إنها تستخدم تقنية تسمى "التعلم التعزيزي" (Reinforcement Learning)، وهي تشبه تدريب الكلب: إذا جلس الكلب عندما تقول له "اجلس"، فإنه يحصل على مكافأة. إذا حصل الذكاء الاصطناعي على الإجابة الصحيحة، فإنه يحصل على مكافأة رقمية. المشكلة؟ لقد تعلم الذكاء الاصطناعي أن أفضل طريقة للحصول على مكافأة هي التحدث كثيراً. فهو يعتقد أن المزيد من الكلمات تعني إجابة أفضل، لذا يبدأ في توليد آلاف الكلمات الإضافية. هذا يجعل الذكاء الاصطناعي بطيئاً، ومكلفاً في التشغيل، ومزعجاً للقراءة. يحاول العلماء تعليم هذه النماذج أن تكون موجزة دون أن تصبح "أقل ذكاءً" أو أقل دقة.
إليك طريقة جديدة تسمى QLPO (أخذ العينات الموزون بالربع لتحسين السياسة - Quadrant-weighted sampling for Length-aware Policy Optimization). فكر في QLPO كأنه محرر بارع لا يكتفي بالصراخ "كن مختصراً!" في وجه الذكاء الاصطناعي. بدلاً من ذلك، يغير QLPO قواعد اللعبة من خلال النظر في جولات التدريب الخاصة بالذكاء الاصطناعي واختيار أفضلها للتعلم منها، بناءً على قاعدة بسيطة: "القصير والصحيح رائع؛ والطويل والخاطئ سيء للغاية".
إليك كيف يعمل السحر. تخيل أن الذكاء الاصطناعي طالب يؤدي اختباراً. في جلسة تدريب عادية، يكتب الطالب ثماني إجابات مختلفة لسؤال واحد. المعلم (طريقة التدريب القياسية) ينظر إلى الإجابات الثماني ويقول: "حسناً، لقد حصلت على الإجابة الصحيحة، لكنك كتبت الكثير"، أو "لقد أخطأت، وكتبت القليل جداً". هذا غالباً ما يربك الطالب، الذي قد يفكر: "ربما أحتاج إلى الكتابة أكثر لأكون في أمان!".
يغير QLPO استراتيجية المعلم. أولاً، يُطلب من الطالب كتابة ست عشرة إجابة (ضعف العدد المعتاد). ثم يقوم المعلم بفرز هذه الإجات الست عشرة في أربع مجموعات:
- قصير وصحيح (المعيار الذهبي)
- طويل وصحيح (جيد، لكنه كثير الكلام)
- قصير وخاطئ (موجز جداً لدرجة تمنعه من أن يكون صحيحاً)
- طويل وخاطئ (النوع الأسوأ: فوضى طويلة ومربكة)
ثم يقوم المعلم برمي معظم الإجابات "الطويلة والخاطئة" ويحتفظ بمعظم الإجابات "القصيرة والصحيحة". يخلطون هذه الإجابات المختارة مرة أخرى في مجموعة من ثماني إجابات ويقولون: "هذا ما يجب أن تتعلم منه". ومن خلال القيام بذلك مراراً وتكراراً، يتعلم الذكاء الاصطناعي درساً دقيقاً: "للحصول على مكافأتي، لست بحاجة إلى الثرثرة. أحتاج فقط أن أكون صحيحاً وفعالاً".
وجد مؤلفو الورقة البحثية أن هذا إعادة الترتيب البسيطة تحقق نتائج مذهلة. لقد اختبروا الطريقة على نماذج تتراوح من صغيرة جداً (1.5 مليار معلمة) إلى ضخمة (32 مليار معلمة). كانت النتائج مذهلة: قلل QLPO من طول إجابات الذكاء الاصطناعي بنسبة 30% إلى 70% في جميع المجالات. وفي بعض الاختبارات الرياضية الصعبة، خفض طول الإجابة من أكثر من 17,000 كلمة إلى حوالي 6,600 كلمة، دون فقدان أي دقة. في الواقع، في بعض الاختبارات المعيارية الصعبة، كان أداء النماذج أفضل قليلاً أو ظل كما هو تماماً، مما يثبت أن كونها موجزة لم يجعلها أقل ذكاءً.
كما قارن الباحثون QLPO بطرق أخرى تحاول إجبار الذكاء الاصطناعي على أن يكون أقصر، مثل إضافة "عقوبة" لاستخدام الكثير من الكلمات. ووجدوا أن تلك الطرق غالباً ما تأتي بنتائج عكسية، مما يجعل الذكاء الاصطناعي مرتبكاً أو أقل دقة. ومع ذلك، فإن QLPO يشبه الوخزة اللطيفة بدلاً من اليد الثقيلة. فهو لا يغير قواعد اللعبة (المكافأة)؛ بل يغير فقط الأمثلة التي يدرسها الذكاء الاصطناعي.
ومن المثير للاهتمام، لاحظ المؤلفون أن هذه الطريقة لا تجعل الذكاء الاصطناعي أقصر فحسب، بل تجعله أكثر ذكاءً في طريقة تفكيره. يتوقف الذكاء الاصطناعي عن إضاعة الوقت في الشروحات المتكررة والتدقيقات الزائدة. يتعلم الاحتفاظ بالخطوات المهمة وحذف الحشو. وبين أن هذه الطريقة تتطلب من الذكاء الاصطناعي توليد بضعة إجابات إضافية أثناء التدريب (مما يستغرق وقتاً أطول قليلاً)، إلا أن العائد هائل: النموذج النهائي يكون أسرع وأرخص في الاستخدام في العالم الحقيقي.
باخت مختصر، يقترح QLPO أننا لسنا بحاجة لإجبار الذكاء الاصطناعي على الصمت باستخدام العصا؛ نحن فقط بحاجة لإظهار أن الإجابات الهادئة والصحيحة هي التي تهم حقاً. إنها طريقة بسيطة وقوية لتعليم أصدقائنا الرقميين الثرثارين قول المزيد بالقليل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.