QA-Merging: Query-Adaptive Reasoning via Layer Selective Model Merging

في عالم الذكاء الاصطناعي سريع التطور، ظهرت فئة محددة من البرامج الحاسوبية تُعرف باسم نماذج الاستدلال الضخمة كأداة قوية لحل المشكلات المعقدة. صُممت هذه الأنظمة لمحاكاة عمليات التفكير البشري من خلال توليد سلسلة طويلة من الاستدلال خطوة بخوة قبل الوصول إلى الإجابة النهائية. وتسمح هذه الطريقة، التي تُسمى غالبًا "سلسلة التفكير الطويلة"، للنموذج بفحص عمله، وتصحيح الأخطاء، والتنقل عبر الألغاز المنطقية الصعبة بدقة عالية. ومع ذلك، تأتي هذه الدقة بتكلفة باهظة؛ فعند مواجهة سؤال بسيط يتطلب خطوات قليلة فقط، يستمر النموذج غالبًا في توليد تفسيرات طويلة وغير ضرورية. هذا السلوك، الذي يوصف أحيانًا بـ "الإفراط في التفكير"، يهدر قدرات الحوسبة، ويبطئ وقت الاستجابة، ويمكن أن يؤدي حتى إلى إدخال أخطاء جديدة لم تكن موجودة من قبل. وقد تمثل التحدي للباحثين في ابتكار نظام يعرف متى يفكر بعمق ومتى يقدم إجابة مباشرة وسريعة، دون الحاجة إلى إعادة بناء النموذج بالكامل في كل مرة.

لقد عالج فريق من الباحثين في جامعة كوينزلاند ومؤسسات أخرى هذه المعضلة من خلال نهج جديد يسمى "QA-Merging" (دمج الاستعلام والجواب). فبدلاً من تدريب نموذج واحد لتعلم كيفية التبديل بين التفكير العميق والإجابات السريعة — وهي عملية تتطلب كميات هائلة من البيانات ووقت حوسبة مكلف — قاموا بدمج نموذجين موجودين في نموذج واحد. كان أحد النموذجين متخصصًا في توليد سلاسل تفكير مفصلة وطويلة للمشكلات الصعبة، بينما تم تدريب الآخر على تقديم إجابات موجزة وقصيرة للمهام البسيطة. ومن خلال دمج هاتين "الشخصيتين" المتمايزتين في كيان واحد، خلق الباحثون نظامًا يمكنه التكيف مع سلوكه بناءً على السؤال الذي يتلقاه. والنتية هي نموذج يحتفظ بالقدرة على حل المسائل الرياضية المعقدة باستدلال عميق، ولكنه يستطيع التحول فورًا إلى استجابة مختصرة وفعالة للاستفسارات الأسهل، مما يقضي فعليًا على هدر "الإفراط في التفكير".

يكمن جوهر هذا الاكتشاف في كيفية قرار الباحثين بدمج النموذجين. لم يكتفوا بمجرد حساب متوسط الإعدادات الرياضية للبرنامجين، وهي تقنية شائعة غالبًا ما تؤدي إلى طمس نقاط قوتهما الفريدة. بدلاً من ذلك، لاحظ الباحثون أن الفرق بين الاستدلال الطويل والقصير ليس موزعًا بالتساوي عبر طبقات النموذج الداخلية. تخيل النموذج كبنية متعددة الطبقات حيث تمر المعلومات عبر مراحل عديدة؛ فقد وجد الباحثون أن التباين بين أسلوبي التفكير يتركز في طبقات محددة فقط، بينما يظل بقية الهيكل متشابهًا للغاية. ومن خلال تحديد هذه الطبقات الحرجة، تمكنوا من تركيز جهودهم على معايرة تلك الأجزاء فقط، وترك الأجزاء الأخرى ليتم تعديلها بطريقة أبسط وأسرع بكثير. سمحت هذه الاستراتيجية الانتقائية بالحفاظ على قدرات الاستدلال العميق للنموذج المعقد مع دمج كفاءة النموذج البسيط، وكل ذلك دون التكلفة الباهظة لإعادة التدريب.

ولتعليم النموذج المدمج كيفية اختيار المسار الصحيح، أنشأ الفريق مجموعة بيانات صغيرة مصنفة بعناية. فقد قدموا مجموعة متنوعة من الأسئلة لكل من نموذجي التفكير الطويل والتفكير القصير وقارنوا النتائج. إذا كان السؤال صعبًا ولم يقم سوى نموذج التفكير الطويل بحله بشكل صحيح، فقد تم توجيه النموذج المدمج لاتباع نمط التفكير الطويل. وإذا كان السؤال بسيطًا وكلا النموذجين أجابا عليه بشكل صحيح، فقد تم توجيه النظام لتفضيل الإجابة الأقصر والأكثر كفاءة. خلقت هذه العملية مجموعة من القواعد التي أخبرت النموذج المدمج بالضبط أي أسلوب استدلال يجب اعتماده لكل استفسار محدد. ثم طبق الباحثون تقنية تسمى "محاذاة الميزات" (feature alignment) على الطبقات الحرجة، مما يضمن تطابق الحالة الداخلية للنموذج المدمج مع النمط المفضل لذلك السؤال تحديدًا. أما بالنسبة للطبقات المتبقية، فقد استخدموا تصحيحًا رياضيًا يعدل المخرجات دون الحاجة إلى حسابات معقدة، مما يضمن استقرار وكفاءة النظام.

كانت نتائج هذا النهج مذهلة. فعند اختباره على سبعة معايير استدلال مختلفة، تتراوح من مسائل الرياضيات للمرحلة الابتدائية إلى أسئلة العلوم المتقدمة لمستوى الدراسات العليا، تفوق النموذج المدمج باستمرار على الأساليب الحالية. وفي نموذج محدد يبلغ عدد معلماته 1.5 مليار معلمة، قلل النهج الجديد متوسط طول الاستجابة بنسبة 70 بالمائة مقارنة بنموذج التفكير الطويل، مع تحسين الدقة الإجمالية في الواقع. وهذا يعني أن النظام لم يكن أسرع وأرخص في التشغيل فحسب، بل كان أيضًا أكثر دقة. لقد تمكن من حل المشكلات الصعبة بنفس عمق النموذج المعقد الأصلي، لكنه تجنب الإفراط في التفكير غير المجدي في المهام الأبسط. وفي المقابل، فإن الأساليب الأخرى التي حاولت تحقيق أهداف مماثلة تطلبت إما إعادة تدريب مكثفة، وهي عملية بطيئة ومكلفة، أو اعتمدت على مطالبات (prompts) بسيطة غالبًا ما فشلت في توجيه النموذج بشكل صحيح. لقد حققت الطريقة الجديدة توازنًا لم تستطع التقنيات السابقة تحقيقه، مما أثبت أنه من الممكن الحصول على كل من السرعة والذكاء في نظام واحد.

كما سلطت الدراسة الضوء على أهمية عدم معاملة جميع أجزاء نموذج الذكاء الاصطناعي بنفس الطريقة. فمن خلال إظهار أن مجموعة فرعية صغيرة فقط من الطبقات هي المسؤولة عن الفرق بين الاستدلال العميق والضحل، أثبت الباحثون أن النهج المستهدف أكثر فعالية بكثير من النهج الشامل. ويشير هذا الاستبصار إلى أن التحسينات المستقبلية في الذكاء الاصطناعي قد لا تتطلب دائمًا بناء نماذج أكبر أو أكثر تعقيدًا، بل العثور على طرق أذكى لدمج وتحسين قدرات النماذج الموجودة. ويوفر هذا العمل مسارًا واضحًا لجعل هذه الأدوات القوية أكثر عملية للاستخدام اليومي، حيث تكون السرعة والتكلفة مهمتين بقدر الدقة. ومن خلال تعلم التبديل بين أنماط التفكير، يحاكي النموذج المدمج كفاءة أكثر شبهاً بالبشر، حيث يعرف متى يتوقف ويفكر بعمق ومتى يتحرك بسرعة، وكل ذلك دون الحاجة إلى تدريب مكلف أو تعليمات معقدة.

تحقق الباحثون من نتائجهم عبر حجمين مختلفين من النماذج، مؤكدين أن الطريقة تعمل بغض النظر عن مقياس النظام. وقارنوا نتائجهم مع مجموعة واسعة من المنافسين، بما في ذلك النماذج المدربة باستخدام التعلم المعزز وتلك الموجهة بمطالبات محددة. وفي كل حالة، قدم النموذج المدمج مقايضة أفضل بين الدقة والكفاءة. فقد تمكن من مطابقة أداء النماذج الأكثر شمولاً في المهام الصعبة مع توليد كلمات أقل بكثير، مما يترجم مباشرة إلى انخفاض في استهلاك الطاقة وسرعة في زمن الاستجابة. وتخلص الدراسة إلى أن تقنية الدمج الانتقائي للطبقات هذه تعد بديلاً قابلاً للتطبيق وفعالاً لطرق التدريب المكلفة المستخدمة حاليًا لتكييف النماذج الكبيرة. إنها تقدم حلاً عمليًا لمشكلة الإفراط في التفكير، مما يضمن أن يكون الذكاء الاصطناعي قويًا واقتصاديًا في آن واحد، جاهزًا للتعامل مع كل شيء بدءًا من الحساب البسيط وصولاً إلى الاستنتاجات المنطقية المعقدة بالمستوى المناسب من الجهد.