← أحدث الأبحاث
🤖 machine learning

Beyond Fixed Directions: Adaptive Representation Analysis of Reasoning and Memorization in LLMs

تُظهر هذه الورقة أنه بينما يمكن فك تشفير مهام الاستنتاج والذاكرة في النماذج اللغوية الكبيرة عبر اتجاه تمثيل واحد، فإن هذا الاتجاه ليس ثابتاً بل يخضع لإعادة تنظيم هندسي جوهري أثناء التعلم المعزز، حتى مع بقاء المعلومات الأساسية متاحة.

المؤلفون الأصليون: Shaheen Nabi

نُشر 2026-08-25
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Shaheen Nabi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطنا-عي المتطور بسرعة، أصبحت النماذج اللغوية الكبيرة قادرة على حل الألغاز المعقدة واسترجاع كميات هائلة من المعلومات. لطالما تساءل العلماء عن كيفية عمل هذه الأدمغة الرقمية في الواقع. يشير أحد الأفكار السائدة إلى أن سلوكيات معينة، مثل الاستدلال المنطقي أو استرجاع الحقائق البسيطة، مرتبطة بمسارات محددة وثابتة داخل ذاكرة النموذج الداخلية. تخيل عقل النموذج كفضاء شاسع متعدد الأبعاد حيث يترك كل فكر أثراً. إذا صحت هذه الفكرة، فإن الفرق بين تفكير النموذج في مسألة رياضية وتفكيره في مجرد استرجاع حقيقة يجب أن يكون مرئياً كخط مستقيم واحد يشير في اتجاه محدد. هذا المفهوم جذاب للغاية لدرجة أن بعض الباحثين حاولوا استخدام هذه الخطوط الثابتة كأدلة لتدريب النماذج على التفكير بشكل أفضل، بافتراض أن المسار الذي وجدوه سيظل ثابتاً وموثوقاً.

ومع ذلك، تتحدى دراسة جديدة الافتراض بأن هذه المسارات تظل في مكانها. فقد ألقى الباحثون نظرة فاحصة على نموذج لغوي صغير، وتحديداً نسخة تُعرف باسم Qwen3-0.6B، لمعرفة ما إذا كانت فكرة الاتجاه الثابت هذه تصمد عندما يتعرض النموذج للتدريب الصارم. لقد جمعوا مجموعة متوازنة بعناية مكونة من 400 مثال، نصفها يتطلب استدلالاً منطقياً والنصف الآخر يتطلب استرجاعاً للحقائق. ومن خلال تجريد الأمثلة من المشتتات مثل طول الجملة أو المفردات المحددة، ضمنوا أن أي فرق يجدونه كان يتعلق حقاً بنوع التفكير المعني. كان اكتشافهم الأول مطمئناً: فقد أكدوا أنه في أي لحظة زمنية معينة، يكون الفرق بين الاستدلال والتذكر واضحاً لدرجة أن خطاً واحداً يمكنه الفصل بين المجموعتين تماماً. في الواقع، نجح هذا الخط البسيط بنفس كفاءة التحليل المعقد عالي الأبعاد الذي نظر في كل زاوية ممكنة من البيانات.

تتحول القصة عندما قام الباحثون بتدريب النموذج باستخدام تقنية قوية تسمى "تحسين السياسة النسبي للمجموعة" (group-relative policy optimization)، وهي طريقة مصممة لتعزيز مهارات الاستدلال. توقعوا أنه إذا كانت فكرة الاتجاه الثابت صحيحة، فإن الخط الذي يفصل الاستدلال عن الذاكرة سيبقى في مكانه حتى مع تعلم النموذج. وبدلاً من ذلك، وجدوا أنه بينما ظل النموذج يميز بين المهمتين بشكل مثالي، إلا أن الاتجاه الفعلي لتلك المعرفة قد تغير بشكل كبير. فبعد التدريب، كان الخط الذي كان يشير بوضوح نحو "الاستدلال" قد دار كثيراً لدرجة أنه لم يعد متوافقاً مع موضعه الأصلي. وفي المتوسط، كان الاتجاه الجديد مشابهاً للقديم بنسبة 45 بالمائة فقط، وفي الطبقات العميقة من النموذج، كان التحول أكثر وضوحاً، حيث انزاح التمثيل الداخلي بأكثر من النصف.

يكشف هذا الاكتشاف عن تمييز جوهري بين ما يعرفه النموذج وكيفية تخزين تلك المعرفة. المعلومات نفسها لم تختفِ؛ إذ كان لا يزال بإمكان النموذج التمييز بين مسألة رياضية وسؤال عن معلومات عامة بدقة تامة بعد التدريب. لكن الإحداثيات الهندسية التي استخدمها للتعبير عن هذا التمييز قد أعيد تنظيمها بالكامل. الأمر أشبه بخريطة مدينة تظل دقيقة تماماً في إخبارك بمكان المكتبة، لكن اتجاهات البوصلة على الخريطة قد دارت بحيث أصبح "الشمال" يشير الآن إلى حيث كان "الشرق" سابقاً. وقد قاس الباحثون هذا التحول من خلال مقارنة الحالة الداخلية للنموذل قبل التدريب وبعده، ووجدوا أن التغيير لم يكن مجرد تعديل طفيف بل كان إعادة تنظيم جوهرية للمشهد الداخلي للنموذج.

تخلص الدراسة إلى أنه بينما تظل القدرة على الفصل بين الاستدلال والذاكرة قوية، فإن فكرة أن هذه القدرة تعتمد على اتجاه واحد غير متغير هي فكرة خاطئة. المعلومات تستمر، لكن المسار الذي تسلكه عبر عقل النموذج مرن ويتغير مع التعلم. وهذا يشير إلى أنه بالنسبة للجهود المستقبلية لتوجيه الذكاء الاصطنا-عي باستخدام هذه الاتجاهات الداخلية، لا يمكن للعلماء ببساطة العثور على مسار مرة واحدة وافتراض أنه سيظل صالحاً. بدلاً من ذلك، يجب عليهم قبول أن الخريطة نفسها يتم رسمها من جديد باستمرار، حتى وإن ظلت المعالم في مكانها. إن استقرار المعرفة لا يضمن استقرار المسار المستخدم للوصول إليها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.LG →