Task-Dependent Intrinsic Dimensionality Across Transformer Layers: An Exploratory Study of Qwen2.5-1.5B
تكشف هذه الدراسة الاستكشافية لنموذج Qwen2.5-1.5B أن الأبعاد الجوهرية للتمثيلات الداخلية تتباين بشكل غير منتظم عبر فئات المهام وطبقات المحولات (transformer layers)، حيث تُظهر مهام الاستدلال أبعاداً أقل من استرجاع الحقائق في الطبقات الوسطى، لكنها تتقارب نحو مستويات مماثلة في الطبقات النهائية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
داخل العقول الرقمية للذكاء الاصطناعي الحديث، يوجد مشهد شاسع وغير مرئي حيث تُخزن المعلومات وتُحوّل. هذه الأنظمة، المعروفة باسم "المحولات" (transformers)، تعالج اللغة عن طريق تحويل الكلمات إلى قوائم طويلة من الأرقام، مما يخلق فضاءً عالي الأبعاد يمكن أن يحتوي على آلاف الإحداثيات. ومع ذلك، وعلى الرغم من هذه السعة الهائلة، فإن المعلومات الفعلية اللازمة لحل مشكلة معينة غالباً ما تعيش في منطقة أصغر بكثير وأكثر تركيزاً من ذلك الفضاء. يطلق العلماء على هذا "البعد الجوهري"، وهو مقياس لعدد الاتجاهات الضرورية حقاً لوصف البيانات في أي لحظة معينة. إن فهم ما إذا كان هذا الفضاء الداخلي يتوسع أو ينكمش اعتماداً على نوع المهمة — مثل استرجاع حقيقة ما مقابل حل لغز منطقي — يفتح نافذة على كيفية تفكير هذه الآلات. فإذا تغيرت هندسة هذه التمثيلات الداخلية بناءً على الوظيفة المطلوبة، فإن ذلك يشير إلى أن النموذج لا يعامل كل المعرفة ككتلة واحدة موحدة، بل يعيد تشكيل عالمه الداخلي ليتناسب مع المشكلة.
لقد وضعت دراسة حديثة هدفاً لرسم خرائط هذه المناظر الطبيعية المتغيرة داخل نموذج ذكاء اصطناعي أصغر ومحدد يسمى Qwen2.5-1.5B. لم يكن الباحثون يحاولون تعليم النموذج شيئاً جديداً أو التحقق مما إذا كان بإمكانه الإجابة على الأسئلة بشكل صحيح؛ بل عملوا كرسامي خرائط، يراقبون كيف تتغير الحالة الداخلية للنموذج أثناء معالجته لأنواع مختلفة من المطالبات (prompts). لقد جمعوا 200 طلب متميز، مقسمة إلى أربع فئات: الاسترجاع الواقعي (تحديداً حول الكيمياء)، الحسابات الحسابية، الاستدلال المنطقي، والتنبؤ بمخرجات كود برمجي قصير. ولكل طلب، التقطوا "فكر" النموذج الداخلي عند كل خطوة من خطوات معالجته، بدءاً من الطبقة الأولى حيث يتم استقبال المدخلات وصولاً إلى الطبقة النهائية حيث يتم إعداد الإجابة. سمح لهم ذلك بتتبع شكل تفكير النموذج أثناء انتقاله بعمق داخل الشبكة.
ولقياس مدى تعقيد هذه الحالات الداخلية، استخدم الباحثون عدة أدوات تعمل كأدوات قياس للفضاء عالي الأبعاد. لقد نظروا في كيفية توزيع طاقة البيانات عبر الإحداثيات العديدة؛ فإذا كانت البيانات موزعة بشكل متساوٍ، يُعتبر الفضاء عالي الأبعاد، أما إذا كانت البيانات مضغوطة في اتجاهات قليلة فقط، فإن الفضاء يكون منخفض الأبعاد. طبقوا هذه القياسات على استجابات النموذج لكل نوع من أنواع المهام الأربعة. وكشفت النتائج عن نمط مفاجئ وديناميكي؛ ففي المراحل المبكرة والمتوسطة من المعالجة، كانت التمثيلات الداخلية لمهام الاستدلال المنطقي تشغل مساحة أكبر قليلاً وأكثر تعقيداً من مهام الاسترجاع الواقعي البسيطة. ومع ذلك، عندما انتقل النموذج إلى طبقاته النهائية، انقلت هذه العلاقة. ففي الأجزاء الأكثر عمقاً من الشبكة، أصبحت التمثيلات الخاصة بالاسترجاع الواقعي أكثر تعقيداً وانتشاراً بشكل ملحوظ، بينما تقلصت المساحة المخصصة لمهام الاستدلال وأصبحت أكثر تركيزاً.
كان هذا الانعكاس هو الاكتشاف الأكثر إثارة في العمل. فعند نقطة محددة بالقرب من نهاية سلسلة المعالجة، كان مقياس التعقيد للاسترجاع الواقعي أكثر من ضعف مقياس مهام الاستدلال. يشير هذا إلى أن النموذج لا يصبح ببساطة "أذكى" أو أكثر تعقيداً كلما تعمق؛ بل يعيد تنظيم هندسته الداخلية بطريقة تعتمد كلياً على ما يحاول القيام به. فبالنسبة لحقائق الكيمياء، يبدو أن النموذج يوزع انتباهه عبر اتجاهات عديدة في المراحل النهائية، بينما بالنسبة لألغاز المنطق، فإنه يضيق تركيزه في مسار أضيق وأكثر كفاءة. وقد لاحظ الباحثون أن هذا كان ملاحظة وصفية لمجموعة محددة من المطالبات ولم يثبت أن إحدى المهام هي بطبيعتها أصعب أو أفضل من الأخرى، بل أظهر ببساطة أن شكل تفكير النموذج يتغير أثناء عمله.
كما سلطت الدراسة الضوء على القيود المفروضة على محاولة استخلاص استنتاجات واسعة من عينة صغيرة كهذه. فقد استخدم الباحثون اثنتي عشرة مطالبة فقط لكل فئة في تحليلهم الرئيسي، وهو عدد صغير جداً لإطلاق ادعاءات حاسمة حول كيفية عمل النموذج بشكل عام. ووجدوا أن طول المطالبات والطريقة المحددة لكتابة الأسئلة يمكن أن تؤثر على النتائج، ولم يتمكنوا من مطابقة هذه العوامل تماماً عبر جميع الفئات. وبسبب ذلك، لم يستطيعوا الجزم بأن الاختلافات الملحوظة كانت ناتجة حصرياً عن نوع المهمة، بدلاً من هيكل الأسئلة نفسها. علاوة على ذلك، لم تختبر الدراسة ما إذا كانت هذه التغييرات الهندسية تساعد النموذج فعلياً في الحصول على الإجابات الصحيحة أم أنها مجرد أثر جانبي لكيفية بناء النموذج.
في نهاية المطاف، يقدم هذا العمل لقطة مفصلة لكيفية كون العالم الداخلي لنموذج لغوي ليس ثابتاً؛ إنه بيئة مرنة تتمدد وتنكمش اعتماداً على المهمة. إن الاكتشاف القائل بأن الاستدلال والاسترجاع الواقعي يتبعان مسارات مختلفة عبر الطبقات النهائية للشبكة يتحدى الفكرة القائلة بأن هذه النماذج تعالج جميع المعلومات بنفس الطريقة. وبينما لا تقدم الدراسة خريطة كاملة للإقليم، إلا أنها تثبت أن عمق الشبكة أمر مهم وأن العلاقة بين أنواع المهام المختلفة ليست ثابتة. لقد أتاح الباحثون بياناتهم وأساليبهم للآخرين للتحقق من هذه الملاحظات، مع إقرارهم بأن هناك الكثير من العمل الذي لا يزال مطلوباً لفهم النطاق الكامل لكيفية تنظيم هذه العقول الرقمية لمعرفتها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.